Der SATA/SAS Controller Thread

Ich mache mal einen Thread auf in dem wir Erfahrungen mit den SATA/SAS controllern fuer Server/NAS austauschen koennen. Motherboard und Steckkarten. Ich versuche dann gerne, diesen ersten Post upzudaten mit pointern auf andere Beitraege fuer spezifische Controllern, auch gerne natuerlich pointer auf andere Threads wenn dort nuetzliches ueber andere Controller steht.

[h1]RAID controller[/h1]
[h2]LSI MegaRAID controller (PCIe)[/h2]
Allgemeine Hinweise
LSI 9267-8i PCIE 2.0 SASA/SATA Controller
[h1]Host Bus Adapter (HBA) - aka: nicht RAID[/h1]
Bei HBA controllern kann jede Platte nur direkt als separate Platte im Betriebssystem abgebilded werden. Bei RAID Controllern kann man meistens dasselbe erreichen, indem man platten als JBOD "Just a Bunch of Disks" konfiguriert, allerdings ist das indirekter als direkt HBA konfiguration.

Im allgemeinen braucht man keinen RAID controller, wenn man sine Platten ueber Features des Betriebssystems wie Linux oder UnRaid verwalten will. SW-Raid, ZFS, UnRaid Festplattengruppen, SnapRaid, etc. pp.

[h2]Marvel 88SE9215 + Port Multiplier HBA PCIeX1[/h2]
TBD
[h2]JMB585[/h2]
Ca. 2019 erschiener 5-port PCIe controller chip, PCI Gen 3, 2 PCI lanes.

Beispiel M.2 karte (derzeitiges Maximum an SATA ports auf M.2 Karte):
https://www.amazon.com/Internal-Non-Raid-Adapter-Desktop-Support/dp/B07T3RMFFT?tag=kodinerds04-21 [Anzeige]

Beispiel PCIe x4 cards with SATA M.2 ports onboard plus 4 SATA ports :
https://www.amazon.com/Binchil-Expander-Expansion-Driver-Free-Hot-Swappable/dp/B08P1F7L4W?tag=kodinerds04-21 [Anzeige]

Beispiel 5 port SATA PCIx4 karte:
https://www.amazon.com/Electop-Controller-Expansion-Non-Raid-Standard/dp/B08BHZQVP7?tag=kodinerds04-21 [Anzeige]

[h2]ASM1166[/h2]

Ca. 2018 erschiener 6-port SATA PCIe controller chip, PCI Gen3, 2 PCI lanes. Wird als x4 PCI Express Karten verkauft (gibt ja keine x2 PCIe slots). Nominell 4-mal so schnell als die älteren 1 PCI Lane, PCI Gen2 controller Karten/chips, aber wenn man nur "geschlossene" x1 PCIe slots hat lassen sich diese x4 Karten halt nicht verwenden.
6-port PCIe x4 SATA controller card [Anzeige]

Erfahrung mit 8-port ASM116 Karte mit port multiplier und SFF8087 Verbinder: Der SATA/SAS Controller Thread

[h1]LSI 9267-8i 6Gb PCIE 2.0 512MB 8Port SAS Controller Card+8087 to (4) 7-Pin SATA[/h1]

https://www.ebay.de/itm/192770251280

Gekauft 20. November 2020 fuer ca. 24 Euro, geliefert am 5. Dezember, angeblich aus China, werde aus dem Paketaufkleber aber nicht ganz schlau.. Aus Niederaula.. Ebay tracking zeigt aber brav ein Tracking von SHENZHEN. Vielleicht gibt es da ein Umpacklager in NIederaula.

Das ist natuerlich ein gebrauchtes Teil, konnte ein (C) 2010 auf dem Board finden. Man findet fuer genau diese Version auch wenig Info, LSI scheint da unglaublich viele OEM Varianten zu haben. Evtl. irgend eine Variante fuer Data Center in China oder so...

Die 2 x 8087 Stecker auf dem Board brauchen jeweils ein Peitschenkabel auf 4 x SATA. Das ist ann immer sehr schoen duenn und damit gut im PC zu verlegen. Die 4 SATA Kabel sin jeweils zwei duenne twisted Kabel, eins pro Datenrichtung, Aluminium isoliert. Das sollte von der Signalqualiaet ideal sein. Wenn man diese Kabel einzeln nachkaufen muss (wie ich einmal bei einem Mothboard mit 8087 Steckern), dann zahlt man da gerne auch schon 8 Euro pro Kabel.

Diese LSI "MegaRAID" controller sind ja wohl DER Standard in Data-Centers, gibt neuere Serien bis heute. Muss man sich natuerlich fragen, wieviele Jahre die Boards gelaufen sind. Ich rate mal 5 Jahre glaufen, seitdem 5 Jahre beim Verramscher und werden immer billiger.

Das Board hat eine GUI im BIOS um es zu konfigurieren. Da ich kein onboard RAID will, sondern bloss JBOD, fing da das Problem an: es gibt in der sogenannten WebGUI keine Moeglichkeit, JBOD zu konfigurieren!!!

Unter Debian Buster vom USB Stick habe ich mir dann mal die megacli installiert:

https://gist.github.com/fxkraus/595ab8…comment-2928495

Und dann JBOD konfiguriert ueber megacli. Muss man ein wenig die Anweisungen der folgenden URL anpassen, die wohl von der interaktien version ist (unter DOS oder so..). ALso immer ein '-' vor die Parameter machen:

https://plone.lucidsolutions.co.nz/hardware/sas-c…2208-controller

Und siehe da, die angeschlossenen Platten werden als sda, sb, .. vom Linux erkannt. Auch smartctl (SMART) scheint zu gehen. Dies bleibt auch nach Strom aus/an erhalten, ist also eine einmal-Konfiguriation. In der WebGUI erscheinen die Platten auch alle als JBOD, und eine alte an den controller angeschlossene Platte wurde auch gebootet (bis zum alten Linux kern dadrauf, der dann keinen Treiber hatte).

Wenn Platten entfernt werden scheint es wohl ein wenig laenger dauern, bis das Linux das entdeckt, da muss ich noch mehr experimentieren. Das Board ist ja fuer einen Serverumbau gedacht, und da warte ich noch auf andere Teile.

Stromverbrauch ohne angeschlossene Platten am Controller verglichen zu board ohne Controller sind ca. 11 Watt mehr. Das ist natuerlich suboptimal, gerechnet 25 Euro/Jahr fuer Strom, aber bisher wuesste ich leider auch nichts besseres.

Also im Moment mal vorsichtige Empfehlung, aber ist halt Controller "preclear" stage ;-))

Update 01/2021:

Leider bekomme ich die Platten, die an diesem Controller haengen nicht auf idle. Und der Server steht halt im Heimkino-Raum, wo auch mal Gaeste uebernachten, also soll das ein leiser Server werden. Da sind nicht nur die Geraeusche der unnoetig drehenden Platten problematisch, sondern weil die auch noch in einem recht engen 3x5.25 Einschubgehaeuse sind, vor allem die Lautstaerke der Luefter. Die Luefter kann ich zwar ueber Programm regeln, aber wenn alle Platten laufen, dann muss der Luefter da halt hoerbar laut eingestellt sein um die Temperatur auf ca. 50 Grad zu halten.

Was ich probiert habe (Platten sind ja als JBOD eingestellt):

scsi_stop == hd-idle unter linux -> hd-idle meldet das es platten stoppt nach idle-zeit, aber bewirkt ganz merkwuerdig: Zugriff auf alle Platten im SYstem stoppt fuer bis zu 20 sekunden, danach gehts weiter. die Platte selbst ist aber nicht gestoppt.

megacli: da steht low-power auf default und minimum 30 minuten, aber die platten werden danach nicht gestoppt. Getestet mit allen Platten nicht gemountet, und auch hd-idle gekillt, also null zugriff vom system auf Platten.

noob_at_pc: Danke fuer die Hinweise.

Gluecklicherweise habe ich das Teil in einem alten freifliegenden MoBo pre-UEFI ausprobiert, das hat mir dann ja wohl einen weiteren verwirrenden Schritt erspart.

Mit dem Stromverbrauch hadere ich ja noch. Hast Du Da noch sachdienliche Hinweise ob/was man da machen kann bei LSI controllern ?

Z.b. wundere ich mich auch noch darueber ob es was bringen koennte, "IT Firmware"draufzuladen, von der im Netz gesprochen wird. Wuesste aber nicht, was die bringen sollte, ausser das sie halt auch alle platten zu JBOD umbaut... Aber evtl. wird da ja auch noch was von der hardware schlafen gelegt und die Firmware zieht dann weniger Strom..

Zitat von justray2k

Habe diesen hier im Einsatz:
https://www.amazon.de/gp/product/B07RMHH43W/ref=ppx_yo_dt_b_search_asin_title?ie=UTF8&psc=1&fpw=alm&tag=kodinerds04-21 [Anzeige]

Läuft unter Unraid OOTB

Jo, das Teil interessiert mich sehr als moegliche Alternative. Gibt es ja unter tausend Anbietern. Dein URL ist irgendwie "Amazon Fresh" da bietet er mir keinen Preis...

a) Hast Du da eine Idee, wieviel Strom das Teil verbraucht

b) Das teil hat ja einen Port Multiplier drauf, glaube ich angefangen von Port 4. Da mache ich mir immer Sorgen, das Fehler an einem Port Multiplier Port (platte rein/rausstecken) auch die anderen Platten am Port Multiplier beeintraechtigen - resets oder so...)

Zitat von justray2k

Merkwürdig mit dem Link. Hier nochmal ein neuer: https://www.amazon.de/gp/product/B07RMHH43W/ref=ppx_yo_dt_b_asin_title_o00_s00?ie=UTF8&psc=1&tag=kodinerds04-21 [Anzeige]
Kein Plan wieviel Strom das Teil zieht. Zum Port Multiplier hab ich mir keine Gedanken gemacht, arbeite da eh nur mit 1zu1 Beziehungen.

Wenn Du da mal testen willst: bei den ports 4..6 am besten die platten read-only mounten und dann auf #4 und #6 lesen, und dann #5 rausziehen (read-only macht man nix kaputt). Ich hatte mal aelteren Port Multiplier im Einsaz, da sind dann die anderen Platten wegen des Resets halt auch rausgeflogen. Allerdings weiss ich immer noch nicht, ob das bloss schlechter treibre war, oder bei port multiplier prizipell unvermeidbar ist. Bei einigen sachen im Internet kam mir das so vor als ob port multiplier halt prinzipiell schlecht ist....

Die Karte von @don sieht interessant aus. Da scheint kein Port multiplier drin zu sein, allerdings kann man bei ASMEDIA auch keinen ASM1166 chip finden, also ist das auch fishy..

*seufz*

Zitat von don

-> https://amzn.to/2K1pvSs

Jo, wenn man da im Mobo neuere Gen3 PCIe x4 slots hat, dann sollte diese Karte mit dem ASM1166 chip vier mal so schnell sein wie die aelteren 8-port Karten mit dem Marvel 88SE92xx, die bloss einen PCIe Gen2 Anschluss haben, und wo die Karten die ich finde auch bloss mit x1 PCIe Interface gebaut werden. Ausserdem haben die Marvel Karten ja immer bloss 3 SATA ports native und die anderen 5 sind per port multiplier angeschlossen. Wo man gucken muss, wie stabil das ist wenn man platten wechselt.

Der Vergleich ist immer nervig. fuer den ASM1166 gibts ja noch nicht mal ein Datenblatt public. Muss man also erst mal rausfinden, das der 2 lanes PCIe Gen3 hat. Wird ja physikalisch als x4 Karte verkauft, weil es halt keine x2 Slots gibt, aber sagt einem ja niemand das da "bloss" 2 lanes aktiv sind (sieht man evtl. wenn mans reinsteckt und linux I/O kapiert).

Die aelteren Marvel haben ja auch 2 lanes, aber damals gab es halt keine Motherboards mit x4 slots, also hat man die schlauerweise mit x1 gebaut. Was natuerlich die Haelfte des Durchsatzes klaut.

Aka: Der ASM1166 scheint mir noch der beste HBA, man muss bloss genug x4 slots haben. Mein altes MoBo hat ja bloss Gen2 und auch bloss viele x1 slots, da werde ich wohl was anderes nehmen muessen.

Plane in meinem Server bis zu 14 platten, Mobo hat aber bloss Gen2 und x1 slots (neben dem freien x16 slot, wo halt so ein LSI RAID controller rein passt...

Zitat von noob_at_pc

Bzgl: IT Firmware:

Die Firmware wird schlanker und der Controller arbeitet weniger, würde ich in deinem Fall schon empfehlen, auch wenn es schon als JBOD aktiv ist, der Controller hängt Firmwareseitig noch dazwischen. Könnte mir Vorstellen, dass es im Notfall Probleme geben könnte (Plattenausfall und rebuild)Wenn ihr den Controller rein für mehr Platten haben wollt: Kauft gleich eine HBA die ist genau dafür designed.

Bzgl. Stromverbrauch - keine Chance. Das Ding ist für den Dauereinsatz und Performance gebaut Da gibt's rein garnichts. Ich weiß, dass Adaptec ein Power Manager hat um die Festplatten zu steuern, aber das wars dann. Der Controller selbst braucht ein paar Strömlinge.

Ich hab mal meinen zweiten Post zu meinem 9267 / 2208 controller ergaenzt mit der erfahrung, das ich die platten nicht geidled bekomme.

Die Ergebnisse, IT Mode auf Karten mit dem 2208 controller chip zu flashen sind wohl durchwachsen:

https://mywiredhouse.net/blog/flashing-…rmware-use-hba/

Habe jetzt also beim selben Haendler in Shenzhen noch einen 2308 chip basierten controller gekauft:

https://www.ebay.de/itm/Supermicro…-FreeNAS-unRAID

Der hatte den ersten Controller ja auch fix geliefert, bissl mehr als 2 Wochen.

Laut der Liste hier ist dieser 208/SuperMicro Controller IT-Mode only:

https://forums.servethehome.com/index.php?thre…oem-models.599/

Schauen mir mal. Der erste Controller hatte ja auch bloss 23 Euro gekostet, und die zwei 8087 Kabel die da mit bei waren haetten einzeln bei Amazon auch schon 20 Euro gekostet. Vielleicht probier ich den ja mal zu flashen wenn der neue dann besser laeuft und ich die ganzen Files zum flashen finde.

Der 6-Port controller von Don ist immer noch Plan B, aber verkabelungstechnisch ist das mit den 8087 Kabeln natuerlich schon schicker...

Also der LSI 9267 controller ohne IT Firmware nervt gewaltig. Kann ja aber auch noch am Linux liegen. Hab ja einen Sack identischer 12 TB Platten von WD und einen Sack aelterer 8 TB von Seagate:

- Wenn die Platten am HBA stecken (also nicht im LSI controller), dann kann man die ja mit "scsi_stop" anhalten, so das sie runterfahren und dann halt auch im engen Platz nicht soviel Hitze machen. "hd-idle" automatisiert das. Am LSI controller geht das nicht.

- Wenn die Platten am LSI controller haengen, dann kann man mit "sdparm -p po --set=SCT=300 <disk>" im prinzip dafuer sorgen, das die platte von alleine nach 300 sekunden runterfaehrt. Das scheint aber nicht wirklich ein feature der platte zu sein, weil das am HBA nicht geht. da wird die ganze PO page als nicht supported angezeigt. Das kann natuerlich auch daran liegen, das der HBA da wohl nur eigentlich ATA Befehlssatz macht, aber nicht direkt SCSI Befehlssatz. Aka: kann auch ein Linux Problem sein. sehr merkwuerdig.

- Bei einer von 6 12TB Platten geht das runtrfahren nicht am LSI controller. Habe den OUtput von allen sdparm parametern verglichen. Habe alle setting am HBA auf zwei Platten zurueckgesetzt. Trotzdem faeht der LSI diese eine Platte nicht runter.. Auch der output von megacli sieht fuer alle platten identisch aus.

- Bei einer anderen 8 TB Platte faehrt die Platte anscheinen am LSI Controller immer einmal pro 30 minuten runter und wird dann wieder gestartet. Obwohl ich gar nicht SCT=300 gesetzt habe.

Zum Thema passend: Immer wenn der Lockdown verlaengert wird, schreibt mein Friseur eine nette Email an die Kunden. Die letzte:

"Inzwischen ist es zum Haare ausreissen"

Hoffe mal der IT firmware controller kommt bald.

Wenn noch jemand sachdienliche Hinweise hat, bitte gerne, danke!

Zitat von Crazyjoe

Ist der LSI7267 somit für meinen Anwendungsfall oversized oder sogar total ungeeignet? Kann er die Festplatten einzeln durchreichen (mit der original IR-Firmware)?

Gibt es für den LSI 7267 eine IT-Firmware?
Woher bekommt man diese?

Hattte eine URL frueher hier im Fred ueber angeblich IT FIrmware fuer den controller auf der LSI 7267, aber scheint nicht klar zu sein ob das wirklich klappt. Ich habs nicht probiert.

Wenn Du die Platten nicht per hd-idle oder so im Normalfall runterfahren willst, ist der LSI 7267 eine guenstige Anschaffung, und schnell. Man kann ihn ja fuer JBOD konfigurieren, bloss das runterfahren der Platten in idle geht damit halt nicht zuverlaessig.

Zitat von Crazyjoe

2) MZHOU 8-Port Erweiterungskarte
Bei 8 Platten bleiben also pro Platte 62,5MB/s. Damit ist diese Karte absolut der Flaschenhals, wenn ich die Karte mit 8HDDs betreibe. Seht ihr das auch so?

Ich habe ja vorurteile gegen Port multiplier, so von wegen zuverlaessigkeit, bugs. Aber snd halt nur vorurteile. Aber deswegen wuerde ich von der Karte abraten.

Geschwindigkeit... weiss nicht, ob Deine Berechnung stimmt, aber fuer Medienspeicherung brauchst du ja nicht wirklich viel. IMHO also egal. Richtig Durchsatz brauchst Du nur waehrend des syncs vom snapraid, wenn alle platten gelesen werden. oder grossen Kopieraktionen.

Fuer JBOD/SnapRaid/UnRaid muessen ja nicht alle Platten am selben controller haengen. Kannst also prima aufsplitten auf interne SATA ports des MoBo und zusaetzlichem PCIe SATA controller.

Nach deiner Rechnung brauchst Du ja bloss ein paar Ports mehr. Aktuell gibt es halt den JMB585 chip mit PCIe V3 mit 2 lanes auf 5 SATA ports und den ASM1166 PCIe V3 mit 2 lanes of 6 SATA ports. Die geben sich preislich auch nicht viel. Ich habe den JMB585 im RockPI4 im Einsatz, keine Probleme. ASM1166 keine Ahnung. Kosten beide wohl neu zwischen 40 und 50 Euro.

Ansonsten gebraucht einen LSI 2308 fertig mit IT FIrmware kaufen, da hast Du dann 8 lanes und 8 ports. Sowas hier z.b.:

https://www.ebay.de/itm/Supermicro…-FreeNAS-unRAID

Da brauchste noch Adapterkabel. Die hier:

https://www.ebay.de/itm/1M-Mini-SA…a-Reverse-Cable

Kommste unter 40 Euro. Allerdings weiss ich nicht, wieviel strom die neuen chip karten (JMB585/ASM1166) brauchen. evtl. bis zu 5W weniger als diese feten LSI karten.

Diese 2308L laeuft bei mir jetzt im Prinzip gut. SnapRaid auf 5 Platten hat mal bis 700 MByte/gesynced. Richtig schnell krieg ich nicht hin, weil ich noch verschluesselungslayer in software mache (truecrypt/veracrypt). Allerdings gibt jetzt bei mir bei snapraid sync dann probleme mit den TV aufzeichnungen, e.g.: voller PCIe bus oder so... Jaja, es bleibt spassig.