Der SATA/SAS Controller Thread

Ja, ist schon Hobby, möchte mir immer was schönes bauen:)

Also ich tendiere schon zu einem soliden HBA-Controller, der auch zuverlässig läuft und auch 8 Platten ohne Bottleneck bedienen kann.
Ok bei 1Gb-Netzwerk ist bei 100-110MB/s eh schluss, aber ich möchte demnächst auch mal mit einem 2,5Gb-Netzwerk spielen oder gleich eine 10Gb-Glasfaserverbindung zwischen Server und Backup-System zusammenzubasteln. Aber das wird ein anderes Projekt:)

Also kommt so eine Karte mit dem Chipsatz LSI SAS 2008 oder LSI SAS 2308 mit IT-Firmware in Frage.
Der LSI SAS 3008 würde ich mir zulegen, wenn ich was mit SSD veranstalten möchte. Momentan habe ich, wie oben schon erwähnt, aber nur einige ältere WD RED 3TB.

Was mich noch interessiert ist der IDLE-Modus der oben angesprochen wurde. Damit meinst Du, dass die Festplatte bei einem längeren Nichtzugriff in den Standby geht.
Dieses Feature möchte ich aber schon haben. Dafür ist dann zwingend eine IT-Firmware notwendig. Ist das richtig?

Funktioniert das dann auch in OMV mit einem Software-RAID5? Also schaltet sich das komplette RAID nach einer bestimmten Zeit ohne Zugriff aus. Geht das?

Zitat von te36

Wie bist Du ueberhaupt auf die (niedrige) Geschwindigkeit des PCIx1 Kanals gekommen. Mach doch mal die Rechnung vor...

ich nehm die Challenge an

Zuerstmal noch zwei Infoquellen:
1) Zum PCIe und Geschwindigkeiten: Auf pcgameshardware gibt es hier einen schönen Artikel. In der Mitte des Berichts gibt's eine Tabelle --> für PCIe2.0x1 --> 500MB/s!
2) Zum Thema Bandbreite HBA-Controllern und PCIe gibt es hier ein gutes Video. Hier werden die verschiedenen Chipsätze (LSI 2008...3008) und die Anforderungen an PCIe erklärt. Hier wird auch erklärt welchen Chipsatz für SSDs sinnvoll ist und warum ein LSI 2008 so richtig gut ist. Für HDDs perfekt und die Temperaturentwicklung ist deutlich geringer als bei den neueren Generationen.

Und nun zur Rechnung:
Die 8-Port Karte MZHOU hat einen Marvell 88SE9215. Dieser ist mit PCIe2.0x1 angebunden (s .hier Seite2). Die Karte kann also max. 500MB/s übertragen.
Auf der Karte sitzen aber 8 Ports. Bei 8 Festplatten macht dann das 500MB/s / 8 = 62,5MB/s.
Das ist die Datenrate mit der auf eine Festplatte zugegriffen wird. Das gilt natürlich nur bei einem RAID5-Verbund, d.h. wenn die Last auf alle Festplatten gleichmäßig verteilt wird.
Die 62,5MB/s sind ein Witz für eine HDD. Diese kann vielleicht 130-200MB/s je nachdem was man hat. Die WD 3TB kann ca. 150MB/s. Das bedeutet, dass das RAID5 schneller sein könnte. Natürlich wird das RAID5 mit bei 8 Platten auch auf diesem HBA mit knappen 500MB/s arbeiten. Ist da auch schon flott. Aber: Wäre der Flaschenhals des PCIe2.0x1 nicht da, wäre das RAID bestimmt doppelt so schnell!! >1000MB/s !!!

Bei einem RAID5 mit 4 HDD würde man keinen Geschwindigkeitsnachteil merken. Bei 4 Platten würde die Bandbreite von 500MB/s so aufgeteilt werden, dass jede Festplatte mit ihrer annäherenden maximalen Geschwindigkeit bedient wird.
Bei 4 HDDs rein rechnerisch also 125MB/s. Die HDD wird also knapp beschnitten (wenn man von 150MB/s ausgeht). Ob man hier einen Unterschied zwischen der MZHOU-8-Port-Karte und einem LSI 2008(o. ähnliches) merken würde ist fraglich.

Aber bei 8 Platten (im Software-RAID5!) gibts schon einen Unterschied!

Bei einem SNAP-Raid sieht das natürlich anders aus. Hier wird immer nur eine Festplatte belastet und mit voller Geschwindigkeit bedient. Das packt die China-Karte locker, aber man kommt eben nicht von den 150MB/s weg!

Zitat von te36

EINE STUNDE VIDEO ?

sorry, schon etwas länglich. Ich habs mir auch in mehreren Etappen angeschaut. Das Video ist unterteilt. Interessannt wirds über den 2008 (2.Generation), ist Kapitel 3. Kapitel 4 über den 2308 und Kapitel 5 über 3008...

Zitat von te36

Immer daran denken, das da die letzten 4 Platten ueber einen Port multiplier angebracht sind. Da befuerchte ich auch noch, das da die letzten 4 Platten sich geschwindigkeitsmaessig auch anders verhalten als die ersten vier...

Was der Port-Multiplier mit der Geschwindigkeit macht weiß ich nicht. In der Rechnung oben ist da auf jeden Fall nichts berücksichtigt.

Zitat von te36

Ansonsten: Willst Du wirklich ein RAID5 machen ? Wozu brauchst Du den Durchsatz ? Ausser evtl. zur Freude... Allerdings: Ich will ja vor allem Zuverlaessigkeit und Ausfall minimieren.

Hatte ich eigentlich vor. Aber ich bin mit der Entscheidung noch nicht durch.
Wozu ich den Datendurchsatz brauche? Mein Server hat ca. 12TB belegt. Ein Backup dauert schon ewig... und die 110MB/s die man über ein Gb-Netzwerk bekommt ärgern mich schon lange. Zur Videobearbeitung schiebe ich die Daten immer auf meine lokale SSD. Deshalb wollte ich eigentlich was schnelleres haben als der Standard. Netzwerktechnisch gibt es ja mit 10Gb-Netzwerkkarten auch Möglichkeiten. Aber bleiben wir bei dem Festplattensystem.

Bei SnapRaid finde ich gut, dass man das System auch mit verschiedenen Festplattengrößen so nach und nach erweitern kann. So ein System wächst eben auch. Sehr interessant ist auch, dass wenn eine Platte und wenn man keine Parität hat, dass dann nur die Daten der einen Festplatte weg sind. Bei einem RAID5 fehlt dann eben alles.
Nachteil ist doch aber das Synchronisieren. Ist es richtig, dass man für 1TB an Daten 1h Laufzeit rechnen kann?

Mit ZFS und TrueNAS habe ich mich auch schon beschäftigt. Das habe ich im Dezember 14 Tage lang ausprobiert. Da hat mir allerdings die Erweiterungsmöglichkeit der Pools nicht so zugesagt. Wenn man hier ein RAID-Z1 anlegt, kann man nur weitere RAID-Z1 dem Pool hinzufügen. Einzelne Festplatten in einem vorhandenen Pool aufzunehmen geht nicht (ohne Paritätsverlust). Außer man macht einen neuen Pool. Außerdem ist ist True-NAS leistungshungriger und das System deutlich langsamer als OMV mit einem RAID5. Unter Strich verlor ich die Hälfte an Geschwindigkeit. OMV und ein RAID5 sind nicht schlecht!

UNRAID ist auch noch denkbar. Das habe ich noch nicht abgecheckt.

Der sync bei snapraid dauert nur für neue Daten lange.
Die 15TB bei Schwiegermutter laufen nachts durch. Man kann trotzdem parallel darauf arbeiten und lesen. Ja gibt dann einen Fehler, und die Grade modifizierten Daten sind nicht synchron.

Ich selbst nutze 5 Platten und habe einen LVM mirror. Damit habe ich praktische ein raid 5, aber mit verschiedenen Plattengrößen. Ich muss auch nicht syncen.
Einige partitionen sind ohne mirror, der grosse hat n-1 Ausfall Sicherheit. Und eine kleine Partition n-2.

Wäre das eine Möglichkeit?

Genau.

Ich habe eine Partition wo die Daten auf 2 Platten verteilt sind, also kann eine ausfallen ohne Verlust.

Und eine, bei der die Daten auf 3 Platten identisch sind. Dabei können 2 ohne Verlust ausfallen.

Beispiel
Hdd1 2tb
Hdd2 4 Tb
Hdd3 8 tb

Mit dem mirror kann ich zb sagen das von den ersten drei Festplatten die jeweils ersten 2tb eine doppelte Redundanz haben sollen.

Dann ist hdd1 zb voll.
Nun mache ich noch einen einfachen mirror von 1TB.

Und als letztes verteile ich den Rest von 5Tb auf eine Partition. (ohne Sicherheit). Das letzte sind bei mir z.b. die Aufnahmen aus dem TV.

Je nach Wichtigkeit kann ich die Daten also auf die richtige Partition schieben

Edit.
Bei snapraid muss die größte Festplatte die Parität sein. Bei LVM ist das egal
.

Mit LVM habe ich noch nichts gemacht. Ich möchte aber am liebsten einen großen Pool für den Backupserver (NAS).

Noch ne Frage zu SnapRAID.

Beispiel: 3 Platten a 3TB. Eine Platte ist die Partität, die anderen 2 Platten beinhalten die Daten. AUFS muss installiert sein, damit ich die 2 Datenfestplatten als ein Volumen ansprechen kann. Damit ist das SnapRAID betriebsbereit.

Jetzt geht mir der Speicherplatz aus. Ich möche deshalb das SnapRAID um eine Festplatte (wieder eine 3TB) erweitern. Geht das? Oder brauche ich dann gleich 2 Platten, da die Parität nicht mehr reicht? Wichtig wäre mir halt, dass mein System mitwachsen kann.

Zitat von te36

3TB festplatten sind aber nicht mehr so wirklich guenstig.

Das sind meine gebrauchten aus dem Server. Die sind quasi übrig ... haben ca. 6000-10000h auf dem Buckel.

Zitat von te36

datenplatte dazu zu tun, sollte mit SnapRAID einfach so gehen.

Irgendwann muss doch die Paritätsfestplatte voll sein. Ist doch eh schon ein Wunder, dass man bei 6TB Daten nur eine Parität-HDD mit 3TB hat und bei einem Ausfall einer Datenfestplatte alles wieder herstellen kann.
Wie geht das?

das ist aber schlau:) Das bedeutet, dass ich auch bei 5 Datenfestplatten nur eine Paritätsfestplatte habe und dann eine beliebiege ausfallen kann. Die Daten der fehlenden/defekten Platte können aus den vorhandenen Datenplatten + Parität zurückgerechnet werden. Bei nur einer Paritäts-HDD... Hammer!

Beim Erweitern um eine Datenfestplatte muss dann wahrscheinlich zwingend die Paritätsplatte neu geschrieben werden, also zuerst sychronisiert werden muss.

Zitat von te36

Wieviele slots fuer platten hast du im server ? Und die kosten auch strom.

Deshalb habe ich auf dem Server ein RAID6 am laufen (dort ist mein Archiv drauf, das man eben icht immer braucht), das in den Standby geht wenn nur TV-Aufnahmenn laufen.
Die TV-Aufnahmen laufen auf eine einfache Platte (4(TB).

Mit dem Adaptec 71605 geht das Power-Management sehr gut. Ich kann ne Zeit einstellen, danach geht das RAID in den Standby.

Für den Server möchte ich mir jetzt mit den 3TB-Platten ein Backup-NAS bauen. Läuft also ca. 4 mal im Jahr (oder höchstens 12x im Jahr). Und mein Gehäuse für das Backup-NAS hat 9 Steckplätze für 3,5'' Laufwerke, an die man von vorne zum Austausch rankommt.

Ein Zalman MS1000-H2 ... hier ein Link [Anzeige]. Uralt ... habe ich 2011 gekauft.

Auf der Abbildung in dem Link sind zwei Festplattenkäfige drin. Ich habe oben noch einen dritten eingebaut.
Vorne kann man die Klappe durch Andrücken öffnen. Dahinter sind dann in jedem Käfig 3 Wechselrahmen.

Snapraid selbst sagt, dass man ab fünf Datenplatten zwei Parityplatten nutzen sollte: http://www.snapraid.it/faq#howmanypar

Ich hab lange Zeit sechs Platten mit einer Parity gefahren, das klappt technisch einwandfrei, beim Sync bekommt man aber die Meldung, dass man bei einem Crash Daten verlieren könnte. Mittlerweile hab ich auch zwei Parityplatten.

ja, guter Hinweis. Danke.

Ich habe mich mal auf den Seiten von SnapRAID ein bischen eingelesen. Sehr interessantes System.
Der Aufbau meines Festplattensystems ist noch völlig offen und je mehr ich in die Materie einsteige, um so mehr Fragen habe ich. Aber der Reihe nach:

Meine favorisierten Möglichkeiten sehen momentan wie folgt aus:
A) OMV mit SW-RAID5 (6x3TB--> 15TB Kapa)
B) OMV mit SW-RAID6 (6x3TB --> 12TB Kapa)
C) OMV mit SnapRAID (6x3TB --> 1 Parity-Platte --> 15TB)
D) OMV mit SnapRAID (6x3TB --> 2 Parity-Platten --> 12TB)
Optional soll die Möglichkeiten bestehen, das System um weitere 2x3TB aufzurüsten.
Das ist bei SW-RAIDs und bei Snap-RAID möglich. Also hier mal einen Haken dran:)

Aufgrund dieses Videos Why You Should NOT Use RAID 5 Storage ( But Use RAID 6! ) und den Angaben von SnapRAID möchte ich auf jeden Fall auf doppelte Parität gehen.

Auf der SnapRAID-Homepage gibt auch noch eine interessante Seite (Link) auf der die Dateisysteme verglichen werden.
Hier wird auch die Datenintegrität aufgeführt. Auch sollte man überlegen, was bei einem verstecktem Lesefehler passiert.

Ich habe dazu mal in die Datenblätter einer WD RED und WD RED pro nach den Lesefehlerraten geschaut:
Datenblatt WD RED: nicht behebbare Fehler: <1 von 10^14 pro gelesenen Bits
Datenblatt WD RED Pro: nicht behebbare Fehler: <10 von 10^14 pro gelesenen Bits

Bei einer Festplatte mit 3TB sind das 3TB=3* 10^12 Bytes = 3*8*10^12 Bits = 2,4*10^13 Bits = 0,24*10^14 Bits.

Was bedeutet das nun?
Ich interpretiere das so: Ein Lesefehler tritt im Durchschnitt bei 10^14 gelesenen Bits auf.
Wenn man die 3TB einmal voll beschreibt, werden 0,24*10^14 Bits geschrieben.
Beschreibt man die Festplatte 4 mal (dann sind 4x0,24*10^14 also ca. 1x10^14Bits geschreiben) dann hat man zu 100% einen undefinierten Lesefehler! WAS??
Deshalb bei solchen Datenmengen doppelete Parität!!!

Was passiert in einem RAID5/6 wenn so ein zufälliger Lesefehler auftritt?
Durch die Paritätsbildung kann das RAID erkennen dass etwas nicht stimmt und dass ein Fehler aufgetreten ist.
Aber das RAID kann nicht erkennen wo der Fehler (ist ja zufällig) herkommt und kann ihn somit auch nicht korrigieren (oder nur zu 50% korrigieren). Ist das richtig?
Das wäre ja dann ein enormer Nachteil eines RAID-Systems.