[Fertig] Datengrab mit Mehrwert

Moin,
dieses Thema gab es in den letzten Tagen ja verhäuft und dennoch hab ich das Bedürfnis noch einen eigenen Thread auf zu machen

Mein Vorhaben:
Ich würde gerne meine alten 02 x Lian-Li EX-503 mit jew. 05 x 3TB WD Green im Raid 5 aufgrund von Platzmangel erweitern, habe aber keine Lust mir ein weiteres externes Case hier in die Ecke stellen zu müssen. Desshalb würde ich gerne auf eine All-in-One Lösung wechseln, welche gleichzeitig noch meinen Recording-Service aus meinem derzeitigen Wohnzimmer-HTPC beheimaten könnte, und hier kommen wir zum Knackpunkt. Bis dato habe ich immer mit Windows bzw. DVB-Viewer / Recording-Service gearbeitet und bin prinzipiell zufrieden, aber zum einen habe ich keine Lust mir eine teure Windows Server Lizenz zu kaufen und zum anderen macht mir das Thema der schleichenden Datenkorruption in Verbindung mit NTFS bei der nun beträchtlichen Menge an Daten sorgen und liebäugle mit dem Filesystem ZFS.
Da entstehen jetzt zwangsläufig zwei Fragen die ich mir noch nicht beantworten konnte:
1. Gibt es für Linux eine gute Alternative zum Recording Service die gut mit CCam zusammenarbeitet und gleichzeitig eine gute Integration in XBMC Frodo hat?
2. Welches *Nix veträgt sich gut mit dieser Alternative und gibt es hier Erfahrungswerte zu dieser Kombination.

Die Andere Möglichkeit ist natürlich ein auf Windows basierendes Datengrab, mit welchem ich den Recording Service in alter Manier einfach weiter betreiben und bei Windows Server 2012 auf ReFs setzen könnte. Ist nur die Frage ob man sich dieser 'Beta-Version' mit seinen Daten anvertrauen möchte ... Kurzer Gedankensprung: wie sind eure Erfahrungen mit NTFS bzw. 'schleichender Datenkorruption'?!

Nächster Punkt Hardware:
01 x Intel Xeon E3-1220LV2, 2x 2.30GHz, Sockel-1155, tray (CM8063701099001)
02 x Kingston ValueRAM DIMM 8GB PC3-12800E ECC CL11 (DDR3-1600) (KVR16E11/8)
02 x IBM ServeRAID M1015, PCIe 2.0 x8 (90Y4556)
01 x Supermicro X9SCM-F bulk, C204 (Sockel-1155, dual PC3-10667E DDR3) (MBD-X9SCM-F-B )
01 x Noctua NH-U9B SE2
01 x Inter-Tech 4U-4324L, 4HE
01 x be quiet! Dark Power Pro 10 550W ATX 2.3 (P10-550W/BN200)

10 x Western Digital Caviar Green 3000GB, SATA 6Gb/s (WD30EZRX) (Bereits Vorhanden)
06 x Toshiba DT01ACA Series 3000GB, SATA 6Gb/s (DT01ACA300)

Das ist jetzt die Zusammenstellung für ein System auf Basis von ZFS, sollte sich das ganze mit Windows Server als besser / einfacher / sicherer im Zusammenhang mit dem Vorhaben das TV Signal über diesen Rechner zu Streamen erweisen, dann bräuchte ich natürlich noch einen empfehlenswerten HW Raid Controller, da stehe ich aber momentan zwischen den Seilen. Einen Adaptec oder LSI?

Weitere Frage stellt sich mir bezüglich eines dritten Controller, der dann ja auf einen der PCIe 2.0 8x (elektrisch 4x) kommen müsste, reicht da die Geschwindigkeit bzw. der Adressraum aus?

Ich bin gespannt auf eure Erfahrungen bzw. Tipps!

LG

Zitat

Soweit ich weiß darf/kann/soll man für ZFS keinen RAIDConroller nehmen sondern nur einen HBA Controller. Bei einigen RAIDControllern kann man über eine spezielle FW das RAID abschalten, ob das bei deinem ausgesuchtem Controller geht weiß ich nicht. Mehr zum Thema ZFS siehe am besten mal hier http://www.hardwareluxx.de/community/f10…sch-570052.html

Das ist, wenn ich es richtig verstanden habe mit diesem möglich: http://www.servethehome.com/ibm-serveraid-m1015-part-4/

Zitat

PCIe 2.0 8x (elektrisch 4x) = PCIe 2.0 4x Es gibt meistens nur Controller bis zu 4 Festplatten für diesen Slot. Außerdem glaube ich nicht, dass der Adressraum deines Mainboards dafür ausreichen wird. Warum willst du drei Controller nehmen ? Warum nicht einfach einen richtig großen kaufen ?

Ich bin mit dem Gedanken der Redundanz an die Sache herangegangen, wenn ich den o.G. Controller als HBA einsetze, kann ich die Festplatten ja über die Controller beliebig verteilen. Das hätte den Vorteil, dass ich bei 3 Raid-Z3 Verbünden die Verbünde vor evtl. Korruptionen durch einen defekten Controller schützen könnte, oder habe ich jetzt einen Denkfehler?
Bsp:
Raid1: 8 x 3TB (R1) / Raid2 : 8 x 3TB (R2) / Raid 3: 8 x 3TB (R3)
Controller 1: 3 x R1 / 2 x R2 / 3 x R3
Controller 2: 2 x R1 / 3 x R2 / 3 x R3
Controller 3: 3 x R1 / 3 x R2 / 2 x R3

Damit hätte ich eine Netto Summe von insg. ~44TB und egal was ausfällt, ich könnte die Raidverbünde immer über ausreichend Parität bzw. einen Spare Controller wiederherstellen.

Da ich jetzt kein Board gefunden habe, welches mehr als 2 x PCIe 8x liefert stellt sich mir die Frage ob meine Herangehensweise nicht übertrieben ist... - oder gibt's da welche?

Zitat

PCIe 2.0 8x (elektrisch 4x) = PCIe 2.0 4x Es gibt meistens nur Controller bis zu 4 Festplatten für diesen Slot. Außerdem glaube ich nicht, dass der Adressraum deines Mainboards dafür ausreichen wird. Warum willst du drei Controller nehmen ? Warum nicht einfach einen richtig großen kaufen ?

Hälst du einen großen Controller für Klug? - Was ist wenn der auf einmal Spinnt und anfängt Müll auf die Platten zu schreiben bzw. das Raid zerlegt? Auch wenn das Szenario jetzt keine besonders hohe Warscheinlichkeit hat, möchte ich nicht vor der Aufgabe stehen meine > 1000 Stk. große Videothek neu zu digitalisieren - Allein der Zeitaufwand rechtfertigt eigentl. den Kauf eines redundanten Zweitsystems als Backup

Zitat

Bis auf den RAIDController finde ich die Hardware richtig gut. Hier solltest du dir nochmal überlegen ob du in Richtung ZFS oder Hardware RAID gehen willst. Danach würde ich einen Controller für alle Festplatten wählen und kein Stückwerk an Controllern bauen ... Wenn dann einen RAIDController und einen Expander den du an den RAIDController anschließen kannst.

Welchen würdest du denn Vorschlagen?

Zitat von keibertz

kommt eben darauf an wie viele Festplatten du genau anschließen willst. Für 16 Festplatten gibt es einen guten von LSI und Adaptec. LSI hat auch einen HBA Controller für 16 Festplatten.

Wie gesagt, längerfristig werde ich die verfügbaren 24 HotSwap Einschübe voll machen. Z.z habe ich 2 x Raid 5 mit jew. 5 x 3TB laufen, welche ich zunächst auf 2 x 8 x 3TB Verbünde umziehen werde. Das ganze dann entweder im Raid 6 (Raid-Z2) oder Raid-Z3 konfigurieren.

[edit]Woah ... gucke grad nach den Preisen :
LSI SAS 9207-8i, low profile, PCIe 3.0 x8 (LSI00301) (~680,- €)
Adaptec RAID 71605 bulk, low profile, PCIe 3.0 x8 (2274400-R) (~570,- €)

und warum nutzt der Adaptec SFF-8643?!

Wie schnell ist auf Windowsbasis ein Software-Raid mit entsprechendem Controller?[/edit]

Nochmal zum Betrieb eines TV-Backends auf dem Fileserver:
Hat jemand Erfahrungen was Virtualisierungen angeht (ESXi, XEN) vor allem im Bezug auf den reibungslosen Passthrough des entsprechenden PCIe Slot?

So, mein Server ist fertig

Hier nochmal eine kleine Zusammefassung des Status-Quo:

Hardware
Case: Inter-Tech IPC 4U-4324L
Lüfter: 3 x Be-Quiet Silent Wings 2 120mm / 2 x Be-Quiet Silent Wings 2 80mm
Netzteil: Be-Quiet Dark-Power 10 - 550W
Mainboard: Supermicro X9SCM-F
CPU: Intel Xeon E3-1220L V2
Kühler: Noctua NH-U9B SE2
RAM: 4 x 8GB KVR16E11/8 Unbuffered
TV-Karte: Digital Devices Cine2 V6 / Digital Devices DualFlex S2
Controller: IBM ServeRaid M1015 @ IT-Mode
Systemplatte: 1 x Kingston 8GB USB Stick / 1 x 120GB Corsair Neutron Series GTX
Datenplatten: 11 x Toshiba DT01ACA300 3TB @ RaidZ3 / 6 x Western Digital Caviar Green 3TB @ RaidZ2 / 1 x Toshiba DT01ACA300 3TB @ HotSpare --> Netto Speicherplatz: 29,5TB
OS: ESXi 5.1 mit 3 Guests (OmniOS @ napp-it - ZFS / Windows 7 - RecordingService / Debian 6.0.6 - MySQL, Apache, Mail, TeamSpeak)

Verbrauch
Muss ich nachreichen!
Derzeit zeigt mein Messgerät ~410W an, es hängen aber auch eine Workstation, eine Synology DS212+, eine APC SUA750RMI2U, ein 10 Port TL-SG3210 Switch und eine Netio 230C an dem Messgerät. Der Server belastet beide Festplatten-Verbünde und meine Workstation berechnet gerade eine 3D Szene (Bild). Ich gehe mal von knapp 200W für Server und PSU aus, aber das messe ich nochmal nach, wenn das derzeitige Projekt fertig ist

Leistung
Sequenzielles Schreiben (40GB File):
~820MB/s (RaidZ3) | ~800MB/s (RaidZ2)
Sequenzielles Lesen (40GB File):
~1720MB/s (RaidZ3) | ~1400MB/s (RaidZ2)

Wenn ich kleinere Dateien auf den Verbünden verarbeite, dann greift der ARC und Lesend sind Raten von bis zu > 7000MB/s üblich.

Netzwerk:
Bis zu ~203MB/s (Lesen / Schreiben)

Temperaturen
Festplatten: 31 - 39°
CPU: 37°
Gehäuse: 30°

Fazit
Bis auf zwei wirklich kritische Momente während des Zusammenbaus an denen ich an mir selber zweifeln musste, war die Zusammenstellung und Konfiguration ein Genuss
Beim einbau des Noctuas (CPU Kühler) stand die berechtigte Frage im Raume: Passt das?! (Siehe Bilder 006 / 007) und beim ersten Hochfahren musste ich feststellen, dass zwei Speicherbänke nicht funktionieren. Lag letzlich daran, dass ich beim Einsetzen der CPU geschlampt habe und einen Pin vom Sockel verbogen hatte
Ansonsten bin ich absolut begeistert von den ganzen Features von z.B. dem Server Mainboard: IPMI Ist einfach der Oberhammer

Bilder
https://docs.google.com/folder/d/0B-7-…mo1N3BiZ3M/edit

Das Rack steht zur Zeit im Büro, soll aber in die Abstellkammer wenn ich eine gute Lösung für das Problem mit der benötigten Verkabelung gefunden habe (Loch in die Wand oder oberflächlich verlegen...)
Zu den kosten kann ich grad nichts sagen, da ich grad auf einer Baustelle verweile und das nachschlagen zu mühsam ist.

Habe übrigens heute morgen bei ausgeschalteter Workstation auf das Messgerät geschaut und erfreuliche 175W beim Kopiervorgang auf den RaidZ3 Verbund ablesen dürfen (inkl. USV und Switch)

keibertz: wenn mir die Arbeit wieder etwas Luft gibt, dann schreib ich mal ein wenig ausführlicher über meinen Weg ZFS in meiner Umgebung zum laufen zu bekommen

Gesendet von meinem Nexus 7 mit Tapatalk 2