McStarfighters Kodi Tower - Der finale Wahnsinn

    Weil es für mich und mein Vorhaben schlicht und einfach nicht vertrauenswürdig ist!

    Für einen Media Storage auf Lebenszeit muß ich allen Komponenten so weit wie nur möglich vertrauen können, und zwar in einer lückenlosen Kette. Das fängt bei der Wahl des Systemdatenträgers an und dessen redundanter Auslegung, über die Wahl des Dateisystems bis hin zum Aufbau des Storages an sich.

    unRAID bietet mir all das nicht! Man kann es nur auf einem USB-Stick installieren, das System nicht als RAID 1 aufbauen, es wird dabei kein Dateisystem mit Datenkonsistenzgarantie verwendet und noch ein paar andere Kleinigkeiten. Dann noch der Grundgedanke, dass alles mögliche mit Docker realisiert wird. Ich bin einfach kein Freund dieser Containerisierung, mir sind die nativen Paketverwaltungen weitaus vertrauenswürdiger!

    Und so habe ich das System (Kubuntu 18.04 LTS) auf einem btrfs RAID 1 (auf 2 SSDs), der Arbeitsspeicher ist ECC-RAM, und dazu ZFS als Dateisystem für den Storage!

    Ah okay. Na das macht Sinn.

    Ich finde es nur spannend, weil nicht das gesamte RAID läuft, sondern nur die Platte, von der man Daten lesen will. Zudem kannst du unRaid auch als ESXi-Guest laufen lassen und das widerum geht auch in nem RAID 1. Zumindest ist das den Plan, den ich verfolge. Bei mir mangelt es nur grade an dem Serverschrank. Es ist nicht einfach etwas gescheites in 18HE zu finden.

    Es freut mich auf jeden Fall, dass du mit deinem Projekt voran kommst ;) Weiterhin viel Erfolg dabei!

    Hab grad 2 Posts drüber gesehen dass es ja schon 18.4 LTS gibt. :thumbup:
    Was ist denn bei ZFS besser gegenüber BTRFS? Ich überlege schon länger meine Datenpartition (Linux Raid5) zu konvertieren. Ext4 zu BTRFS ginge ja on the fly.

    Kodi-Basis: Intel® NUC7PJYH | 4GB DDR4 | 60GB Sandisk SSD | LibreElec 10 | Horizon V | Emby
    Sound: Sony HT-CT290 2.1 Soundbar
    TV: 55" Sony KD-55XE8577
    Server: Intel Core i5-4690 @ Asrock Z97 Anniversary | 8GB DDR3 | Xubuntu 18.04.4 LTS @ 256GB Samsung 840Pro | 5x 3TB WD-Red @ ZFS RAID 5 | Emby-Server | Monitorix

    ZFS hat die Design-Fehler von btrfs nicht, wie z.B. das wrhite hole bei einem btrfs-RAID 5 oder 6. Und ZFS wird auch weitaus aktiver weiterentwickelt als btrfs, das dümpelt ja leider eine Weile vor sich hin und das write hole-Problem ist auch noch nicht behoben worden!
    Unter ZFS wird ein RAID auch nicht auf einmal "voll" sein wie bei btrfs, obwohl das nicht stimmt!

    Würde man btrfs genauso aktiv weiterentwickeln wie ZFS, es wäre meiner Meinung nach ebenbürtig! Aber so ...

    On-the-fly-Konvertierung zu ZFS geht nicht, um es gleich zu sagen!

    Ich selbst habe mich wegen der Weiterentwicklung und des Community-Supports für ZFS entschieden, bereut habe ich es nicht eine Sekunde!

    Danke für deine Einschätzung. Also wäre ZFS die bessere Wahl. Für mich ist dann nur das Problem, dass ich meine Daten nicht zwischenlagern kann, sind immerhin auch ~9TB zur Zeit. Mit etwas ausmisten käme ich vielleicht auf 6-7TB, was immer noch problematisch ist. :/

    Kodi-Basis: Intel® NUC7PJYH | 4GB DDR4 | 60GB Sandisk SSD | LibreElec 10 | Horizon V | Emby
    Sound: Sony HT-CT290 2.1 Soundbar
    TV: 55" Sony KD-55XE8577
    Server: Intel Core i5-4690 @ Asrock Z97 Anniversary | 8GB DDR3 | Xubuntu 18.04.4 LTS @ 256GB Samsung 840Pro | 5x 3TB WD-Red @ ZFS RAID 5 | Emby-Server | Monitorix

    Zitat von killercorny

    Danke für deine Einschätzung. Also wäre ZFS die bessere Wahl. Für mich ist dann nur das Problem, dass ich meine Daten nicht zwischenlagern kann, sind immerhin auch ~9TB zur Zeit. Mit etwas ausmisten käme ich vielleicht auf 6-7TB, was immer noch problematisch ist. :/

    Dann wird es aber Zeit mal ein paar Backup Platten anzuschaffen :) wie wir alle wissen "Raid ersetzt kein Backup" :)

    Ja, ich kenn den Spruch. Aber die Daten sind letztlich auch nicht so wichtig, dass ich die noch mal sichern müsste. Kostet ja schließlich auch nicht grade wenig Geld.

    Gesendet von meinem SM-G900F mit Tapatalk

    Kodi-Basis: Intel® NUC7PJYH | 4GB DDR4 | 60GB Sandisk SSD | LibreElec 10 | Horizon V | Emby
    Sound: Sony HT-CT290 2.1 Soundbar
    TV: 55" Sony KD-55XE8577
    Server: Intel Core i5-4690 @ Asrock Z97 Anniversary | 8GB DDR3 | Xubuntu 18.04.4 LTS @ 256GB Samsung 840Pro | 5x 3TB WD-Red @ ZFS RAID 5 | Emby-Server | Monitorix

    Muss auch mal meinen Senf dazu geben.

    Habe selber einen Storage Server mit ZFS am laufen und bin bisher sehr gut damit gelaufen.
    In der Arbeit verwenden wir auch nur ZFS für die Storage Server.

    Habe mal test weise versucht die Daten von einem ZFS Pool (RaidZ2 mit 4 Platten) zu zerstören, so das diese nicht mehr wiederherstellbar sind.
    Natürlich nur so wie es auch in der Realität vorkommen kann wie z.B.
    im Betrieb die Platte ziehen, Stromstecker ziehen während Daten geschrieben werden, zweite Platte ziehen während die andere einen Rebuild macht usw.
    War gar nicht so einfach zu bewerkstelligen, irgendwie war es immer wieder möglich den Pool wieder herzustellen.
    Letztendlich ein echt geniales Filesystem wenn es um Daten Sicherheit geht.

    Das was aber letztendlich den test ZFS Pool erfolgreich zerstört hat, war ein Simulierter Blitzeinschlag (ca. 300KV) auf der Netzseite während eines Rebuilds auf zwei Platten.
    Dabei ging aber auch der Rest der Hardware drauf und der Schrotthändler hat wieder ein paar neue Teile bekommen.

    HTPC: Lipreelec - Raspi2 mit Samsung 50", Libreelec - Raspi3- DVB-S2 - TVHeadend mit Toshiba 42"
    Server: NAS_1 - FreeNAS - i5 - 8TB ZFS-Pool RAIDZ-2 - 16GB RAM,     NAS_2 - FreeNAS - i5 - 8TB ZFS-Pool RAIDZ-2 - 16GB RAM
    Desktop: 1x i7 - 16GB RAM - 250GB SSD - 3x 24"TFT, 3x i5 - 8GB RAM - 250GB SSD - 2x 24"TFT
    Laptop: 1x Lenovo T420, 1x Lenovo T400s, 1x Dell Inspiron i3
    Netzwerk: 2x Cisco/Linksys SRW2024, 1x Fritzbox 7270, 1x Sophos UTM

    Zitat von killercorny

    Hab grad 2 Posts drüber gesehen dass es ja schon 18.4 LTS gibt. :thumbup:
    Was ist denn bei ZFS besser gegenüber BTRFS? Ich überlege schon länger meine Datenpartition (Linux Raid5) zu konvertieren. Ext4 zu BTRFS ginge ja on the fly.

    Ich betreibe meinen Server mit einem Solaris-Abkömmling mit ZFS, daher kann ich dir hier nicht so viel weiter helfen. Eventl. kann dir @McStarfighter mehr dazu sagen, denn er hat sehr viel experimentiert, bevor sein System so steht, wie es jetzt steht.

    Kann mir aber vorstellen, dass folgendes sicherlich funktionieren könnte, WENN dein Xubuntu mit mehrere verschiedenen Dateisystemen parallel klar kommt.
    Steck in deinen Server eine kleine HBA-PCIe-Karte, für knappe 100 Euro, rein, Raid-Karte benötigt ZFS nicht. Dann benötigst du noch die Festplatten. Wenn du häppchenweise deinen Server aufbauen willst, dann mach einfach einen Mirror, also nur zwei neue 10TB-HDDs und bei Mehrbedarf steckst du zwei weitere HDDs hinzu z.B. die dann übrigen 3TB WD HDDs und erweiterst damit deinen pool.
    Jetzt kopierst du dir von deinem BTRFS-Raid5 die Daten auf deinen ZFS-Mirror-Pool. Fertisch.

    Wenn du das realisieren möchtest, mach besser deinen eigenen Thread auf, frag mich wenn du was wissen möchtest, aber nicht hier. Dies ist starfighters eigener Thread.

    Zitat von killercorny

    Ja, ich kenn den Spruch. Aber die Daten sind letztlich auch nicht so wichtig, dass ich die noch mal sichern müsste. Kostet ja schließlich auch nicht grade wenig Geld.

    Ja, und die Antwort kenne ich auch. Ich kenne aber auch das Geheule, wenn die Daten doch dann mal im Orkus gelandet sind. ;(

    Kodi-Hardware anzeigen

    HTPC: Kodi 19.x auf Nvidia Shield 2017
    TV: LG 65SK9500, AVR: Pioneer SC-LX57, Boxen: Nubert NuLine 284 Set 7.1
    Server: OmniOSce r151024 mit Napp-it pro, SM-Board X8SI6-F, Intel Xeon L3426, 16GB ECC RAM, LSI 9211-8i & 9201-16i, nur Hitachi/HGST 7k4000, XCase-Gehäuse RM424

    Wenn man auf ZFS migriert, sollte man daran denken, dass ein einmal erstelltes vdev nicht mehr verändert werden kann! Wenn man also z.B. ein RAID 5 mit 4 Platten erstellt hat, kann man das nicht durch eine weitere Platte vergrößern. Pools lassen sich dann nur durch ein weiteres vdev erweitern!
    Das soll sich aber in Zukunft ändern, die Leute hinter OpenZFS basteln bereits an Expansion und RAID Level Migration! ;)

    Ich persönlich halte davon mittlerweile nicht mehr so viel, man sollte sich einfach vorher gründlich Gedanken über seinen künftigen Storage machen und ihn dann auch so einrichten. Ich z.B. erweitere meinen Storage-Pool immer um exakt 9 Platten in Form eines ZFS-RAIDz (entspricht RAID5), und muß dementsprechend die Platten dann auch erstmal "ansparen".

    Und: Wer ZFS nutzt, sollte auch unbedingt ECC-RAM nutzen! Alles andere ist mehr als fahrlässig! Das gilt übrigens auch für btrfs und Microsofts ReFS!

    Ich habe das alles früher mal komplett anders gesehen, aber auch ich lerne an den richtigen Stellen gerne dazu! ;)

    Zitat von McStarfighter

    Wenn man auf ZFS migriert, sollte man daran denken, dass ein einmal erstelltes vdev nicht mehr verändert werden kann! Wenn man also z.B. ein RAID 5 mit 4 Platten erstellt hat, kann man das nicht durch eine weitere Platte vergrößern. Pools lassen sich dann nur durch ein weiteres vdev erweitern!
    Das soll sich aber in Zukunft ändern, die Leute hinter OpenZFS basteln bereits an Expansion und RAID Level Migration!

    Das ist richtig, wenn du dich auf raidz1 (RAID5) festgelegt hast, kannst du das nicht mehr auf raidz2 oder raidz3 oder gar in mirror ändern.
    Was aber geht ist, ein Tausch Stück für Stück der HDDs mit größerer Kapazität und so vergrößerst du diese vdev.
    Was auch geht, ist ein weiterer pool, da kannst du dann nach belieben nehmen was du möchtest.

    Zitat von McStarfighter

    Und: Wer ZFS nutzt, sollte auch unbedingt ECC-RAM nutzen! Alles andere ist mehr als fahrlässig! Das gilt übrigens auch für btrfs und Microsofts ReFS!

    Es ist aber immer noch besser, als kein ZFS zu nutzen. :D
    Der Intel Core i3-4150 kann aber ECC RAM und 8GB reichen auch locker.

    Zitat von McStarfighter

    Ich habe das alles früher mal komplett anders gesehen, aber auch ich lerne an den richtigen Stellen gerne dazu!

    Siehste, :love: :love: War von mir nie schlecht gemeint.

    Kodi-Hardware anzeigen

    HTPC: Kodi 19.x auf Nvidia Shield 2017
    TV: LG 65SK9500, AVR: Pioneer SC-LX57, Boxen: Nubert NuLine 284 Set 7.1
    Server: OmniOSce r151024 mit Napp-it pro, SM-Board X8SI6-F, Intel Xeon L3426, 16GB ECC RAM, LSI 9211-8i & 9201-16i, nur Hitachi/HGST 7k4000, XCase-Gehäuse RM424

    @Nepomuk: Mag sein, aber es war und ist die Art, wie du es meintest und ausdrücktest!

    Klar, man kann ein ZFS vdev durch den Austausch in größere Festplatten vergrößern, aber man kann nicht die Anzahl der Platten eines vdevs verändern und man kann das RAID Level nicht wechseln! Es sollte einem also vorher klar sein, welches RAID Level und wie viele Platten das vdev und damit meist auch der Pool haben wird!

    Nach über 2 Jahren intensiver Nutzung mit Kubuntu und ZFS regt sich ein leichte Unzufriedenheit ...

    Nicht falsch verstehen: Ich liebe Linux weiterhin und speziell ZFS, nur leider stehen mir dort bestimmte Applikationen nicht zur Verfügung, weil diese windows-only sind und auch unter Wine nicht lauffähig sind. Da wäre primär "MyMovies" mit einem automatischen Disc Copier. Das Programm braucht zwingend einen MS SQL Server und den kann man leider nicht remote verwenden (sonst würde ich einfach MS SQL unter Linux installieren und dann angeben). Und MyMovies braucht wiederum AnyDVD für den Disc Copier. Dann habe ich noch das für mich wichtige Tool PerfectTUNES, welches unter Wine zwar an sich läuft, aber keine Pfade aussuchen kann. Der Entwickler will daran leider nichts ändern.
    An Statt jetzt aber einfach wieder komplett auf Windows zu gehen, habe ich mir etwas anderes ersonnnen:

    Der Server selbst wird Debian Sid mit ZFS-Mirror als Root nutzen. Der Storage nutzt natürlich auch ZFS. Dort laufen dann die verschiedenen zentralen Applikationen (Emby Server, Plex Server, TVHeadend, Webmin, etc.). Als GUI werde ich Kodi im Autostart einrichten, da der Server direkt mit dem AVR verbunden ist. Als einzige VM wird es Windows 10 Pro geben, welches mit eigener Grafikkarte sowie exklusivem Zugriff auf meine 3 BD-Laufwerke versehen ist. So habe ich auf meinem PC-Monitor direkt Windows und kann alle Programme wie vorgesehen nutzen. Die sichere Grundlage bleibt aber bei Debian und dem ZFS Storage. Und auf dem Fernseher habe ich Kodi immer zur Verfügung, ohne Beschränkungen durch das LAN an sich.

    Soweit meine aktuellen Pläne! ;)

    Ok, spannend! Wine war für mich schon immer Quatsch mit Soße. Mit Windows in einer VM hast du es dann sauber gelöst.

    Aber warum willst du Sid auf deinem Server installieren? Willst du deine ganze Arbeit wirklich einer Entwicklungsumgebung anvertrauen?

    Das ist ja verrückt... *P
    Bin gespannt auf weitere Berichte. :D

    Gruß Hoppel

    frontend: nvidia shield tv 2019 pro | apple tv 4k | sonos arc 5.1.2 | lg oled65c97la
    backend: supermicro x11ssh-ctf | xeon | 64gb ecc | wd red | zfs raid-z2 | dd max s8

    software: debian | proxmox | openmediavault | docker | kodi | emby | tvheadend | fhem | unifi

    Ich habe Debian Unstable bisher als wesentlich stabiler erlebt, als man es immer annimmt. Und ich will ein Rolling Release, welches mir bekannt ist und zusagt.

    Wine ist gar nicht mal so schlecht, die von mir genutzten Programme liefen wie unter Windows und bei einem sogar besser (Subtitle Edit lässt unter Windows gerne mal die GUI einfrieren, in Wine passiert das nicht). Und hardware-nahe Programme wie AnyDVD werden wohl nie unter Wine laufen, genauso wenig die ganz großen Brocken wie MS SQL Server oder Visual Studio oder MS Office in aktuellen Versionen. Und Gaming ist damit ja auch mittlerweile mehr als nur eine Idee! ;)

    Erst einmal ein riesen Respekt für dein männliches Projekt!
    Jeder möchte sein Workflow natürlich behalten aber wieso schwenkst du nicht auf Linux ripping Software um?
    Da gibt es bestimmt auch ein paar Docker die das Rippen automatisieren

    Externer Inhalt peer2profit.co
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.
    Zitat von Cineologe

    Erst einmal ein riesen Respekt für dein männliches Projekt!
    Jeder möchte sein Workflow natürlich behalten aber wieso schwenkst du nicht auf Linux ripping Software um?
    Da gibt es bestimmt auch ein paar Docker die das Rippen automatisieren

    Weil MyMovies mit seinem Disc Copier die Scheiben automatisch erkennt und entsprechend die Ordner benennt. Er "weiß" dann also, dass die eingelegte Scheibe die 2. Disc von GoT Season 7 ist. Das habe ich mit keinem anderen Programm!
    Und das läuft alles vollautomatisch: Scheiben in die vorgesehenen Laufwerke einlegen und warten, bis die Schublade sich wieder öffnet. Hätte ich mehr Geld zur Verfügung, würde ich mir das Nimbie Plus Laufwerk holen, damit kann ich 100 Scheiben unbeaufsichtigt durchlaufen lassen.

    Ich rippe immer erstmal die Scheibe komplett und arbeite mit dem Ergebnis weiter. Falls mir nämlich beim Remuxen was mißlingt, kann ich schneller neu anfangen.

    Zitat von hoppel118

    Ok, spannend! Wine war für mich schon immer Quatsch mit Soße.

    Nachdem ich ja einige der originalen Wine entwickler kenne wuerde ich das eher als glorreiche, aber ultimativ zum scheitern verurteilte Don Quichote Aktion bezeichnen fuer ein open source projekt.

    Wenn man da mehr Geld reinstecken kann, weil man es kommerziell macht, und die Anforderungen reduziert (nicht alle programme, sondern nur eine definierte Teilmenge), dann funktioniert es ja wohl auch sehr gut. Wie im Beispiel bei Steeam. Die haben ja wohl einen ziemlich gut laufenden, auf winw basierenden Windows emulator fuer steam auf linux.

    Vor allem hat ja steam inzwischen soviel marktmacht, dass da evtl schon die windows spieleentwickler anfangen ihre Windows spiele unter Steam/Linux zu testen.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden