MergerFS Erklärung

epicfail

Hallo liebe Forengemeinde.

Hab da mal wieder ne Frage. Nutze schon lange OMV. Ohne Raid oder sonstigem. Jede HDD ist einzeln eingehängt und ist eine einzelne Freigabe. Leider werden jetzt so manche HDD´s schön langsam voll. Jetzt bin ich über MergerFS gestoßen aber leider versteh ich das noch ned so ganz. Man kann wohl einfach darauf umsteigen soweit ich das sehe. Es ist egal welche HDD´s verbaut sind oder? Bei mir sind alles unterschiedliche. Und danach werden neue Dateien auf den unterschiedlichen HDD´s gleichmäßig verteilt oder? Muss ich dabei noch irgendwas beachten? Oder einfach Pool erstellen und da dann alle HDD´s rein und das läuft. Sollte ich evtl vorher noch Ordner für Filme, Serien usw erstellen? Jetzt gibts halt zb ne Platte wo nur Filme drauf sind, 2 kleinere wo Serien darauf sind und noch n paar mehr. Ich denke ich versteht. Jeder Film und jede Serie sind in eigenen Ordnern.

Bitte helft mir mal eben aus. Ich seh den Wald vor lauter Bäumen nicht. Und ich brauch keine Ausfallsicherheit, so wichtig sind diese Sachen nicht bzw. kann ich sie ja jederzeit wieder drauf kopieren von den Originalen.

DaVu

Wenn die Platten voll sind, was erhoffst du dir dann von mergerFS? Davon werden die Platten nicht leerer.

Was mergerfs macht ist einen Overlay über deine bestehenden Platten zu legen (auf Datei- und nicht auf Block-Ebene) und die einzelnen Disks als JBOD verfügbar zu machen. Daten werden im Pool verteilt.

Wenn die Platten aber voll sind, dann sind sie nun mal voll. Da muss du dann einfach eine neue Platte hinzu stecken.

Wenn wir jetzt davon ausgehen, dass du auf "Disk 1" einen Ordner "Filme" hast und sich dieser Ordner auch auf "Disk 2" wieder findet, dann wird mergerfs diese zu einem "Filme"-Ordner gruppieren.

Zumindest verstehe ich das so, wenn die Darstellung ganz unten in der Doku korrekt ist: https://perfectmediaserver.com/02-tech-stack/mergerfs/

Auch das Git bestätigt das: https://github.com/trapexit/mergerfs

Der Vorteil von mergerfs ist halt, dass du dann nur noch einen mountpoint hast, den du einbinden musst. Und da es nur ein Eintrag in deine fstab ist, ist das ja auch schnell wieder zurück gedreht

Und wie immer bei solchen Stunts:

MACH VORHER BACKUPS

epicfail

Naja ich hatte die Hoffnung dass durch MergerFS dann die neuen Daten aufgeteilt werden. Dann bräuchte ich erstens keine neue Platte und zweitens würde es in Emby reichen einmal auf den Merger Pool zu zeigen und gut is.

Ich hab keinen Ordner Filme auf meiner FilmHDD sondern die einzelnen Filme sind in ihren jeweiligen Ordnern.

KOorDInator

Zitat von DaVu

Wenn die Platten voll sind, was erhoffst du dir dann von mergerFS? Davon werden die Platten nicht leerer.

Abgesehen davon: Du hast es korrekt verstanden. Habe ich seit Jahren im Einsatz. Wie neue Dateien auf die Platten verteilt werden, ist konfigurierbar:

Gleichmäßig verteilen
Erst eine Platte voll machen
etc.

EDIT

Eine einzelne Datei wird nicht geteilt. Bei Bedarf wird das gleiche Verzeichnis (automatisch) auf einer anderen Platte erstellt und die Datei dort angelegt.

epicfail

@K0orDInator: na schau das meinte ich ja damit. Sorich Filmplatte ist voll... Neuer Film wird auf irgendne andere HDD geschoben. Das die Datei nicht aufgeteilt wird war mir schon klar.

Dann müsste ich aber jetzt bei allen quasi nen Überordner machen oder? Sprich Filme, Serien, Kinderfilme usw und danach den Pool erstellen?

DaVu

Zitat von epicfail

Dann müsste ich aber jetzt bei allen quasi nen Überordner machen oder? Sprich Filme, Serien, Kinderfilme usw und danach den Pool erstellen?

Hast du dir mal die Links von mir angesehen?

Liegen deine Filme aktuell auf dem "root" der Platten nur in ihren eigenen Ordnern? Wenn ja, dann würden Überordner bestimmt Sinn machen. Wenn es pro Platte schon einen Überordner gibt und der auf allen Platten gleich heißt, dann wird MergerFS das gruppieren.

epicfail dennoch....wenn deine Platten voll sind, dann sind sie voll. Ich beziehe mich da auf diese Aussage:

Zitat von epicfail

Leider werden jetzt so manche HDD´s schön langsam voll.

Das einzige, was dir MergerFS an der Stelle abnimmt ist das manuelle Aufteilen bzw. das Schauen nach "Wo ist denn noch Platz". Das stimmt. Aber wie gesagt...es ist ja wirklich ratz-fatz getestet.

Du kannst dir ja auch 2 Pools anlegen. Nehmen wir mal an es sieht bei dir so aus:

Disk 1: Hat nur Filme in seinem "root"-Verzeichnis

Disk 2: Hat nur Serien in seinem "root"-Verzeichnis

Disk 3: Hat nur Filme in seinem "root"-Verzeichnis

Disk 4: Hat nur Serien in seinem "root"-Verzeichnis

Dann erstellst du dir 2 Pools, die du getrennt mountest und hast somit dann auch später auf den Platten nicht Filme und Serien gemischt, wenn du Daten in den Pool kopierst. Der erste Pool besteht dann aus Disk 1 und Disk 3 und der zweite Pool besteht aus Disk 2 und Disk 4.

Es sagt ja niemand, dass du nur einen Pool haben darfst.

Wenn du natürlich Daten mischen möchtest (also im Sinne von Filme und Serien auf einer Platte), dann brauchst du Überordner, damit Kodi damit später klar kommt (falls du Kodi verwendest). Auch werden sich dann deine Pfade für die Filme und Serien ändern und du müsstest die Datein Kodi neu einlesen.

Aber von Kodi haben wir hier natürlich noch nicht gesprochen. Sorry für OT, wenn das kein Thema sein sollte.

malvinas2

Benutze es selbst nicht, da zu spät davon erfahren, aber ein großer Vorteil von MergerFS und ähnlichen Systemen besteht wohl darin, daß auch bei einem "Ausfall" von MergerFS der Inhalt der Platten erhalten und lesbar bleibt. Eine Platte raus und in ein anderes System gesteckt: Daten sind lesbar. Das ist bei LVM überhaupt nicht der Fall: Fällt da eine Platte aus, ist der Inhalt aller anderen Platten ebenfalls weg.

DaVu

Zitat von malvinas2

aber ein großer Vorteil von MergerFS und ähnlichen Systemen besteht wohl darin, daß auch bei einem "Ausfall" von MergerFS der Inhalt der Platten erhalten und lesbar bleibt

Sorry, aber das ist leider ein Trugschluss.

mergerfs - Perfect Media Server

perfectmediaserver.com

"if the drive that data is stored on fails, that data is gone. "

MergerFS hat nichts mit Parity oder RAID oder Redundanz zu tun. Wenn man SnapRAID noch mit einbaut, dann kann man Snapshots von den Disks machen. Das geht aber auch schon mit ZFS.

Zitat von malvinas2

Das ist bei LVM überhaupt nicht der Fall: Fällt da eine Platte aus, ist der Inhalt aller anderen Platten ebenfalls weg.

LVM hat auch rein gar nichts mit MergerFS zu tun. LVM ist ein Logical Volume Manager auf Block-Ebene. MergerFS macht das auf Datei-Ebene .Das zu Vergleichen ist leider auch ein Vergleich mit Äpfel und Birnen

buers

Zitat von epicfail

würde es in Emby reichen einmal auf den Merger Pool zu zeigen und gut is.

Wenn es nur darum geht, kriegt man das auch mit symbolischen Links und ohne mergerfs hin.

Ich habe übrigens sehr ähnliche Anforderungen wie du, nutze auch OMV, kam aber für mich zum Schluss, dass ich lieber nicht mergerfs nutze. Mein Hauptgrund: keine Kontrolle, wie die Dateien auf die Platten aufgeteilt werden und die Befürchtung, dass Restore (wenn mal ne Platte kaputt geht) komplex werden kann (obwohl ich da auch schon Ideen durchdachte). Jedenfalls unter meinen Umständen/so wie ich Backup organisiere. (RAID benötige/will ich wie du auch nicht).

Großteil meiner Daten (jedenfalls was Volumen angeht, nicht was Anzahl der Dateien angeht) sind Filme. Habe das für mich praktikabel letztlich so organisiert.

- Auf einer Platte unterhalb der Freigabe ein Verzeichnis "movies"
- Darin symbolische Links auf Ordner der anderen Platten. Namen der Ordner z.B.: movies1 - moviesn.
- movies "Hauptordner" als Kodi Quelle (und man braucht da wirklich nur eine Quelle)
- Aufteilen der Filme auf die Platten/moviesx Ordner mache ich. Backup mit identischem moviesx Namen. Ordnungsystem (wie Filme mit A-E oder so) für die Aufteilung benötige/nutze ich nicht.
- System skaliert (man kann leicht ne neue Platte integrieren).

Mir fiel jedenfalls keine leicht praktikable analoge Möglichkeit mit mergerfs ein. Mein geistiger Overhead, die Filme auf die Platten zu verteilen ist vernachlässigbar. Klar, grundsätzlich macht das mergerfs eleganter. Für andere Daten (sagen wir meine Quelltexte) ist Datenvolumen im Vergleich zu den Filmen vernachlässigbar - da brauche ich sowas wie mergerfs eh nicht.

In OMV muss man samba Optionen follow symlinks = yes und wide links = yes setzen. Geht mittlerweile einfach in Dienste -> SMB -> Einstellungen -> Erweiterte Einstellungen -> Erweiterte Optionen (bei OMV1/2 musste man noch smb.conf editieren).

Ich benötigte schon zwei Mal Restore wegen Festplatten-Defekts. Funktionierte alles recht einfach, mit wenig Zeitaufwand von mir (aber der Vorgang selbst dauerte schon jeweils einen Tag).

malvinas2

Zitat von DaVu

Sorry, aber das ist leider ein Trugschluss.
https://perfectmediaserver.com/02-tech-stack/…s/#is-this-raid
"if the drive that data is stored on fails, that data is gone. "

Du mußt den ganzen Text lesen: Die Daten des betroffenen Laufwerks sind weg, aber die Daten aller anderen Laufwerke sind nach wie vor lesbar. Du kannst ja auch jederzeit unter MergerFS den Inhalt einer einzelnen Platte mit ls /path/to/your/disk anschauen.

Zitat

LVM hat auch rein gar nichts mit MergerFS zu tun. LVM ist ein Logical Volume Manager auf Block-Ebene. MergerFS macht das auf Datei-Ebene .Das zu Vergleichen ist leider auch ein Vergleich mit Äpfel und Birnen

Ebendrum. MergerFS fasst verschiedene Laufwerke -sogar mit unterschiedlichen Dateisystemen- unter einem Mountpoint zusammen. Die Dateisysteme bleiben davon unberührt. Im Prinzip wie früher zu DOS-Zeiten der SUBST-Befehl, natürlich erheblich erweitert.

DaVu

Ah, so meinst du das. Das stimmt. Das ist ja aber auch klar. Dafür braucht es aber auch kein MergerFS. Denn wenn eine Platte in meinem System kaputt geht, dann geht die eine Platte kaputt und nicht alle anderen.

Bei RAID hätte ich wenigstens noch Redundanz und bei RAID 6 dürfen sogar 2 Platten kaputt gehen und bei UnRaid ist es ohnehin egal, da UnRaid die Daten nicht striped.

Ich wollte nur darauf hinaus, dass sich deine Aussage so angehört hat, als hätte man gar keinen Datenverlust beim Ausfall einer Platte. Und das stimmt halt nicht

te36

Wenn man zuviele Platten mit Medien hat und sich kein Komplettbackup leisten will (aka: nochmal denselben Plattenplatz kaufen), kann man mit SnapRAID anfangen.

Sowas wie MergerFS hab ich im Hinterkopf, aber noch nicht im Einsatz.

Bei mir liegen die Medien verteilt auf mehreren Platten aber dort halt jeweils in demselben Typ Unterordner, also vor allem klassifizert, ein directory fuer DVD, eins fuer BD, UHD, BD3D, und dann halt Movies, Serien, Dokus, Music

Mit MergerFS koennte man dann fuer die Clients einen einzelnen Baum darstellen. Das waere nett.

Ich glaube aber nicht, das ich mich darauf verlassen wuerde durch MergerFS hindurch neue Mediendirectories dazuzutun. Da entscheide ich doch lieber selbst, auf welche Platte das gehen soll.

DaVu

Und Snapraid habe ich oben auch schon erwähnt. Alles nett, wenn man nicht neu aufsetzen möchte. Sollte man zufällig schon zfs verwenden, dann ist die Snapshot-Funktion bereits integriert.

Zitat von buers

Wenn es nur darum geht, kriegt man das auch mit symbolischen Links und ohne mergerfs hin.

Und das ist genau der Punkt. Abgesehen von der Konfigurationsmöglichkeit bei MergerFS und das ich nicht nochmal alles einrichten muss, sehe ich keinen echten Gewinn zu einem handelsüblichen JBOD. Mit ein wenig Handarbeit bekomme ich die Grundfunktion (einen Mount for viele Platten) auch so hin.

Soll nicht heißen, dass es keine Daseinsberechtigung hätte, aber es hat für mich persönlich auch nicht DEN "Aha-Effekt"

malvinas2

Zitat von DaVu

sehe ich keinen echten Gewinn zu einem handelsüblichen JBOD.

Du hast es doch selbst etliche Male betont: Wenn bei JBOD eine einzige Festplatte ausfällt, sind alle Daten verloren. Das Dateisystem (ntfs, ext4, ...) wird schließlich über alle Platten erzeugt. Bei MergerFS nicht.

Der Clou bei MergerFS besteht darin, daß mehrere Platten zu einem Verbund zusammengeführt werden und MergerFS sich um Dinge kümmert wie "Datei mit Namen xyz ist auf Platte 1 vorhanden, aber auf Platte 2 befindet sich ebenfalls eine Datei mit diesem Namen". Das können Lösungen wie z.B. die von buers genannten symbolischen Links nicht leisten.

noob_at_pc

dem malvinas2 stimm ich da zu. Ich selbst nutze mergeFS seit langer Zeit (mind. 8 Jahre).

Selbst für das Beispiel von Davu da oben braucht man nur ein Pool, man kann im MergeFS so viel einstellen und und auch selbst vorgeben. Ich liebe es und das tolle ist -> Jederzeit eine Platte hinzufügen, entfernen, tauschen ohne viel tun zu müssen. Und bei einem Defekt sei es von einer Platte allein oder vom kompletten server... ich kann jede Platte einzeln sonst wo dran hängen und kann schauen was ich davon retten kann.

Ich lieb das System und für den Heimbedarf langt ein regelmäßiges Backup. Wenn mal ne Platte defekt ist, dann ist das so. Bis die neue Da ist hat das Zeit.

Auch das Thema welch Daten wohin gehen lässt sich im MergeFS steuern. Für mich ist es etwas tolles um auf bestehendes aufzubauen. Vorhandene Platten mit Daten lassen sich jederzeit einbinden und erweitern, man kann es jederzeit auflösen, aufsplitten usw.

epicfail

Da hab ich ja fast schon ne Grundsatzdiskussion los getreten

Es geht mir rein darum dass das System (MergerFS in dem Fall) die Daten welche ich rauf schiebe auf den Platten verteilt wo halt no Platz ist. Klar könnte ich das selber auch machen aber so stell ichs mir halt praktischer vor. So würden dann halt alle Platten wirklich bis zum Schluss ausgenutzt.

Die Movie HDD ist zb fast voll, die Serien Platten oder auch die sonstige Daten Platten haben noch Platz. Da würd das für mich im Kopf einfach Sinn ergeben anstatt immer wieder neue HDD´s zu kaufen. Klar komm ich da irgendwann nicht drum rum aber irgendwann ist der HDD Platz im NAS ja auch aus. Ja, man könnte dann größere HDD´s rein klatzschen und da drauf wieder alles kopieren. Ich halts halt derzeit noch so, wenn ich ne Platte über hab kommt die ins NAS. Sind auch n paar ältere dabei. Wie gesagt, wenn man eine abkratzt dann ist es halt so. Sind ja beinah nur Mediendateien, alles andere ist entweder Offsite nochmal gesichert oder ist ned wichtig.

Falls ich das Thema jetzt angehe heißt das für mich:

1. auf jeder HDD die in den Pool kommt Überordner anlegen (Filme, Serien usw)

2. Daten in diese erstellten Ordner kopieren

3. Pool(s) erstellen und einrichten (Gibts da Einstellungen die man bevorzugen sollte)

4. Freigaben neu erstellen und in den jeweiligen Dockern (Emby usw) neu einbinden

5. Kodi Datenbanken über Emby neu erstellen lassen

So ungefähr sollte der Ablauf sein oder?

noob_at_pc

ich würde nur Part 2 & 3 drehen dann werden die Daten lustig verteilt (je nach deiner Konfig halt). außer du willst die Daten natürlich genau auf die Platte ablegen die du vorgibst ... das obliegt dir, klar.

Ich hab bei mir auch einfach einen großen Pool und habe die Richtlinie "existing Path - most free Space" gewählt. Somit kann ich sogar immernoch steuern, dass gewisse Freigaben bspw. nur auf einer HDD liegen obwohl es im Pool ist Solange der Freigabe Ordner nur dort existiert landen die Daten nur dort drin.

Was auch ganz cool ist mittlerweile sind die Features "balance pool" - damit kannst du die Daten neu verteilen lassen und "deduplicate pool" -dies bereinigt tatsächlich doppelt vorhandene Daten. außerdem gibt es auch "consolidate" -> zieht alle Daten aus dem Pool auf eine Platte um.

Also für mich ein wirklich mächtiges, praktisches und tolles tool das MergeFS

malvinas2

Zitat von epicfail

So würden dann halt alle Platten wirklich bis zum Schluss ausgenutzt.

Mit einer Einschränkung, die in der Praxis allerdings keine Rolle spielen dürfte: MergerFS kann keine Dateien 'splitten', also aufteilen. Beispiel: Drei Festplatten, auf jeder einzelnen sind noch je 50 GB Speicher frei. Eine 150 GB große Datei könntest Du nicht abspeichern, sondern maximal 50 GB. Aber wer hat schon so große Dateien

malvinas2

Zitat von DaVu

LVM hat auch rein gar nichts mit MergerFS zu tun. LVM ist ein Logical Volume Manager auf Block-Ebene. MergerFS macht das auf Datei-Ebene .Das zu Vergleichen ist leider auch ein Vergleich mit Äpfel und Birnen

LVM erwähnte ich nur, weil ich das benutze. Und ich benutze es, weil ich bis vor kurzem Union-Systeme wie MergerFS gar nicht kannte Daher erlaube ich mir den Spaß je zwei Platten zu einem Raid1 zusammenzuschließen und dann alle Raids mittels LVM zu einem Logical Volume zusammenzuführen. Halte ich mittlerweile für den Heimgebrauch für übertrieben. Und der Wechsel einer defekten Platte funktioniert zwar, aber ich kriege jedes Mal eine nasse Hose vor lauter Angst, daß irgendetwas schiefgeht und alle Daten weg sind.

bennySB

Mein Senf dazu nach auch so 8 Jahren Nutzung:

Funktioniert!

Ich arbeite sogar nur mit der Option most free Space. Wenn ich ne Platte einzeln nutzen würde, wäre alles durchgewürfelt (Foto Ordner von Urlauben bspw.), aber so ist das halt.

Bzgl. Wiederherstellen von Dateien, hier arbeite ich auch von Anfang an mit Snapraid und habe schon zwei Wiederherstellungen gemacht, wegen Plattenwechsel und das hat immer sehr gut funktioniert.

MergerFS Erklärung

MACH VORHER BACKUPS

Jetzt mitmachen!

Benutzer online in diesem Thema