How to: Das Datengrab in der Wolke

Da ich meine komplette Film/Serien- Datenbank mittlerweile seit gut 2 Jahren in der Cloud liegen habe und immer wieder mal die Frage aufkommt wie das zu realisieren ist, hab ich mir mal die Mühe gemacht das ausführlich in ein Tutorial zu verpacken.
Hinzu kam das kürzlich jemand Google Drive auf seinem Server mounten wollte und so GoogleDrive ohne die Plugins des Systems direkt in Nextcloud mounten wollte.

In Rücksprache mit @don bin ich zu faul das Ganze nochmal fürs Board anzupassen und verweise hier auf externe Links in meinem Blog.

[h2]Voraussetzungen :[/h2]

• Eine AES fähige CPU (wir verschlüsseln unsere Daten)
• Ubuntu/Debian (für dieses Tutorial, lässt sich aber auch mit anderen Linux Systemen lösen)
• Zugriff auf den Fuse-Drive (manche V-Server Anbieter gewähren keinen Zugriff auf Fuse oder erst ab höheren Pakten)
• Bandbreite fürs Streaming (Wenn zuhause nur 2Mbit ankommen, kommt auch kein 4k Video durch die Leitung)
• mindestens 2 GB Arbeitsspeicher, wobei hier wie üball gilt: Je mehr, je besser
• Grundwissen in Linux

[h2]Die Vorteile:[/h2]

• Beim hosten in einem externen Rechenzentrum ist man unabhängig von Dingen wie DS-Lite etc
• Sehr günstige Backup Möglichkeit (15 Euro im Monat bei unbegrenztem Speicher)
• Man spart Strom im eigenen Haushalt (wo kein Server läuft, verbraucht ein Server auch keinen Strom)
• 15 Euro für endlosen Speicherplatz

[h2]Die Nachteile:[/h2]

• Bei zu wenig Bandbreite muss die Server Hardware transkodieren können
• Wenn der Anbieter (in diesem Fall Google Cloud) das Angebot ändert oder einschränkt, sind ggf die Daten weg
• Wenn Offline dann bleibt der TV schwarz
• Musik aus der verschlüsselten Cloud hat sehr lange Ladezeiten

[h2] Mögliche Online Lösungen [/h2]

Ich persönliche bin seit 2 Jahren zufriedener Hetzner Kunde, ich weiß aber auch von Leuten die netcup nutzen...

https://www.hetzner.de/cloud

Ohne Transcoding und als Cloudlösung

Hier reicht in der Theorie schon das kleine CX11 Angebot, allerdings hat man bei 20GB Speicher bei einer relativ großen Datenbank nicht lange Spaß (Thumbnails, Metadaten etc fressen schon ganz gut Platz)

Wer aber nur ein Backup pflegen will und ggf eine vom heimischen Netz unabhängige Nextcloud installation nutzen möchte, sollte hier ganz gut bedient sein.

Wenn aber Emby mit ein paar Serien und Filmen gestreamt werden soll, empfehle ich mindestens CX21 oder vergleichbare Lösungen.

Emby für 5 User + und H.264 Transcoding

Hier lohnt sich ein Blick in die Serverbörse von Hetzner. Ab 28 Euro finden wir schon Systeme mit einem Xeon der h.264 transkodieren kann.

https://www.hetzner.de/sb

Mit einem solchen System hat man dann auch noch genug lokalen Speicher auf dem System um auch die Musik/Hörbuch Datenbank ins Internet auszulagern. Mit einer eigenen Domain, Nginx Proxys etc lässt sich hier ein wirklich angenehmes kleines eigenes "Netflix" bauen.

Bei Wikipedia gibt es eine schön übersichtliche Tabelle welche Intel CPU mit Quick Sync was hin bekommt.

Emby für 5 User + und alle (aktuell) gängigen Videoformate

Wenn Inhalte zb. in h.265 vorliegen aber die Clients mit diesem Format nicht umgehen können (Raspberry Pi 1-3 zb.) oder die Bandbreite nicht ausreicht und transkodiert werden muss, muss man in den sauren Apfel beißen und ein deutlich teureres System als Server hernehmen. Das lohnt sich in den meisten Fällen vermutlich nicht, kann aber vllt eine Lösung sein wenn man mit mehreren Leuten in der Familie zusammenlegt.

Auch hier empfehle ich einen Blick auf den Wikipedia Artikel was die Hardware Anforderungen angeht.

[h2]Die Tutorials[/h2]

Google Drive auf Linux mounten: https://nevrion.de/google-drive-m…-linux-mounten/

Google Drive Mount in Nextcloud nutzen: https://nevrion.de/nextcloud-mit-rclone-mounts-nutzen/

Wenn Interesse besteht, werde ich das ganze auch noch um Dinge wie die Nutzung mit Emby erweitern.

Bei Rückfragen immer gern am Start

Zitat von ErAzOr

Hi,

kleiner Anmerkung bezüglich der Nextcloud Integration.
Durch das Setzen von 'filesystem_check_changes' => 1, in der config Datei, konnte ich komplett auf Cron verzichten. Änderungen werden nun quasi "on the fly" erkannt.

Muss allerdings dazu sagen, dass ich nicht wie du, rclone als external storage eingebunden hast, sondern rclone als "data" Verzeichnis auf Betriebssystem Ebene gemountet habe.

Keine Schreibprobleme mit dem mount wegen der API Zugriffe? Dann wäre das natürlich generell der bessere Weg.

Zitat von ErAzOr

Würde mich mal interessieren, ob mit deiner Variante der Parameter "filesystem_check_changes" ebenfalls greift. Denn eigentlich wird generall beim Öffnen der jeweiligen Ordner nach Änderungen gesucht.

Hatte ich aktiv, hat nicht gegriffen, hab das auch so ausm Netz raus gelesen dass das wohl nicht geht. Ich hatte zum testen mal mehrere Files in unterschiedlichen größen hochgeladen und soweit keine Problem... ich habe aber vllt auch einen generellen Denkfehler was die Funktion als "data" angeht denn ich ging davon aus, wenn Drive mal grade nicht gelesen werden kann/darf, dann hängt mir die komplette Oberfläche.

Kleine Ergänzung... in der Theorie lässt sich das ganze auch mittlerweile mit Google eigenen Tools (dann allerdings ohne Verschlüsselung) direkt unter Windows realisieren...das kann einige Probleme lösen...wirft aber auch ein paar neue auf.

Zitat von Jemus

Kann man den Zugriff auf die Google Cloud per rclone eigentlich auch per Odroid N2 realisieren?
Oder hat der dann wieder zu wenig Power?

Ich hab keine Ahnung was man für die Kiste für ne Software bekommt, im Prinzip kann das schon funktionieren...obs dann für nen Emby Server etc reicht, kann ich nicht sagen

Zitat von chrissix

Also ich kann mir bei besten Willen unter Einbeziehung des Kostenfaktors nicht vorstellen 64TB in die Cloud zu verlegen.

Von welchem Kostenfaktor sprichst du?

Zitat von chrissix

Preis pro Gigabyte

15 Euro im Monat für Unlimited? Wo siehst du da die explodierenden Kosten?

Die Limitierung der Maximalen Dateigröße bei Google liegt bei 5TB . Es ist so einfach, nur wenn Leute nicht wissen dass es das gibt, dann können sie es auch nicht nutzen. Es gibt eine riesige Community die das bereits seit Jahren nutze und wenn ich von unlimited rede, meine ich auch unlimited.

Und wir reden eben auch nicht von irgendwelchen 08/15 Sharehostern sondern von Google Drive.

Es gibt über die Gsuite dieses Angebot direkt von Google...In der Info steht zwar, dass man mindetens 5 User braucht um unlimited zu bekommen, bekommt es aber schon ab einem User. Sollten sie das irgendwann umstellen, wären dann 5x15 Euro fällig, da man aber jedoch nur einen User braucht, wäre auch sharing nicht das Thema.

Unter Windows gehts im Prinzip mit von Google angebotener Software auch, da fällt dann aber weg, dass man selbst Verschlüsselt.. wer also Google vertraut, könnte das auch direkt unter Windows machen (wobei auch eine VM auf einem Windows System denkbar ist und die Freigabe dann via SMB an Windows zu sharen).

Moin @Publish3r, schön zu lesen dass du soweit schon mal was stabiles laufen hast

Ich habe jetzt mal anreget durch die Anmerkung von @Eraz0r mal rumprobiert von wegen ohne Cronjob...wenn ich das ganze ohne Docker nutze, brauche ich auch keinen Cronjob, sprich:

Apache2 - Mariadb auf dem Host und auch als external Storage kein Cronjob notwendig damits aktualisiert wird.

Was die rclone.service angeht, ich persönlich würde einfach eine zweite ala rclone2.service anlegen die dann auf den zweiten rclone mount verweißt, sprich gdrive-crypt: durch mount2: ersetzen.