Kodi mit Medien in der Wolke

Hey,

ich suche Andere die auch folgendes Setup fahren und vielleicht Interesse am Austausch von Erfahrungen haben.

Vor einigen Jahren habe ich mir einen N54L mit 5 Festplatten geholt. 2015 stand dieses System auf dem Prüfstand und ich musste mich entscheiden -> Lasse ich die Hardware langsam kaputt gehen und tausche die Festplatten noch ggf. aus oder verkaufe ich den kleinen Server und wechsle das Konzept wie ich meine Daten vorhalte und auf welchen Clients ich setze.

Fallen im alten System einzelne Komponenten aus, muss ich tlw. 100 € und mehr in die Hand nehmen. Fallen 2 Festplatten kurz hintereinander aus ist mein tolles Raid dahin. Die Daten sind mir zwar nicht soooo wichtig, aber es würde Zeit kosten die fehlenden Medien zu ersetzen. Die Geräte haben auch viel Strom verbraucht und den ganzen Tag kaum etwas gemacht. Die Clients liefen durch fehlendes /buggy Wake on USB meist 24/7

Ich entschied mich für letzteres und verkaufte den Server und die Festplatten für gutes Geld

Mein altes Konzept war

Server ZFS Filesystem + Datenbank
N54L 8GB Ram
13 TB HDD im Raid
120 GB SSD

2x Client fürs Wohn- und Schlafzimmer
Intel Haswell Celerons
2GB Ram
Antec HTPC Gehäuse
60 GB SSD

Stromverbrauch: ~100 Watt, ~13 TB Speicherplatz

Dies sollte nun ausgetauscht werden durch ein neues System.

Dies sollte:

• kostengünstig sein und alle Teile sollen auch noch in Jahren zur Verfügung stehen. Festplatten sah ich hier immer als großes Problem.
• Nur noch einen kleinen Teil an Daten lokal vorhalten können und die Mediendateien vollständig in der Cloud unterzubringen.
• Alle Daten verschlüsseln können.
• (eventuell auch HD Streams transcoden können.)

Ich verkaufte also einen Client und den Server. Im anderen Client tauschte ich den CPU gegen einen I5 aus der Haswell Reihe mit 65 TDP. Dadurch erhielt ich AES Support und VT-D. Außerdem kaufte ich 16GB Ram ( 4 GB würden aber reichen habe ich festgestellt ). Mein Gehäuse kann max 65 W TDP CPU´s aufnehmen, sonst hätte ich einen normalen I5 genommen.

Intel Haswell Intel Core i5-4590S
16 GB Ram
Asrock ITX Mainboard
ITX Gehäuse
60 gb SSD

als Clients werden jetzt Raspberry Pi´s verwendet. Diese sind günstig, lautlos und zuverlässig.

Software

Für das neue Konzept brauchte ich eine Menge Software und einen externen Cloudspeicherdienst.

Cloudspeicher 2016

Amazon Unlimited Cloud aus den USA - 60$ im Jahr für unbegrenzten Speicherplatz.
Hubic - langsamer Cloud Speicher aus Europa.
Microsoft One Drive - guter Cloud Speicher, leider schlechte Linux Integration.
der Rest war mir zu teuer.

Ich habe alle getestet. Hubic fiel durch seine Geschwindigkeit raus, Microsoft OneDrive hatte leider keine Möglichkeit die Daten nur entfernt als FUSE Mount vorzuhalten aber Amazon ... hat da ein knaller Angebot. Ich teste seit 2 Monaten einen unlimited Cloud Speicher von Amazon.com. Dort erhalte ich unbegrenzten Speicherplatz und kann diesen mit meinem Unitymedia Anschluss in hoher Geschwindigkeit nutzen. Laut Reddit gibt es Nutzer mit 50TB und mehr. Sie laden tlw. mit mehreren hundert mBit Geschwindigkeit ihre Daten in die Cloud.

Ich halte also alle Daten auf der Amazoncloud vor. In Kurzform habe ich einen Ordner /media/, dieser zeigt auf /data/enc.local und /data/enc.acd, welche wiederum entschlüsselte encfs Ordner der Verschlüsselten Versionen in /data/.enc.acd und /data/.enc.local sind. Das sind 3 Schichten. Die Schicht welche ich mir anschaue /media/. Diesen Ordner lasse ich von Kodi einscannen und lagere auch andere Daten dort. /data/enc.acd und /data/.enc.acd ist der Cloudteil des Ordners /media/. die Ordner mit dem Suffix .local sind lokale Versionen dieser Ordner. Dadurch kann ich auch einen lokalen Cache vorhalten und speichere / lese doch in der Cloud wenn ich das möchte.

Hier ist der letzte Absatz in mehren Blogposts erklärt:

https://amc.ovh/2015/08/14/mou…-encrypted.html

Kodi

Ab hier ist alles wie bisher. Ich erstelle Samba3 Freigaben, erstelle eine Datenbank mit Docker und einen Kodi Headless Server mit Docker. Lese die Daten in /media/Serien usw. ein.

Wichtig war das ich das caching für "lokale" Dateien aktiviert habe.

<[definition='2','1']advancedsettings[/definition]>
  <useddsfanart>false</useddsfanart>


  <samba>
    <clienttimeout>3</clienttimeout>
  </samba>
  <network>
	<disableipv6>true</disableipv6>
    <buffermode>1</buffermode>
    <cachemembuffersize>1507286400</cachemembuffersize>
    <readbufferfactor>20</readbufferfactor>
	</network>


<videodatabase>
        <type>mysql</type>
        <host>hostname</host>
        <port>3306</port>
        <user>kodi</user>
        <pass>PW</pass>
    </videodatabase>
	<videolibrary>
          <importwatchedstate>true</importwatchedstate>
     </videolibrary>
</[definition='2','1']advancedsettings[/definition]>

Hoffentlich nicht zu wirr alles Beschrieben. Ich gehe gerne noch auf einzelne Punkte ausführlicher ein wenn gewünscht.

Hey danke für den Zuspruch.

Eine Online MYSQL Datenbank hatte ich mal, habe ich aber verworfen. Der Geschwindigkeitsverlust ist zu hoch, auch wenn er gering ist.

Ich teste zur Zeit seperat noch Emby. Dies wäre dann die Möglichkeit von Unterwegs auf die Datenzuzugreifen. Leider kommt mir Emby so vor als würde es nicht vorladen oder ich mach noch was anderes Falsch.

Das Angebot heißt Amazon Cloud Unlimited (ACD auch genannt) und ist auf amazon.com für US Kunden zu haben.
60 $ nach 3 Monate Testphase. Ich bin noch in der Testphase : - )

Die API hat ihre Limits. Ich bin mir noch nicht sicher wo diese sind. Lt. Amerikanischen Foren wird man gebannt wenn man an zu viele (ip-ADressen) den Account weiter gibt. Es gibt afaik kein Usermanagement und keinen Zugriff über die API auf geteilte Ordner.

Neue Ziele:

Emby Medienserver
Medienzentrum für alle relevanten Medientypen welche mit KODI angeschaut werden können. Perfekt für ein wachsendes Archiv.

VPN Client mit offener Verbindung zu einem für mich gut angebundenen RZ. Damit darüber vielleicht die Verbindung nach Amerika stabiler ist.
- wie leite ich allen Verkehr, wie leite ich nur den acd_cli Verkehr über eine VPN Verbindung?

VPN Server
Host für die Mediendaten aufsetzen.

Autom. Backup von
einer Dateiliste des Medienarchivs
von emby / der MySQL Datenbank

naja kompliziert.... Ich beschäftige mich mit XBMC schon seit 2003/4 oder so... Da hieß es noch XBox Media Player ;)) Ich fragte mich im Sommer eben wie ich die Festplatten los werden kann.

Hallo

Ich lade nicht über meine heimleitung die Daten in die cloud. Das mache ich über einen dedicated Server.

Mir reicht aus das Amazon nicht die Daten im Klartext vorliegen haben.

Ich halte die Medien nicht lokal. Darum geht es doch die ganze Zeit.