[DISCONTINUED] easyEPG Grabber // WebGrab++ Alternative [v0.4.3 | 2020/01/11]

@BJ1: Hast Du den Fehler gefunden? Habe gerade gesehen, dass ich das gleiche Problem habe. Die Mangenta Kanäle sind alle "weg", alle anderen de und uk werden lustig weiter gegrabbed. Bin auch in @dlueth's Docker unterwegs, allerdings unter OMV, nicht Unraid. Habe auch immer brav die bash benutzt, um auf den Docker zu kommen...

Nein, gestern war Magenta auch bei mir wieder komplett weg. Ich bin gestern auch erstmalig bei der (Neu-)Einrichtung aus Magenta rausgeflogen (der Aufruf der Kanalliste im Magenta-Grabber hat sich sofort wieder beendet) und musste erst ein paar Anläufe nehmen. Da ist noch irgendwo der Wurm drin.

Grabben tut er, aber die Liste im Menü ist leer? @M4tt0 und @BJ1

@dlueth: Ich habe eine Kombi aus Magenta und Horizon. Nach einem Dockerupdate lässt sich die Magentaliste manchmal erst im zweiten Aufruf starten. Wenn man vorher "Modify XML-Files" startet, fehlt dort Magenta komplett. Wenn Magenta sich aufrufen lässt, sind manchmal die vorher selektierten Kanäle wieder da, ich hatte aber auch schon 1x eine komplett leere Liste, d.h. die Magenta-Liste ohne einen einzigen selektierten Eintrag. Im Combine-Skript sind dann natürlich sämtliche Magenta-Kanäle ebenfalls nicht selektiert, was dann nachgeholt werden muss.

Ich bin gestern mit ssh auf den Server gegangen und dann per CLI in den Container, so wie es auf @dlueth's github geschrieben steht. Habe dann das Script aktualisiert und gegrabbed. Alle Kanäle wieder da. Beim automatisierten Grabben heute morgen, wurde das EPG ebenfalls vollständig aktualisiert. Ist schon seltsam. Ich beobachte mal weiter...

Hm, irgendwie ist das komisch... Ich meine neulich auch mal den Fall gehabt zu haben, dass die Kanalliste bei "Modify Channel List" in den "Grabber Settings" leer war wenn ich das setup über den easyepg.admin container gestartet habe (deswegen hatte ich diesbezüglich bei Euch nochmal nachgehakt). Trotzdem erstellt er bei mir das EPG seit Monaten stabil und völlig korrekt.

Ich hab's jetzt gerade nochmal wie eben beschrieben aufgerufen und die Channel-Liste ist da und vollständig, alle Einstellungen sind da und korrekt.

So, ich hab gerade auch nochmal ein Update auf den Container gemacht, ihn in easyepg.admin gestartet und die Einstellungen kontrolliert: Alles fein

Was bei mir sicherlich ein wenig anders ist als bei Euch:
Ich starte den Container mit einem dedizierten Nutzer, sowohl für das Update des Containers ansich als auch für den normalen EPG-Durchlauf. Ergo dürfte ich eigentlich nie irgendwelche Probleme mit Rechten bekommen.

Könntet Ihr da vielleicht nochmal schauen ob das bei Euch alles passt?

Randnotiz: Ein Update auf easyepg macht der Container übrigens selbständig bei jedem Start des Containers und auch bei jedem Lauf des Cronjobs, sofern Ihr das aktiviert habt.

Hi@all,

ich bin gerade dabei TVH und easyepg via Docker auf meiner Syno DS418Play einzurichten.
Docker läuft. TVH als Docker ebenfalls. Und noch zwei andere Docker Anwendungen laufen ohne Probleme.

Ich kann auch easyepg starten, Grabber Instanz wählen, Sender aussuchen usw. Am Ende wird auch gescrapt. Aber ich erhalte nirgends eine XML Datei, obwohl diese laut easyepg am Ende erstellt.
Meine Container Links:

Meine restlichen Docker Einstsellungen zu easyepg:

Nutze aktuell diesen Docker https://registry.hub.docker.com/r/qoopido/easy…-openmediavault
Dürfte ja der von @dlueth sein, wenn ich das richtig sehe.

Ich selber beschäftige mich nun erst seit zwei Tagen intensiver mit Docker.
Aber an der Stelle komm ich so nicht weiter.
Nach dem EPG Update stürzt der Docker easyepg auch immer ab bzw. schaltet sich aus.
Wie mach ich denn tägliche RPG Updates dann automatisch?

Erstellt wurde mir nach dem Download und Start nur eine Instanz.

Was mach ich denn verkehrt?

Danke schon mal für die Hilfe.

Hi,

und Danke für die Hinweise.
Versteh ich aber nicht wirklich.

Hab mich an die Angaben gehalten, die im Docker so stehen.

EASYEPG_STORAGE - no - The directory to persist easyepg to
XML_STORAGE - yes - The directory to store the finished XML files in
XMLTV_SOCKET - yes - The socket to automatically write finished XMLs to

Weitere Docker wie CRON oder so find ich nicht dazu.

Also ich hab immer noch keine Ahnung welche Daten wohin sollen.
Wie gesagt, das Docker Zeug ist relativ neu für mich.

Vielleicht gibt es etwas für Anfänger. Ich versteh das leider so nicht. Und mein Verständnis dafür lässt mich wohl eher damit scheitern.

Ich dachte halt, easyepg braucht einen INTERNEN Platz zum grabben und erzeugen einer XML. Und dann soll diese aber gleich an korrekter Stelle bei TVH abgelegt werden.
Und einen Ordner data hab ich bei TVH erst gar nicht. Laut EPG muss das XML/socket wohl hier hin: /config/epggrab/xmltv.sock

Soweit bin ich. Aber es klappt eben nicht.
Das es wohl an meinen Pfaden liegt ist mir fast klar.
Dewegen ja die Frage, was falsch ist.

Aber die Angaben die ich jetzt bekommen habe kann ich erst recht nicht umsetzen.
Sorry dafür....

NACHTRAG:
Ich hab das ganze jetzt mal händisch via SSH auf dem NAS installiert.
Jetzt sind auch DREI Instanzen vorhanden!
Soweit so gut. Hab das alles editiert (PUID, GPID usw.).
Als Pfad konnte ich beim installieren den für xmltv.sock setzen.
Und es tauchen nach dem grabben auch die ersten EPG Daten auf!!

ABER:
Ich kann den Sendern das EPG zuweisen, aber es werden nicht alle angezeigt?

Wenn ich den Docker RUN starte sehe ich am Ende folgene Zeile:

Stopping Proxy Serverproxy.sh stopped!Writing to xmltv.sock...> /easyepg/xml/magentatv_de.xml2020/07/05 19:05:50 socat[1019] E connect(5, AF=1 "/xmltv.sock", 13): Connection refused> /easyepg/xml/magentatv_de.xml

Das dauert dann gefühlt 5 - 10 Minuten, anschliessend beendet sich der Docker.Also irgendwo hab ich noch einen kleinen Fehler.Aber wo weiss ich im Moment noch nicht.Könnte mir jemand nen Tip geben?

Bei mir kommt diese Meldung.

tv-spielfilm.xml:227917: parser error : StartTag: invalid element name

Das ganze lief eine ganze Zeit ohne zicken und plötzlich kommt der Fehler und die xml wird nicht aktueller.
Also es wird zwar gegrabbt aber die EPG Daten bleiben die gleichen. Es wird eine tv-spielfilm_ERROR.xml erstellt.

--------------------------------------------
 HORIZON EPG SIMPLE XMLTV GRABBER
 powered by easyEPG Grabber v0.4.3 2020/01/11
 (c) 2019-2020 Jan-Luca Neumann / sunsettrack4
 --------------------------------------------


+++ COUNTRY: GERMANY +++


- DOWNLOAD PROCESS -


Checking manifest files...
1 manifest file(s) to be downloaded!


Loading manifest files...
DONE!


Creating EPG manifest file... DONE!


- FILE CREATION PROCESS -


Validating EPG XMLTV file... DONE!




 --------------------------------------------
 TV-SPIELFILM EPG SIMPLE XMLTV GRABBER
 powered by easyEPG Grabber v0.4.3 2020/01/11
 (c) 2019-2020 Jan-Luca Neumann / sunsettrack4
 --------------------------------------------


+++ COUNTRY: GERMANY +++


- DOWNLOAD PROCESS -


Checking manifest files...
112 manifest file(s) to be downloaded!


Loading manifest files...
Progress [####################]  100% DONE!


Creating EPG manifest file... DONE!


- FILE CREATION PROCESS -


Validating EPG XMLTV file... DONE!


========== EPG CREATION: WARNING/ERROR LOG ============


                       ^
[ EPG ERROR ] XMLTV FILE VALIDATION FAILED DUE TO THE FOLLOWING ERRORS:
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Abenteuerfilm
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Abenteuerreihe
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Actionmurks
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Actionsatire
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Actionthrillerdrama
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Agententhrillerserie
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Wissenschaftsshow
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Wunschfilm
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Wunschkonzert
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Wunschprogramm
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Zeichentrickdrama
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Zeitreisethriller
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Zombie-Action
[ EPG WARNING ] CATEGORY UNAVAILABLE IN EIT LIST Zooreportage
  <title lang="de">We <3 Trance!</title>
tv-spielfilm.xml:227917: parser error : StartTag: invalid element name


=======================================================




 --------------------------------------------
 CREATING CUSTOMIZED XMLTV FILES
 --------------------------------------------


Creating XML file: guide.xml ...


 --------------------------------------


Running addon: RATING MAPPER for guide.xml ...


Reading XML file
Parsing Sections
Pass 1 complete
Updating Stars




DONE!


XML file guide.xml created!

@JackON

Lass uns mal ganz der Reihe nach versuchen uns durch Deinen Stand durchzuarbeiten Also, Du lässt sowohl easyepg als auch TVH auf Deiner Syno als einzelne Docker-Container laufen. Das bedeutet dann (so weit ich das weiß), dass der XMLTV_SOCKET bei Dir nicht benutzt werden kann, da der vom TVH-Docker nicht nach außen freigegeben wird so das man ihn verwenden könnte. Dein Log-Ouput oben sagt mir, dass Du die Verwendung von Socket freigegeben hast - was Du aber nicht brauchst bzw, was bei Dir nicht funktionieren wird.

Das EASYEPG_STORAGE ist das Daten-Verzeichnis, in dem easyepg als "Programm" inkl. seiner Konfiguration abgelegt wird und dient der Persistierung (denn Docker-Container sind ja ansich "flüchtig"). Das solltest Du aber setzen können wie Du willst, es darf nur keine Probleme mit zugriffsrechten geben.

XML_STORAGE ist das, was Du richtig setzen musst. denn dort legt der easyepg-Container am Ende die generierten EPX-XML Dateien ab die Du dann aus dem TVH-Container heraus importieren willst. Letzterer muss das Verzeichnis also auch übergeben bekommen.

Was die TVH-Konfiguration angeht können Dir sicherlich andere hier besser helfen wie das auf ner Syno dann genau funktioniert und was in TVH eingestellt werden muss.

@dlueth

Das mit den TVH Container stimmt. TVH und easyepg laufen auf der selben Syno NAS.
Aktuell kann ich das EPG auch absolut problemlos im TVH verwerten.

Das Admintool muss ich aber via SSH ausführen. Das bleibt in der DOCKER Oberfläche von Syno im Terminal wohl hängen.
Keine Ahnung warum. Via SSH geht alles.

Der RUN Container scheint auch zu laufen.

CRON macht wohl auch was er soll. Jedoch zwei Stunden zu früh
Aber das kann ich regeln.

Was mich derzeit stutzig macht ist, egal welches Verzeichnis ich auch EASYEPG_STORAGE wähle, da ist nichts vorhanden.
Im TVH selbst seh ich die EPG Daten und kann diese auch den Sendern zuordnen usw. Das klappt riesig.

Ich werde noch ein bisschen testen und berichten.

Eine Frage noch.

Müssen die Laufwerke XML_STORAGE und EASYEPG_STORAGE im Docker heissen, oder anders?
An diesen Punkt steig ich nicht wirklich durch.

Danke schon mal.

Zitat von JackOn

Das Admintool muss ich aber via SSH ausführen. Das bleibt in der DOCKER Oberfläche von Syno im Terminal wohl hängen.
Keine Ahnung warum. Via SSH geht alles.

Ich vermute das die Syno das nicht im interaktiven Modus startet (bzw. starten kann), den brauchst Du aber (logischerweise) um das Setup überhaupt machen zu können. Insofern ergibt das für mich Sinn.

Zitat von JackOn

Müssen die Laufwerke XML_STORAGE und EASYEPG_STORAGE im Docker heissen, oder anders?
An diesen Punkt steig ich nicht wirklich durch.

Das sind nur die Namen der Parameter wie sie an Docker übergeben werden müssen, die Werte müssen absolute Dateisystempfade zu Verzeichnissen auf dem Hostsystem (also Deiner Syno) sein die auch existieren müssen(!). Docker mappt das dann intern um, so das das, was Du außen als EASYEPG_STORAGE definiert hast intern (also innerhalb des Containers) immer unter /easyepg erreichbar ist und das was Du als XML_STORAGE angibst unter /easyepg/xml. Das nennt sich dann bei Docker "Volumes". Wenn Du ein Volume nicht übergibst (oder das Zielverzeichnis nicht existiert, oder die Rechte nicht passen), dann wird Docker das Vermutlich in ein "eigenes" Volume-File packen und persistieren. Heißt: Es würde (wie es bei Dir scheinbar auch geschieht) funktionieren, aber der eigentliche Ordner den Du haben wolltest bleibt halt leer.

XML_STORAGE ist übrigens deswegen optional, weil der Zielordner (innerhalb) /easyepg/xml ja schon Bestandteil des EASYEPG_STORAGE ist. Allerdings ist es wohl bei diversen (NAS)-Konstellationen so, dass es nötig ist XML-STORAGE extra zu setzen auf einen Ordner der in den TVH-Container reingegeben wird.

@JackON

@JackON vielleicht hilft folgender Thread noch weiter: Howto: Syno: Im Docker: Tvheadend, Telerising, Easyepg

Der bezieht sich zwar auf den Container von DeBaschdi, der ist aber imho nur ein Fork von meinem

Und wieder ist nach dem wöchentlichen Docker-Update nicht ein einziger Kanal von TKM mehr selektiert. Dafür steht was in der errors.txt und im errorlog. Ich habe mal das komplette tkm/de hier angehangen...

Hm, vieleicht mag @DeBaschdi da auch nochmal reinschauen. Den Bezug zu den nicht selektierten Channels kann ich damit herstellen, denn die errors.txt sagt

malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "(end of string)") at url_printer.pl line 56.

und ein Blick in die url_printer.pl, Zeile 56, ergibt dann passend zur leeren Channel-Liste

my $channels_data  = decode_json($channels);

$channels wiederum kommt aus /tmp/compare.json.

Gibt es evtl. irgendeinen Grund, warum die leer oder invalide sein könnte? Rechte? @DeBaschdi

@BJ1
Du musst die Kanäle dann jedes Mal neu selektieren und dann geht es wieder bis zum nächsten Update des Containers? oder musst Du nichts fixen und beimm nächsten Durchlauf ist alles wieder i.O.?

@BJ1 Noch ne ergänzende Frage:
Wie genau startest Du den Container nochmal? Hast Du mein Init-Script benutzt?

Einzige "Spezialität" meinerseits in Bezug auf /tmp ist eigentlich folgende Zeile im init-Script:
https://github.com/dlueth/easyepg…6de30/init#L186