[DISCONTINUED] easyEPG Grabber // WebGrab++ Alternative [v0.4.3 | 2020/01/11]

Moin Moin,

kurzes Feedback von mir.
Nutze nun erfolgreich den Docker von @dlueth auf meiner Diskstation. Habe ihn einmal Konfiguriert und lass ihn nun dreimal die Woche per Aufgabenplanung starten.

Mein Mediaportal TVServer liest dann automatisch die erstellte xml ein.
Mein EPG stellt sich aus Magenta, Horizon und Swisscom zusammen.

Mit den ganzen HowTo´s und read me´s die hier verfasst wurden, lies sich das selbst für einen "Windows only" User bewerkstelligen.

Läuft bisher super

Nur eine Frage hätte ich noch. Der Docker startet ja nach der erst Konfiguration immer automatisch im "grabber mode".
Wie kann ich erneut ins Setup starten?

Bisher starte ich den Container und beende ihn dann bevor das Grabbing beendet ist, dann habe ich beim nächsten Start die Möglichkeit ins Setup zu bekommen bevor er nach 5 Sekunden wieder anfängt zu grabben.

@Freak*96 wie startest du den Container, also mit welchem Befehl?

@BJ1 ist das andere denn kein Socket? Das war meine Befürchtung. Ich hatte allgemein nicht damit gerechnet, dass die Docker images auch im User dir landen, normal tun sie das auch nicht

@no.spam ne, du bist noch eine Stufe davor. @BJ1 kann den Container starten, aber er scheint sich Instant wieder zu beenden.

@BJ1 kommt evtl noch ne brauchbare Info raus, wenn du 'Docker start easyepg.admin && Docker logs -f easyepg.admin' nimmst?

@dlueth ich starte den Docker bzw Container über die Weboberfläche der Diskstation. Als Ausführungsbefehl ist dort /entrypoint.sh hinterlegt. Dies kann ich aber nicht bearbeiten bzw. lasse mich da gern berichtigen, habe nur nichts gefunden.

Nach dem start kann ich dann das Terminal Fenster öffnen und er fängt direkt mit dem Grabbing an.

Der Weg war für mich bisher am simpelsten

Für eine erneute Konfiguration müsste ich wahrscheinlich mit /epg.sh starten, oder?
Dann wahrscheinlich einfacherer übers Terminal der Diskstation Docker starten und dann den Container mit dem Ausführungsbefehl?

Zitat von Freak*96

@dlueth ich starte den Docker bzw Container über die Weboberfläche der Diskstation. Als Ausführungsbefehl ist dort /entrypoint.sh hinterlegt. Dies kann ich aber nicht bearbeiten bzw. lasse mich da gern berichtigen, habe nur nichts gefunden.

Nach dem start kann ich dann das Terminal Fenster öffnen und er fängt direkt mit dem Grabbing an.

Der Weg war für mich bisher am simpelsten

Für eine erneute Konfiguration müsste ich wahrscheinlich mit /epg.sh starten, oder?
Dann wahrscheinlich einfacherer übers Terminal der Diskstation Docker starten und dann den Container mit dem Ausführungsbefehl?

du kannst über die Docker App des DSM Webinterfaces in das Terminal des Containers gehen und dort die epg.sh aufrufen.

Zitat von DeBaschdi

@dlueth ich muss schon sagen, große klasse dein Support und die Mühe/Zeit welche du investierst !
**daumenhoch** (muss mal gesagt/anerkannt werden)

Ich bin halt blöderweise Perfektionist und über die Jahre auch ganz gut im Debugging geworden. Mit Docker habe ich auch beruflich intensiv zu tun. Linux bin auch recht fit, nur eben nicht mit libre- und openelec etc.

Außerdem iteriere ich gern und oft - merkt man würd ich sagen

@Freak*96 probier Mal bitte das Vorgehen von @effe.rnr - wenn es einen eingebauten Weg gibt ist der ziemlich sicher einfacher

Zitat von dlueth

@BJ1 kommt evtl noch ne brauchbare Info raus, wenn du 'Docker start easyepg.admin && Docker logs -f easyepg.admin' nimmst?

Hier das Log. da die Mitte wohl ziemlich uninteressant ist, habe ich das mal eingekürzt. Ich denke mal, in der letzten Zeile fliegt er raus:

mk-xbmc2:~ # docker start easyepg.admin && docker logs -f easyepg.admin
easyepg.admin
Already up-to-date.
Cloning into 'easyepg'...
Updating main...
Updating Horizon...
'easyepg/hzn/hzn.sh' -> 'hzn/hzn.sh'
'easyepg/hzn/hzn.sh' -> 'hzn/de/'
'easyepg/hzn/hzn.sh' -> 'hzn/at/'
'easyepg/hzn/hzn.sh' -> 'hzn/ch/'
'easyepg/hzn/hzn.sh' -> 'hzn/nl/'
'easyepg/hzn/hzn.sh' -> 'hzn/pl/'
'easyepg/hzn/hzn.sh' -> 'hzn/ie/'
'easyepg/hzn/hzn.sh' -> 'hzn/sk/'
'easyepg/hzn/hzn.sh' -> 'hzn/cz/'
'easyepg/hzn/hzn.sh' -> 'hzn/hu/'
'easyepg/hzn/hzn.sh' -> 'hzn/ro/'
'easyepg/hzn/ch_json2xml.pl' -> 'hzn/ch_json2xml.pl'
'easyepg/hzn/ch_json2xml.pl' -> 'hzn/de/'
'easyepg/hzn/ch_json2xml.pl' -> 'hzn/at/'
'easyepg/hzn/ch_json2xml.pl' -> 'hzn/ch/'
'easyepg/hzn/ch_json2xml.pl' -> 'hzn/nl/'
'easyepg/hzn/ch_json2xml.pl' -> 'hzn/pl/'
'easyepg/hzn/ch_json2xml.pl' -> 'hzn/ie/'
[...]
'easyepg/ztt/compare_menu.pl' -> 'ztt/compare_menu.pl'
'easyepg/ztt/compare_menu.pl' -> 'ztt/de/'
'easyepg/ztt/compare_menu.pl' -> 'ztt/ch/'
./update.sh: line 78: ztt/de/settings.sh: No such file or directory
./update.sh: line 79: ztt/ch/settings.sh: No such file or directory
Updating Swisscom...
'easyepg/swc/swc.sh' -> 'swc/swc.sh'
'easyepg/swc/swc.sh' -> 'swc/ch/'
'easyepg/swc/settings.sh' -> 'swc/settings.sh'
'easyepg/swc/settings.sh' -> 'swc/ch/'
'easyepg/swc/epg_json2xml.pl' -> 'swc/epg_json2xml.pl'
'easyepg/swc/epg_json2xml.pl' -> 'swc/ch/'
'easyepg/swc/ch_json2xml.pl' -> 'swc/ch_json2xml.pl'
'easyepg/swc/ch_json2xml.pl' -> 'swc/ch/'
'easyepg/swc/cid_json.pl' -> 'swc/cid_json.pl'
'easyepg/swc/cid_json.pl' -> 'swc/ch/'
'easyepg/swc/chlist_printer.pl' -> 'swc/chlist_printer.pl'
'easyepg/swc/chlist_printer.pl' -> 'swc/ch/'
'easyepg/swc/compare_menu.pl' -> 'swc/compare_menu.pl'
'easyepg/swc/compare_menu.pl' -> 'swc/ch/'
'easyepg/swc/url_printer.pl' -> 'swc/url_printer.pl'
'easyepg/swc/url_printer.pl' -> 'swc/ch/'
Updating tvPlayer...
'easyepg/tvp/tvp.sh' -> 'tvp/tvp.sh'
'easyepg/tvp/tvp.sh' -> 'tvp/uk/'
'easyepg/tvp/settings.sh' -> 'tvp/settings.sh'
'easyepg/tvp/settings.sh' -> 'tvp/uk/'
'easyepg/tvp/epg_json2xml.pl' -> 'tvp/epg_json2xml.pl'
'easyepg/tvp/epg_json2xml.pl' -> 'tvp/uk/'
'easyepg/tvp/ch_json2xml.pl' -> 'tvp/ch_json2xml.pl'
'easyepg/tvp/ch_json2xml.pl' -> 'tvp/uk/'
'easyepg/tvp/cid_json.pl' -> 'tvp/cid_json.pl'
'easyepg/tvp/cid_json.pl' -> 'tvp/uk/'
'easyepg/tvp/chlist_printer.pl' -> 'tvp/chlist_printer.pl'
'easyepg/tvp/chlist_printer.pl' -> 'tvp/uk/'
'easyepg/tvp/compare_menu.pl' -> 'tvp/compare_menu.pl'
'easyepg/tvp/compare_menu.pl' -> 'tvp/uk/'
Updating Telekom...
'easyepg/tkm/tkm.sh' -> 'tkm/tkm.sh'
'easyepg/tkm/tkm.sh' -> 'tkm/de/'
'easyepg/tkm/settings.sh' -> 'tkm/settings.sh'
'easyepg/tkm/settings.sh' -> 'tkm/de/'
'easyepg/tkm/epg_json2xml.pl' -> 'tkm/epg_json2xml.pl'
'easyepg/tkm/epg_json2xml.pl' -> 'tkm/de/'
'easyepg/tkm/ch_json2xml.pl' -> 'tkm/ch_json2xml.pl'
'easyepg/tkm/ch_json2xml.pl' -> 'tkm/de/'
'easyepg/tkm/cid_json.pl' -> 'tkm/cid_json.pl'
'easyepg/tkm/cid_json.pl' -> 'tkm/de/'
'easyepg/tkm/chlist_printer.pl' -> 'tkm/chlist_printer.pl'
'easyepg/tkm/chlist_printer.pl' -> 'tkm/de/'
'easyepg/tkm/compare_menu.pl' -> 'tkm/compare_menu.pl'
'easyepg/tkm/compare_menu.pl' -> 'tkm/de/'
'easyepg/tkm/url_printer.pl' -> 'tkm/url_printer.pl'
'easyepg/tkm/url_printer.pl' -> 'tkm/de/'
Updating RadioTimes...
'easyepg/rdt/rdt.sh' -> 'rdt/rdt.sh'
'easyepg/rdt/rdt.sh' -> 'rdt/uk/'
'easyepg/rdt/settings.sh' -> 'rdt/settings.sh'
'easyepg/rdt/settings.sh' -> 'rdt/uk/'
'easyepg/rdt/epg_json2xml.pl' -> 'rdt/epg_json2xml.pl'
'easyepg/rdt/epg_json2xml.pl' -> 'rdt/uk/'
'easyepg/rdt/ch_json2xml.pl' -> 'rdt/ch_json2xml.pl'
'easyepg/rdt/ch_json2xml.pl' -> 'rdt/uk/'
'easyepg/rdt/cid_json.pl' -> 'rdt/cid_json.pl'
'easyepg/rdt/cid_json.pl' -> 'rdt/uk/'
'easyepg/rdt/chlist_printer.pl' -> 'rdt/chlist_printer.pl'
'easyepg/rdt/chlist_printer.pl' -> 'rdt/uk/'
'easyepg/rdt/compare_menu.pl' -> 'rdt/compare_menu.pl'
'easyepg/rdt/compare_menu.pl' -> 'rdt/uk/'
'easyepg/rdt/compare_crid.pl' -> 'rdt/compare_crid.pl'
'easyepg/rdt/compare_crid.pl' -> 'rdt/uk/'
'easyepg/rdt/url_printer.pl' -> 'rdt/url_printer.pl'
'easyepg/rdt/url_printer.pl' -> 'rdt/uk/'
Updating waipu.tv...
'easyepg/wpu/wpu.sh' -> 'wpu/wpu.sh'
'easyepg/wpu/wpu.sh' -> 'wpu/de/'
'easyepg/wpu/settings.sh' -> 'wpu/settings.sh'
'easyepg/wpu/settings.sh' -> 'wpu/de/'
'easyepg/wpu/epg_json2xml.pl' -> 'wpu/epg_json2xml.pl'
'easyepg/wpu/epg_json2xml.pl' -> 'wpu/de/'
'easyepg/wpu/ch_json2xml.pl' -> 'wpu/ch_json2xml.pl'
'easyepg/wpu/ch_json2xml.pl' -> 'wpu/de/'
'easyepg/wpu/cid_json.pl' -> 'wpu/cid_json.pl'
'easyepg/wpu/cid_json.pl' -> 'wpu/de/'
'easyepg/wpu/chlist_printer.pl' -> 'wpu/chlist_printer.pl'
'easyepg/wpu/chlist_printer.pl' -> 'wpu/de/'
'easyepg/wpu/compare_menu.pl' -> 'wpu/compare_menu.pl'
'easyepg/wpu/compare_menu.pl' -> 'wpu/de/'
Updating External...
'easyepg/ext/ext.sh' -> 'ext/ext.sh'
'easyepg/ext/ext.sh' -> 'ext/oa/'
'easyepg/ext/ext.sh' -> 'ext/ob/'
'easyepg/ext/ext.sh' -> 'ext/oc/'
'easyepg/ext/settings.sh' -> 'ext/settings.sh'
'easyepg/ext/settings.sh' -> 'ext/oa/'
'easyepg/ext/settings.sh' -> 'ext/ob/'
'easyepg/ext/settings.sh' -> 'ext/oc/'
'easyepg/ext/epg_ext.pl' -> 'ext/epg_ext.pl'
'easyepg/ext/epg_ext.pl' -> 'ext/oa/'
'easyepg/ext/epg_ext.pl' -> 'ext/ob/'
'easyepg/ext/epg_ext.pl' -> 'ext/oc/'
'easyepg/ext/ch_ext.pl' -> 'ext/ch_ext.pl'
'easyepg/ext/ch_ext.pl' -> 'ext/oa/'
'easyepg/ext/ch_ext.pl' -> 'ext/ob/'
'easyepg/ext/ch_ext.pl' -> 'ext/oc/'
'easyepg/ext/compare_menu.pl' -> 'ext/compare_menu.pl'
'easyepg/ext/compare_menu.pl' -> 'ext/oa/'
'easyepg/ext/compare_menu.pl' -> 'ext/ob/'
'easyepg/ext/compare_menu.pl' -> 'ext/oc/'
UPDATE FINISHED!
Current default time zone: 'Europe/Berlin'
Local time is now:      Tue Jun 18 08:20:14 CEST 2019.
Universal Time is now:  Tue Jun 18 06:20:14 UTC 2019.
useradd: UID 0 is not unique

Ich weiss jetzt nicht, wo das useradd herkommt, unter LibreElec gibt es nur einen User (root), weitere kann man nicht hinzufügen.

@BJ1 top, danke, das sollte sich in den Griff bekommen lassen!

Mal was "ganz anderes" zum Thema Zusammenspiel EPG (xml) und Kanalliste (m3u) unter IPTV Simple Client:
Ich nutze den IPTV Simple Client unter Kodi und darin die .m3u-Liste deutscher Hauptkanäle, die hier im Forum zu finden ist. Den EPG beziehe ich seit kurzem über den Docker EPG-minimal und dort über die Anbieter horizon.TV_de und swisscom_ch. Klappt auch soweit.

Aber:
Leider mappen die Kanäle aus dem EPG nicht automatisch mit dem IPTV Simple Client, da dieser den EPG für den entsprechenden Kanal wohl nur dann anzeigt, wenn der Kanalname in der XML identisch ist zum Kanalnamen der m3u. Das ist leider nicht der Fall. Ergo: Für manche Kanäle wird in Kodi kein EPG angezeigt.

Für zdfneo habe ich daher z.B. den swisscom EPG verwendet, da hier der Name identisch ist (horizon leider nicht). Für arte bekomme ich es leider gar nicht hin (da es keinen Kananl im EPG gibt, der namentlich identisch ist zur m3u).

Was kann ich da machen? Die m3u jedes Mal umschreiben wenn sie neu geladen wird ist ziemlich umständlich.
Gibt es vielleicht eine Alternative zum IPTV Simple Client, der channel mapping beherrscht? Mir ist leider kein PVR-Client für Kodi bekannt.
Extra auf TVH umsteigen? Hier könnte man den Kanälen Namen geben. Die bittere Pille dabei: Keine Programmicons und Bilder mehr in Emby. Also auch nicht das Gelbe vom Ei und irgendwie auch mit Kanonen auf Spatzen geschossen.

Ein mapping-script per Cron für die XML oder die m3u? Klingt gut! Das hätte auch den Vorteil, dass ich keine Kanäle mehr doppelt aus dem EPG laden müsste, nur weil der Name im PVR IPTV Simple Client nicht passt bzw. passen könnte und würde die Ladezeiten für das EPG sicher dramatisch reduzieren. Wüsste nur leider nicht, wie ich das anstellen sollte.

Bin momentan ein wenig ratlos. Vielleicht hat ja jemand einen Tipp …
Mache auch gerne einen neuen Thread auf wenn das hier zu viel wird.

Besten Dank!

@hi2hello

Die ganze Zuordnung wird eigentlich über die "tvg-id" in der m3u geregelt. Ich nutze zB. die Rytec Konvention und bei ARD steht bei mir zB. tvg-id="ARD.de"

Im easy Skcript kannst du dann auswählen, dass er rytec Ids generieren soll (funktioniert bis auf ein paar Ausnahmen eigentlich sehr gut). Die Ids ändern sich in der Regel kaum, desswegen ist eine Zuordnung dann kein Problem

mach daraus lieber einen separaten Thread weil das ist eigentlich ne andere Baustelle

Danke für den Tipp. Ich probiere das mal mit den Rytec IDs im EPG Skript. Falls das immer noch nicht klappen sollte, mache ich einen neuen Thread auf …

du kannst auch einfach die Kodinerds iptv liste runterladen, die ids da drin einmal manuell anpassen und lokal einbinden. So hab ich das auch gemacht (ich nutze allerdings so richtig nur ca. 30 Sender).
Klappt aber ganz gut, die Stream URLs ändern sich ja nicht sonderlich oft

@effe.rnr: Genau das ist mir zu viel Arbeit
@DeBaschdi: Der Mapper entspricht ja eigentlich der Einstellung im easyEPG "convert to Rytec", oder? Scheint auch alles zu laufen soweit, außer ein paar "doppelten" Kanälen, die ich nun eben aus der Abfrage im easyEPG löschen werde (was ja durchaus vorteilhaft ist; aus 113 Channels wurden nun 61).

"Probleme" gemäß [definition='1','0']log[/definition] gibt es wohl aktuell nur mit Servus TV HD
[ EPG Warning ] Rytec ID not matched for ServusTV HD
Da scheint dann aber ServusTV > Servus HD zu funktionieren

Zitat von DeBaschdi

in meinem git findest du auch einen tgvid id mapper für m3u's

Damit wird, wie beschrieben, auf das "genormte" Rytec Format geändert - soweit OK. Aber was ist dieses Format letztendlich, ist es nur die Schreibweise des Sendernamen oder gibt es eine eindeutige Liste wie welcher Sender heißen soll?
Ich Tippe mal auf die Schreibweise des Sendernamens mit dem Punkt und so den die Namen variieren sehr, es gibt viele mit oder ohne den Zusatz HD was den EPG manchmal zuordnet obwohl vorhanden.

@easy4me

Grad nicht checken können, ob es hier schon erwähnt wurde:

MagentaTV

Sky Cinema Hits wird von den Affenvereinen alle paar Wochen in Specials umbenannt, wie "Sky Cinema Spider Man". Das bleibt dann für 10 Tage und dann wirds wieder zu "Sky Cinema Hits".
Das resultiert natürlich in einem "Kanal nicht gefunden" Fehler im Grabber. Irgendeine Option, dass bei dir zu umgehen? Ohne jetzt die JSON von Magenta selber gecheckt zu haben, vermute ich dass hier nur der Label geändert wird aber nicht die Kanal-ID. Vllt könntest du hier ein Workaround basteln?

Ich weiß zwar nicht was dein Backend ist. Aber ich habe bei TVHeadend genau aus diesem Grund die automatische Senderbenennung bei diesem sender ausgeschaltet. So bleibt der Name immer gleich. Und am EPG passt alles.
Dann weiß ich zwar nicht ob der Sender gerade Spidy, Potter oder sonst wie heißt - ist mir aber auch egal