[DISCONTINUED] easyEPG Grabber // WebGrab++ Alternative [v0.4.3 | 2020/01/11]

  • dann teste mal den hier
    cat pfad/zu/guide.xml | /usr/bin/socat - UNIX-CONNECT:/home/hts/.hts/tvheadend/epggrab/xmltv.sock

    Kontrolliere, ob die datei /usr/bin/socat auch dort vorhanden ist.

    Unter cron dürfen befehle nicht in zwei zeilen aufgeteilt werden und am ende muss immer bestätigt (Press Enter)
    So, das man ganz unten immer eine leere zeile vorhanden sei.

    • Rechtschreibfehler sind nicht zufällig, richtig angeordnet ergeben sie eine Formel mit der man Milch zu Bier machen kann.

  • Moin!
    Hab das Plugin soweit installiert bekommen und es arbeitet auch auf meinem RaspberryPi.
    Jedoch wenn das epg erstellt wird erscheint im Terminal(SSH Konsole) folgende Fehlermeldung.

    Spoiler anzeigen


    --------------------------------------------
    HORIZON EPG SIMPLE XMLTV GRABBER
    powered by easyEPG Grabber v0.4.3 2020/01/11
    (c) 2019-2020 Jan-Luca Neumann / sunsettrack4
    --------------------------------------------


    +++ COUNTRY: GERMANY +++


    - DOWNLOAD PROCESS -


    Checking manifest files...
    237 manifest file(s) to be downloaded!


    Loading manifest files...
    DONE!


    Creating EPG manifest file... hzn.sh: Zeile 305: 5980 Get?tet jq -s '.' /tmp/manifile.json > /tmp/epg_workfile 2>> errors.txt
    DONE!


    - FILE CREATION PROCESS -


    Validating EPG XMLTV file... DONE!


    ========== EPG CREATION: WARNING/ERROR LOG ============


    [ EPG ERROR ] XMLTV FILE DOES NOT CONTAIN ANY PROGRAMME DATA!
    malformed JSON string, neither tag, array, object, number, string or atom, at character offset 0 (before "(end of string)") at epg_json2xml.pl line 94.


    =======================================================


    Hab das ganze Instalationsprocedere wiederholt. Nun klappt es! ;)

  • Hi,
    hab es geschafft. Die ersten Daten sind bei Kodi (EPG) angekommen :rolleyes: .

    Ich glaube, dass dies eine Rechte Sache ist. Ich habe auf dem Pfad zum "Sokel" allen in der Gruppe "rwx" Rechte gegeben und schon gings [ag] .

    Danke @all

    Nun gehts weiter mit der Bastelei *P .

    Kodi:
    Raspberry Pi 4 mit 2GB
    Libreelec
    Kodi Version 19.1

    TV Headend Server:
    Raspberry Pi 4 mit 1GB
    Raspberry Pi OS Light
    Tv Headend Version 4.3
    DVB-C über Fritzbox


  • Leider habe ich mich da zu früh gefreut. Es funktioniert wieder nicht. Hab es zuletzt nur mit 1 - 2 Sender getestet. Nchdem ich nun meine gesamte Liste erstellt habe kommt wieder folgende Fehlermeldung. Hier das Log:

    Spoiler anzeigen


    Stopping Proxy Server
    proxy.sh stopped!


    --------------------------------------------
    TELEKOM EPG SIMPLE XMLTV GRABBER
    powered by easyEPG Grabber v0.4.3 2020/01/11
    (c) 2019-2020 Jan-Luca Neumann / sunsettrack4
    --------------------------------------------


    +++ COUNTRY: GERMANY +++


    Starting Proxy Server
    proxy.sh started on 127.0.0.1:8000
    - DOWNLOAD PROCESS -


    Checking manifest files...
    193 manifest file(s) to be downloaded!


    Loading manifest files...
    Progress [####################] 100% DONE!


    Creating EPG manifest file... DONE!


    ================= CHANNEL LIST: LOG ===================


    parse error: Invalid string: control characters from U+0000 through U+001F must be escaped at line 39, column 3


    =======================================================


    - FILE CREATION PROCESS -


    Validating EPG XMLTV file... DONE!


    Stopping Proxy Server
    proxy.sh stopped!
    ========== EPG CREATION: WARNING/ERROR LOG ============


    [ EPG ERROR ] XMLTV FILE DOES NOT CONTAIN ANY PROGRAMME DATA!
    malformed JSON string, neither tag, array, object, number, string or atom, at character offset 0 (before "(end of string)") at epg_json2xml.pl line 94.


    =======================================================


    Press any key to continue...

    Hat jemand eine Idee?

  • Ich bin gerade am einrichten und bekomme beim letzten Schritt folgende Mitteilung:

    Initializing script environment...
    dialog is required but it's not installed!
    PhantomJS is required but it's not installed!
    libxml2-utils is required but it's not installed!
    jq is required but it's not installed!
    php is required but it's not installed!
    xml-twig-tools is required but it's not installed!
    JSON module for perl is requried but not installed!
    XML::Rules module for perl is requried but not installed!
    Data::Dumper module for perl is requried but not installed!
    Time::Piece module for perl is requried but not installed!
    Time::Seconds module for perl is requried but not installed!
    uft8 module for perl is requried but not installed!
    DateTime module for perl is requried but not installed!
    DateTime::Format::DateParse module for perl is requried but not installed!

    [ FATAL ERROR ] Required applications are missing - Stop.

    Was kann ich tun?

    nvidia Shield 16 GB - Kodi 21.1
    1 x Apple TV 4K 2nd Gen
    1 x Applte TV HD

    Einmal editiert, zuletzt von MiSeRy (31. August 2021 um 18:21)

  • Hallo,

    ich habe seit einiger Zeit einen kuriosen Fehler im EasyEPG.
    Konkret ist war mir aufgefallen, dass der EPG in TVHeadend nicht mehr aktuell war.
    Also habe ich versucht den Fehler zurück zur Ursache zu verfolgen.


    Vielleicht kann mir jemand anhand meiner bisherigen Erkenntnisse helfen den Fehler zu beseitigen:

    • Genutzt wird der takealug/easyepg-Docker (erstellt mit der Vorlage von DeBaschdi) unter Unraid 6.9.2.
    • ich grabbe hauptsächlich von MagentaTV. Zusätzlich noch von Horizon und TVSpielfilm
    • Die XML-Dateien werden zu einer guide.xml zusammengefasst. Zusätzlich sind die Scripts imdbmapper und ratingmapper aktiv
    • Über den Cron-Job (der täglich um 6:30 und 19:30 Uhr läuft), wird nur noch die tv-spielfilm_de.xml gegrabbt.
    • Wenn ich über die Konsole "/easyepg/epg.sh" ausführe erscheint folgendes:
    Spoiler anzeigen


    ----------------------------------------------
    EASYEPG SIMPLE XMLTV GRABBER
    Release v0.4.3 BETA
    powered by

    ==THE=======================================
    ##### ##### ##### # # ##### ##### #####
    # # # # # # # # # #
    ##### ##### ##### ##### ##### ##### # ##
    # # # # # # # # #
    ##### # # ##### # ##### # #####
    ===================================PROJECT==

    (c) 2019-2020 Jan-Luca Neumann / sunsettrack4
    ----------------------------------------------


    Initializing script environment...
    Permissions of script folder could not be set
    Missing file in Horzon folder: ch_json2xml.pl
    Missing file in Horzon folder: cid_json.pl
    Missing file in Horzon folder: epg_json2xml.pl
    Missing file in Horzon folder: settings.sh
    Missing file in Horzon folder: chlist_printer.pl
    Missing file in Horzon folder: compare_menu.pl
    Missing file in Horzon folder: hzn.sh
    Missing file in Zattoo folder: ztt/ch_json2xml.pl
    Missing file in Zattoo folder: ztt/chlist_printer.pl
    Missing file in Zattoo folder: ztt/cid_json.pl
    Missing file in Zattoo folder: ztt/compare_crid.pl
    Missing file in Zattoo folder: ztt/compare_menu.pl
    Missing file in Zattoo folder: ztt/epg_json2xml.pl
    Missing file in Zattoo folder: ztt/save_page.js
    Missing file in Zattoo folder: ztt/settings.sh
    Missing file in Zattoo folder: ztt/ztt.sh
    Missing file in Swisscom folder: swc/ch_json2xml.pl
    Missing file in Swisscom folder: swc/chlist_printer.pl
    Missing file in Swisscom folder: swc/cid_json.pl
    Missing file in Swisscom folder: swc/compare_menu.pl
    Missing file in Swisscom folder: swc/epg_json2xml.pl
    Missing file in Swisscom folder: swc/settings.sh
    Missing file in Swisscom folder: swc/swc.sh
    Missing file in Swisscom folder: swc/url_printer.pl
    Missing file in tvPlayer folder: tvp/ch_json2xml.pl
    Missing file in tvPlayer folder: tvp/chlist_printer.pl
    Missing file in tvPlayer folder: tvp/cid_json.pl
    Missing file in tvPlayer folder: tvp/compare_menu.pl
    Missing file in tvPlayer folder: tvp/epg_json2xml.pl
    Missing file in tvPlayer folder: tvp/settings.sh
    Missing file in tvPlayer folder: tvp/tvp.sh
    Missing file in MagentaTV folder: tkm/ch_json2xml.pl
    Missing file in MagentaTV folder: tkm/chlist_printer.pl
    Missing file in MagentaTV folder: tkm/ch_json2xml.pl
    Missing file in MagentaTV folder: tkm/chlist_printer.pl
    Missing file in MagentaTV folder: tkm/cid_json.pl
    Missing file in MagentaTV folder: tkm/compare_menu.pl
    Missing file in MagentaTV folder: tkm/epg_json2xml.pl
    Missing file in MagentaTV folder: tkm/settings.sh
    Missing file in MagentaTV folder: tkm/tkm.sh
    Missing file in MagentaTV folder: tkm/web_magentatv_de.php
    Missing file in MagentaTV folder: tkm/url_printer.pl
    Missing file in RadioTimes folder: rdt/ch_json2xml.pl
    Missing file in RadioTimes folder: rdt/chlist_printer.pl
    Missing file in RadioTimes folder: rdt/cid_json.pl
    Missing file in RadioTimes folder: rdt/compare_crid.pl
    Missing file in RadioTimes folder: rdt/compare_menu.pl
    Missing file in RadioTimes folder: rdt/epg_json2xml.pl
    Missing file in RadioTimes folder: rdt/rdt.sh
    Missing file in RadioTimes folder: settings/rdt.sh
    Missing file in Waipu.tv folder: wpu/ch_json2xml.pl
    Missing file in Waipu.tv folder: wpu/chlist_printer.pl
    Missing file in Waipu.tv folder: wpu/cid_json.pl
    Missing file in Waipu.tv folder: wpu/compare_menu.pl
    Missing file in Waipu.tv folder: wpu/epg_json2xml.pl
    Missing file in Waipu.tv folder: wpu/settings.sh
    Missing file in Waipu.tv folder: wpu/wpu.sh
    Missing file in RadioTimes folder: rdt/url_printer.pl
    Missing file in TV-Spielfilm folder: tvs/ch_json2xml.pl
    Missing file in TV-Spielfilm folder: tvs/chlist_printer.pl
    Missing file in TV-Spielfilm folder: tvs/cid_json.pl
    Missing file in TV-Spielfilm folder: tvs/compare_menu.pl
    Missing file in TV-Spielfilm folder: tvs/epg_json2xml.pl
    Missing file in TV-Spielfilm folder: tvs/settings.sh
    Missing file in TV-Spielfilm folder: tvs/tvs.sh
    Missing file in VODAFONE folder: vdf/ch_json2xml.pl
    Missing file in VODAFONE folder: vdf/chlist_printer.pl
    Missing file in VODAFONE folder: vdf/cid_json.pl
    Missing file in VODAFONE folder: vdf/compare_menu.pl
    Missing file in VODAFONE folder: vdf/epg_json2xml.pl
    Missing file in VODAFONE folder: vdf/settings.sh
    Missing file in VODAFONE folder: vdf/vdf.sh
    Missing file in TVTV folder: tvtv/ch_json2xml.pl
    Missing file in TVTV folder: tvtv/chlist_printer.pl
    Missing file in TVTV folder: tvtv/cid_json.pl
    Missing file in TVTV folder: tvtv/compare_crid.pl
    Missing file in TVTV folder: tvtv/compare_menu.pl
    Missing file in TVTV folder: tvtv/epg_json2xml.pl
    Missing file in TVTV folder: tvtv/settings.sh
    Missing file in TVTV folder: tvtv/tvtv.sh
    Missing file in TVTV folder: tvtv/url_printer.pl
    Missing file in External folder: ext/ch_ext.pl
    Missing file in External folder: ext/compare_menu.pl
    Missing file in External folder: ext/epg_ext.pl
    Missing file in External folder: ext/ext.sh
    Missing file in External folder: ext/settings.sh
    Missing file in Main folder: combine.sh
    Missing file in Main folder: ch_combine.pl
    Missing file in Main folder: prog_combine.pl
    Missing file in Main folder: backup.sh
    Missing file in Main folder: restore.sh


    [ FATAL ERROR ] Script environment is broken - Stop.

    • Die Dateien sind natürlich vorhanden.
    • Wenn ich zuerste "cd /easyepg" und dann "/easyepg/epg.sh" ausführe läuft das Skript an
    • manuell kann dann gegrabbt werden und die xml-Dateien werden erstellt.
    • Ich habe bereits ein Backup über die interne Backup-Funktion erstellt, den Container mitsamt dem easyepg-Ordner im appdata-Verzeichnis gelöscht, den Container neu angelegt, die Sicherung über "Restore" zurückgespielt und erneut den Cron-Job abgewartet. Das Verhalten blieb leider gleich.
    • Aufgefallen sind mir im Protokoll des Contaiers außerdem viele "Permission Denied"-Einträge. 2021-09-09_easyepg.log.txt


    Unabhängig von dem beschriebenen Fehler ist mir außerdem aufgefallen, dass bei vielen Filmen die Sternebewertungen nicht angezeigt werden obwohl in der IMDB hier Ratings vorhanden sind.
    Liegt hier auch ein Fehler in meiner Konfiguration vor?


    Und noch eine ganz andere Anfrage:
    Wäre es möglich, als zusätzlichen internen Grabber dieses Skript für PlutoTV mit einzubinden?

  • Für alle bei denen PhantomJS nicht mehr in den Paketquellen ist:
    Lässt sich ganz einfach manuell installieren:

    Externer Inhalt gist.github.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.

    Bitte wirklich die aktuelle Version von der Website nehmen, im Github sind keine prebuilt binaries dabei.

  • hi @easy4me

    du hattest irgendwann mal erwähnt, dass du an nem Update arbeitest, damit man easy epg im Browser konfigurieren kann. Gibt's dazu nen Status?

    Der aktuelle Docker Container macht seit dem Update meines Synology OS Probleme und falls dein Update absehbar ist, würde ich einfach hoffen, dass sich das Problem damit löst, bevor ich auf Fehlersuche gehe.

    Danke!

  • Auch mit den oben genannten Updates, neuinstallation von JS läufts irgendwie immer noch nicht so wirklich.

    Hier nochmal ein Auszug aus dem [definition='1','0']log[/definition].:

    Wenn hier irgendjeamnd eine Idee hat, warum es nicht funktioniert immer her damit,
    Komischerweise funktioniert es wenn ich nur 1 bis 2 Sender verwende.

  • Also ich habe derzeit auch Probleme mit easyepg. Es hat einfach aufgehört zu funktionieren.

    Erst ist mir aufgefallen das es Permission Fehler bei einige horizen Files gab. Die habe ich manuell korrigiert, dann startet das Script wieder. Beim Horizon Grabber komme ich aber nicht über den Punkt Creating EPG manifest File hinaus. das Script macht dann einfach garnichts bis ich es abbreche.

    Habe den ganzen easyepg Ordner gelöscht noch mal gezogen und von vorne angefangen. Genau das gleiche.

    Beim Einrichten für Magenta TV bekomme ich garnicht erst eine Channel liste.

    Bin auf Debian 11 Unterwegs, da habe ich easyepg auch nicht im Cron zum laufen gekriegt aber das ist wohl ein anderes Problem.

  • Ja hab ich versucht bringt aber nicht. Habe das ganze gerade noch einmal in ner Debian 11 VM versucht.
    Da kann ich dann aber die Channels die ich bei Horizon ausgewählt habe nicht in Modify XML File übernehmen.
    Da beschwert easyepg sich darüber das es auf einer nicht existierenden XML File beruhen würde.

    Telekom kann ich gar nicht erst als Instanz hinzufügen, da krieg ich garkeine Channel List.

  • Das Skript hört nicht von selbst auf, zu funktionieren, wenn es keine großartigen Änderungen in den letzten Wochen oder gar Monaten gab. Auf meinem Ubuntu-Server kann ich keine Probleme feststellen, dort werden weiterhin sämtliche Files automatisiert erstellt.

    Ich werde ohnehin nicht darum herumkommen können, dieses Projekt in der aktuellen Form zu beenden. Das Skript hat aufgrund der fehlenden Erweiterungsmöglichkeiten und wegen der immer wieder auftauchenden Probleme im Zusammenhang mit der Code-Basis (Bash) keine Zukunft mehr.

    Dies bedeutet allerdings nicht, dass das EPG-Projekt selbst zu Grabe getragen wird, im Gegenteil - ein neues Skript mit Webinterface und einer einfacher gehaltenen Code-Struktur (Python) wird in den nächsten Monaten folgen. Meine Ziele sind eine vollständige Dokumentation der Features und eine Open Source-Plattform, um die bestehende Problematik mit den EPG-IDs zu lösen und eine Einbindung des Takealug EPG-Addons zu ermöglichen. Zudem ist eine Programmstruktur mit Modulen geplant, um neue Provider möglichst unkompliziert hinzufügen zu können. Auch das Updaten der Module soll automatisiert stattfinden.

    Allerdings werde ich für das alte Shell-Skript ggf. keinen Support mehr gewährleisten. Ich hoffe auf euer Verständnis, momentan habe ich auch nicht viel Freizeit.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!