[DISCONTINUED] easyEPG Grabber // WebGrab++ Alternative [v0.4.3 | 2020/01/11]

  • Bitte die Daten erstmal über andere Provider beziehen. Die neue Version mit Webinterface lädt die Files in wenigen Minuten herunter, ist aber noch nicht fertig.


    Hallo,
    ist da auch was geplant, eigene Siteconfigs erstellen bzw. mit einbeziehen zu können? Ähnlich wie es bei webgrabplus möglich ist/war?

    Vielleicht sagt dir auch der Tempest-Epg-Grabber was, ist ziemlich neu - mit sehr vielen Möglichkeiten und Webinterface. Da gibts die Möglichkeit auch eigene Sachen einzubauen. Geschwindigkeitsmäßig ist er Ok, da fehlt mir etwas der Vergleich (magentatv geht ja überall recht schnell).

  • Mein Programm ist modular aufgebaut. Python als Programmiersprache bietet die notwendigen Tools, um sich die eigenen Module erstellen zu können, wenn man möchte. Als User soll man sich aber primär nicht um irgendwelche eigenen Tools bemühen müssen, sondern einfach eine Datei für alle Sender erstellen können.

  • Ja, das ist natürlich die Hauptsache.
    Da ich momentan das gegrabbte EPG mit einem XSL-Script meinen Bedürfnissen nach anpasse, dachte ich da nur an die Möglichkeit das vor dem Grabben oder evtl. danach schon über das Tool bewerkstelligen zu können. Zum Beispiel das Anpassen des display-name (ORF 1 | ORF eins HD um ein einfaches Beispiel zu nennen) bzw. die Darstellung der Daten (heißt, ich hab im Sub-title Element die Elemente Kategorie, Country Date "integriert").
    Also ne Möglichkeit das ganz individuell gestalten zu können fände ich sehr cool, allerdings hab ich auch keine Ahnung wie umständlich oder wie groß der dementsprechende Aufwand wäre. Und inwieweit sowas für dich und andere User überhaupt sinnvoll erscheint.

    Ich bin aber natürlich auch ohne diese Zusätze schon gespannt auf deine neue Version und sehr dankbar für die ganze Arbeit die du da reinsteckst. Nur mal nebenbei ;)

  • Vor einigen Wochen habe ich dieses Problem gemeldet und heute gelöst. Die Lösung habe unten beschrieben. Vielleicht hilft es ja jemanden mit einem ähnlichen Problem.

    Ich erhalte Fehlermeldungen bei zattoo: malformed JSON string

    Habt ihr auch dieses Problem?

    Danke

    Heute konnte ich das Problem wie folgt lösen:

    • In EasyEPG habe ich zunächst ein Backup angelegt
    • Script aktualisiert
    • Grabber-Instanz Zattoo gelöscht
    • EasyEPG beendet
    • EasyEPG gestartet
    • Grabber-Instanz Zattoo angelegt
    • Alle meine Einstellungen vorgenommen (einige Sender hatten nun eine andere laufende Nummer > war das vielleicht die Ursache?)
    • Run XML-Script

    EasyEPG hat beim letzten Punkt ("Run XML-Script") dann brav die EPG-Datei erzeugt. (na, er ist noch dabei.....).

  • Die neue Version mit Webinterface lädt die Files in wenigen Minuten herunter, ist aber noch nicht fertig.

    @easy4me
    Noch ein kleiner Feature Request für die neue Version. Bitte bei Magenta.tv dieses:

    Code
    https://ngiss.t-online.de/iss?client=ngtv&y=36&ar=keep&src=

    nicht mehr der Logo-URL voranstellen oder abschaltbar machen. Das funktioniert nach wie vor nicht unter tvheadend.

  • Ich habe unter Grabber-Instances auf der Suche nach Sendern Zattoo.D und Waipu.tv hinzugefügt, hatte dann keine Zugangsdaten - und kann sie nun nicht mehr löschen, weil ich nicht über die Eingabe der ZUgangsdaten hinaus komme. Kann ich die Liste irgendwie mit einem Iditor bearbeiten, um diese Grabber-Instances wieder löschen zu können?

  • Hallo @easy4me,

    momentan ist es nicht möglich EPG-Daten von Zattoo (Premium-Account) herunterzuladen. Das Script endet mit folgenden Eintrag in der warnings.txt:
    [ EPG ERROR ] XMLTV FILE DOES NOT CONTAIN ANY PROGRAMME DATA!
    Weiterhin wurde eine Datei 'zattoo_ERROR.xml' angelegt, die nur die Channel-Daten am Anfang enthält. Das Script lief bis zur Meldung Downloading missing files... ==> LOOP 5/5 FILES: 24390. Danach lief es noch ca. 6 Stunden!!! bis zur Fehlermeldung weiter. In diesem Zeitraum kann man in HTOP den Prozess bash epg.sh -> bash ztt.sh -> bash /tmp/missing -> curl.... beobachten.
    Nach Sichtung meiner LOGS tritt das Problem seit dem 6.04.2022 auf, erkennbar an der immer weiter ansteigendern Laufzeit des Scripts. Aufgefallen ist es mir erst jetzt, weil die ersten Lücken im EPG auftauchten (14 Tage geladen - erstellte 'zattoo_de.xml' wird von mir noch auf Klienten umkopiert). Script ist auf dem neuesten Stand (Update-Funktion im Script genutzt).


    Was hat sich geändert? Tritt das Problem nur bei Zattoo auf? Nutze das Script seit langer Zeit ohne Probleme.

    Frohe Ostern
    Frank

  • Zattoo blockiert gehäufte/parallele Requests, daher werden keine Daten gezogen. Ich arbeite aktuell noch am neuen Skript, dort funktioniert Zattoo wieder (genauso wie RadioTimes und TVTV auch). Es müssen noch einige wesentliche Features und Provider implementiert werden. Bitte bis zur ersten Fertigstellung der neuen Version auf andere Provider ausweichen (Swisscom für CH/UK, Magenta/Telekom für DE). Sorry für die aktuellen Umstände.

    Frohe Ostern :)

  • Hallo ich benötige eure Hilfe.

    Ich lasse das EPG auf meinem Kodi grabben und auf mein Netzlaufwerk kopieren. über das Addon Takealug EPG Grabber

    jetzt muss ich aber immer manuel den Befehl ausführen als root

    cat /media/datenpanzer/IT\ Projekte/ip\ tv/guide.xml | socat - UNIX-CONNECT:/home/hts/.hts/tvheadend/epggrab/xmltv.sock

    um die EPG Daten in mein TVHeadend zu übertragen. Dann läuft auch alles super.

    Jetzt würde ich das gern aber automatisieren, ich habe dazu einfach den Befehl in ein crontab kopiert. aber er wird nicht ausgeführt :(

    30 22 * * 1 cat /media/datenpanzer/IT\ Projekte/ip\ tv/guide.xml | socat - UNIX-CONNECT:/home/hts/.hts/tvheadend/epggrab/xmltv.sock

    Könnt ihr mir bitte weiterhelfen?

    Gruß

  • Zattoo blockiert gehäufte/parallele Requests, daher werden keine Daten gezogen. Ich arbeite aktuell noch am neuen Skript, dort funktioniert Zattoo wieder (genauso wie RadioTimes und TVTV auch). Es müssen noch einige wesentliche Features und Provider implementiert werden. Bitte bis zur ersten Fertigstellung der neuen Version auf andere Provider ausweichen (Swisscom für CH/UK, Magenta/Telekom für DE). Sorry für die aktuellen Umstände.

    Frohe Ostern :)


    Ah, das erklärt es auch bei mir. Nicht nur, dass es 10 Stunden gedauert hat, auch, dass das XML-file danach leer war [ag] Gibt es einen Workaround, dass man nur einen "Request" macht? Falls nicht, freue ich mich tierisch auf das neue Script.

  • Zattoo blockiert gehäufte/parallele Requests, daher werden keine Daten gezogen. Ich arbeite aktuell noch am neuen Skript, dort funktioniert Zattoo wieder (genauso wie RadioTimes und TVTV auch). Es müssen noch einige wesentliche Features und Provider implementiert werden. Bitte bis zur ersten Fertigstellung der neuen Version auf andere Provider ausweichen (Swisscom für CH/UK, Magenta/Telekom für DE). Sorry für die aktuellen Umstände.

    Frohe Ostern :)

    Erst einmal vielen Dank für dein Super Skript. Lief bei mir nun Monate ohne jegliches zutun :)

    Nun habe ich aber auch das Problem mit Zattoo. Andere Provider wollen bei mir in der Schweiz nicht. Bei Swisscom bekomme ich noch folgenden Fehler, hast du hier noch eine Hilfe für mich? Mache ich etwas falsch? Zur Sicherheit habe ich easyepg komplett neu erstellt / installiert.


    //Edit:

    Ich sehe gerade, dass die XML Datei swisscom_ch.xml jedoch erfolgreich erstellt wurde. Dann betrifft es wohl nur die paar Sender. Das wäre kein Problem. Danke trotzdem :)

    //edit²:

    Läuft 1a!

    Ein Bier geht auf mich!

  • @easy4me Leider lässt sich das Tool nicht vollständig installieren, der erste Befehl: sudo apt-get install cron phantomjs dialog...usw...endet mit ping. Konsole gibt folgende Meldung aus: Für Paket »phantomjs« existiert kein Installationskandidat. Gibt es eine Lösung ? MfG

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!