[RELEASE] Takealug EPG Grabber

Zitat von DeBaschdi

Ich mach die Tage ein kleines Update und schmeiß alle toten Provider raus, ansonsten funktioniert das Takealug Addon noch wie vor .... X Jahren.

Anleitungen was wo wie ist hier schon 100mal diskutiert worden, sorry wenn ich einfach nach all den Jahren keine Lust mehr habe mich Xmal zu wiederholen, schön wenn ihr ech aber gegenseitig helfen könnt und wollt.

Hoffentlich zählt Zattoo so bald noch nicht dazu, aber die Wartungsarbeiten bei denen scheinen wohl nicht ohne Auswirkungen verblieben zu sein. Das EPG von ZATTOO (DE) funktioniert seit wenigen Tagen nicht mehr ganz richtig. Der Grabber wirft zwar keinen Fehler (abgesehen von Missing Rytec Ids / EIT Genres, Meldungen die schon vorher auftraten) und die guide.xml wird erstellt. Aber es fehlen eine Vielzahl an Sendungen, für einige Stunden gibt es keine EPG-Daten. Die Größe der erstellten guide.xml ist gleich auf ein Fünftel geschrumpft.

Zitat von steinchen

Hoffentlich zählt Zattoo so bald noch nicht dazu, aber die Wartungsarbeiten bei denen scheinen wohl nicht ohne Auswirkungen verblieben zu sein. Das EPG von ZATTOO (DE) funktioniert seit wenigen Tagen nicht mehr ganz richtig. Der Grabber wirft zwar keinen Fehler (abgesehen von Missing Rytec Ids / EIT Genres, Meldungen die schon vorher auftraten) und die guide.xml wird erstellt. Aber es fehlen eine Vielzahl an Sendungen, für einige Stunden gibt es keine EPG-Daten. Die Größe der erstellten guide.xml ist gleich auf ein Fünftel geschrumpft.

Warum nutzt du nicht den Zattoo PVR? Da wird der EPG direkt nach dem Start von Kodi, geladen. Nutze ich auch und funktioniert hervorragend. 👍🙂

Zitat von fernsehfan

Warum nutzt du nicht den Zattoo PVR? Da wird der EPG direkt nach dem Start von Kodi, geladen. Nutze ich auch und funktioniert hervorragend. 👍🙂

Das EPG vom PVR lässt sich aber nicht als xml exportieren um es in Tvheadend einzubinden, oder?

Zitat von steinchen

Das EPG vom PVR lässt sich aber nicht als xml exportieren um es in Tvheadend einzubinden, oder?

Achso, du nutzt TVheadend. Dann glaube ich nicht, dass man den EPG vom Zattoo PVR, dafür nutzen kann. Vielleicht kann man ihn irgendwie auslesen? Da müssten mal die Experten antworten. 😉

DeBaschdi: Habe nun einen Pull-Request erstellt, der das Problem mit dem Zattoo-Grabber beheben soll.

Zitat von steinchen

DeBaschdi: Habe nun einen Pull-Request erstellt, der das Problem mit dem Zattoo-Grabber beheben soll.

Danke Steinchen! ... habe die betreffende Datei (zattoo.py) mal lokal (Mac) auf meinem Rechner ersetzt und es funktioniert einwandfrei. Dauert nur etwas länger, was ja vermutlich nur an den neuen Bedingungen liegt um die Limits nicht zu überschreiten ... Wäre sehr gut wenn der PR gemergt werden würde...

Hallo zusammen,

Takealug ist hier auf 3 Rechnern mit Ubuntu 22.04 ordnungsgemäß eingerichtet und die automatische Aktualisierung mit bzw. durch Magenta aktiviert. Meistens aber funktioniert sie nicht, und es wird auf Einzelheiten im Protokoll verwiesen. Dann sind in kodi.log einige Fehlermeldungen zu finden. Das Muster solcher Abschnitte sieht so aus:

2024-06-19 11:00:23.869 T:6209     INFO <general>: [Takealug EPG Grabber 1.1.6+matrix] Zeitstempel der zuletzt erstellten guide.xml ist 19.06.2024 09:14
2024-06-19 11:00:23.869 T:6209     INFO <general>: [Takealug EPG Grabber 1.1.6+matrix] Warte auf den nächsten EPG grab am 19.06.2024 11:00
2024-06-19 11:00:23.869 T:6209     INFO <general>: [Takealug EPG Grabber 1.1.6+matrix] EPG Grab Zeit wurde erreicht, leite automatischen EPG Grab ein
2024-06-19 11:00:23.904 T:6185     INFO <general>: CActiveAESink::OpenSink - initialize sink
2024-06-19 11:00:23.906 T:6185     INFO <general>: PulseAudio: Opened device Default in pcm mode with Buffersize 150 ms Periodsize 50 ms
2024-06-19 11:00:24.350 T:6209    ERROR <general>: EXCEPTION Thrown (PythonToCppException) : -->Python callback/script returned the following error<--
                                                    - NOTE: IGNORING THIS CAN LEAD TO MEMORY LEAKS!
                                                   Error Type: <class 'KeyError'>
                                                   Error Contents: 'channellist'
                                                   Traceback (most recent call last):
                                                     File "/home/<benutzername>/.kodi/addons/service.takealug.epg-grabber/service.py", line 569, in <module>
                                                       if sys.argv[1] == 'manual_download':
                                                   IndexError: list index out of range
                                                   
                                                   During handling of the above exception, another exception occurred:
                                                   
                                                   Traceback (most recent call last):
                                                     File "/home/<benutzername>/.kodi/addons/service.takealug.epg-grabber/service.py", line 596, in <module>
                                                       worker(timeswitch_1, timeswitch_2, timeswitch_3)
                                                     File "/home/<benutzername>/.kodi/addons/service.takealug.epg-grabber/service.py", line 445, in worker
                                                       run_grabber()
                                                     File "/home/<benutzername>/.kodi/addons/service.takealug.epg-grabber/service.py", line 183, in run_grabber
                                                       if magenta_DE.startup():
                                                     File "/home/<benutzername>/.kodi/addons/service.takealug.epg-grabber/resources/providers/magenta_DE.py", line 557, in startup
                                                       get_channellist()
                                                     File "/home/<benutzername>/.kodi/addons/service.takealug.epg-grabber/resources/providers/magenta_DE.py", line 150, in get_channellist
                                                       for channels in magentaDE_channels['channellist']:
                                                   KeyError: 'channellist'
                                                   -->End of Python script error report<--
                                                   
2024-06-19 11:00:24.380 T:6209     INFO <general>: Python interpreter stopped
2024-06-19 11:01:56.524 T:6160     INFO <general>: Loading skin file: DialogButtonMenu.xml, load type: KEEP_IN_MEMORY
2024-06-19 11:01:58.068 T:6160     INFO <general>: Stopping player
2024-06-19 11:01:58.068 T:6160     INFO <general>: Storing total System Uptime
2024-06-19 11:01:58.068 T:6160     INFO <general>: Saving settings
2024-06-19 11:01:58.069 T:6160     INFO <general>: Saving skin settings
2024-06-19 11:01:58.070 T:6160     INFO <general>: Stopping all
2024-06-19 11:01:58.070 T:6160     INFO <general>: ES: Stopping event server
2024-06-19 11:01:58.070 T:6160     INFO <general>: stopping zeroconf publishing
2024-06-19 11:01:58.404 T:6214     INFO <general>: ES: UDP Event server stopped
2024-06-19 11:01:58.404 T:6160     INFO <general>: stop dvd detect media
2024-06-19 11:01:58.404 T:6160     INFO <general>: CServiceAddonManager: failed to stop inputstream.ffmpegdirect (may have ended)
2024-06-19 11:01:58.404 T:6206     INFO <general>: [plugin.video.joyn - 2.5.29+matrix.1] Monitor stopped
2024-06-19 11:01:58.404 T:6206     INFO <general>: CPythonInvoker(1, /home/<benutzername>/.kodi/addons/plugin.video.joyn/service.py): script successfully run
2024-06-19 11:01:58.411 T:6206     INFO <general>: Python interpreter interrupted by user
2024-06-19 11:01:58.412 T:6160     INFO <general>: CServiceAddonManager: failed to stop plugin.video.rtlgroup.de (may have ended)
2024-06-19 11:01:58.794 T:6208     INFO <general>: CPythonInvoker(3, /home/<benutzername>/.kodi/addons/script.common.plugin.cache/resources/lib/entry_point.py): script successfully run
2024-06-19 11:01:58.799 T:6208     INFO <general>: Python interpreter interrupted by user
2024-06-19 11:01:58.799 T:6160     INFO <general>: CServiceAddonManager: failed to stop service.takealug.epg-grabber (may have ended)
2024-06-19 11:01:58.799 T:6160     INFO <general>: CServiceAddonManager: failed to stop service.xbmc.versioncheck (may have ended)
2024-06-19 11:01:58.799 T:6160     INFO <general>: Application stopped
2024-06-19 11:01:59.000 T:6160     INFO <general>: XBApplicationEx: destroying...
2024-06-19 11:01:59.000 T:6160     INFO <general>: PVR Manager: Stopping
2024-06-19 11:01:59.000 T:6218     INFO <general>: EPG Container: Persisting unsaved events...
2024-06-19 11:01:59.000 T:6218     INFO <general>: EPG Container: Persisting events done
2024-06-19 11:01:59.891 T:6160     INFO <general>: PVR Manager: Stopped
2024-06-19 11:02:00.652 T:6160     INFO <general>: ADDON: Dll Destroyed - PVR IPTV Simple Client
2024-06-19 11:02:00.952 T:6160     INFO <general>: unload skin
2024-06-19 11:02:00.961 T:6160     INFO <general>: Unloaded skin
2024-06-19 11:02:00.962 T:6160     INFO <general>: unload sections
2024-06-19 11:02:00.973 T:6160     INFO <general>: XRANDR: /usr/lib/x86_64-linux-gnu/kodi/kodi-xrandr --screen 0 --output HDMI-1 --mode 0x46
2024-06-19 11:02:01.001 T:6160     INFO <general>: XBApplicationEx: application stopped!

Ohne dass ich einen konkreten Grund erkennen könnte, funktioniert das Ganze dann plötzlich wieder.

Ein anderes Phänomen ist (z.B. heute auf 2 PCs), dass die Aktualisierung sichtbar erfolgt und der Vorgang mit der Meldung abgeschlossen wird, dass eine guide.xml erstellt wurde, aber die TV-Liste nur noch Sender und keine Informationen mehr enthält.

Selbst zwischenzeitliche Versuche, die automatische Aktualisierung zu deaktivieren und sie manuell anzustoßen, führen zu denselben Ergebnissen. Der Automatismus hat also mit dem Problem offenbar nichts zu tun. Egal, ob mit oder ohne: Mal funktioniert die Aktualisierung, meistens nicht und mal nur halb.

Inzwischen bin ich fast soweit, entnervt aufzugeben und Takealug zu deinstallieren: Dieser Zustand ist schwer zu ertragen und für mich die Ursache nicht erkennbar. Bei einem Rechner, auf dem nur LibreELEC und Kodi installiert sind, tritt das Problem kurioserweise nicht auf - so jedenfalls meine Beobachtungen der letzten 7-10 Tage.

Kann jemand das Phänomen erklären? Ist es bekannt? Wie kann es beseitigt werden?

Viele Grüße

nenem

Dass die guide.xml erstellt wurde, aber kein Programm sichtbar ist, passiert bei mir auch öfter mal. (sieht man aber nur, wenn mein RasPi übers Wochenende ohne Strom war und daher mehrere Tage ohne Update dazwischen liegen, sonst lädt er ja drei Tage oder so im Voraus)

Da die guide.xml aber erstellt wird, bin ich mir nicht sicher, ob das am Takealug-EPG-Grabber liegt, wie du meinst(?) Es wirkt damit ja eher so, als würde der IPTVsimpleClient sie einfach eine Weile nicht anziehen? Wenn ich die Datei guide.xml im Texteditor anschaue, ist sie bis übermorgen befüllt.

Ganz identisch sind unsere beiden Fälle nicht.

Das, was Du beschreibst (erstellen der guide.xml, aber keine Programm-Informationen in der TV-Liste) passiert bei mir zwar auch, aber nicht so oft wie die Erstellung der guide.xml bei den 3 Rechnern komplett scheitert. Kann ich auch am jeweiligen Erstellungsdatum der Dateien sehen.

Ist extrem ärgerlich, denn bisher konnte ich keine Zeitpunkte beobachten / erkennen, zu denen es funktioniert oder nicht funktioniert. An den Rechnern kann es u.U. Tage dauern, bis Kodi mal genau in einem Moment gestartet wird, in dem die Aktualisierung klappt. So jedenfalls ist der Grabber so gut wie unbrauchbar. Und wie gesagt: Beim 4. Rechner mit der installierten Kombi aus LibreELEC und Kodi passiert es (bisher) nicht.

Dass es etwas mit einer Fehlfunktion des PVR IPTV Simple Client zu tun haben könnte, kann ich mir nicht vorstellen: Im Konfigurationsmenü auf dem Reiter "EPG" ist ein lokaler Pfad für die XMLTV-Datei hinterlegt (also der Verweis auf die guide.xml). Dass im Fall einer aktualisierten guide.xml dennoch keine Programminformationen angezeigt werden, scheint ein Fehler zu sein, der gescheiterte Grab-Vorgang ein anderer: 1-2 Minuten nach Start von Kodi beginnt das Grabben - sichtbar durch eine Takealug-Meldung oben. Nach dem Scheitern des Versuchs kommt darin der Fehlerhinweis mit Verweis auf kodi.log.

Moin, denkbar wäre auch ein Konnektivitätsproblem, wie sind denn die Installationen mit dem Netzwerk angebunden ?

Möglicherweise hilft es Kodi beizubringen etwas länger auf das Netzwerk beim booten zu warten.

Settings/System/Power saving - Official Kodi Wiki

Funktioniert denn ein manueller Grab nachdem der automatische (direkt nach systemstart) fehlschlug ?

In der Vergangenheit beobachtete ich Probleme mit einzelnen Anschlüssen seitens unterschiedlicher Provider hin zur Magenta Seite, da Blockt Magenta ohne ersichtlichen Grund.

Versuchen könntest du mal einen anderen Provider testweise auszuwählen, um Magenta auszuschließen, z.b TV-Spielfilm

Von mir mal was Positives

Ich bin absolut begeistert und zufrieden mit dem Takealug EPG Grabber!

Nutze ebenfalls Magenta TV als Provider...habe 2 Tage zum Grabben eingestellt.
Wenn ich jetzt Kodi jeden Tag starte, habe ich immer EPG!...ohne Ausnahme! Keinerlei Probleme!

Wenn ich allerdings Kodi mal länger als diese 2 Tage nicht starte, habe ich logischerweise auch keine Infos im Programm-Guide. Es wird zwar jetzt bei Kodi-Start unmittelbar eine neue guide.xml erstellt, aber zum Zeitpunkt des Starts greift Kodi noch auf die "abgelaufene" guide.xml zu...daher wird auch nichts angezeigt! Eine Datei, die erst nach Kodi-Start angelegt wurde, ist einfach noch nicht aktiv.

Man könnte jetzt Kodi nach dem Grabben noch mal neu starten, dann wären die EPG-Infos wieder verfügbar...ODER...man geht bei fehlenden EPG-Daten einfach auf SYSTEM => PVR und TV => Programmübersicht => Daten löschen
Erst jetzt wird die eben neu erstellt guide-xml abgefragt und alle Infos stehen wieder zur Verfügung

Zitat von DeBaschdi

Moin, denkbar wäre auch ein Konnektivitätsproblem, wie sind denn die Installationen mit dem Netzwerk angebunden ?

Alle Rechner hängen an einer Fritzbox. Bei den dreien mit installiertem Ubuntu habe ich die Probleme (übrigens auch mit meinem Ubuntu-Laptop, den ich allerdings nur sporadisch nutze), bei dem einen mit LibreELEC/Kodi nicht.

Zitat von DeBaschdi

Möglicherweise hilft es Kodi beizubringen etwas länger auf das Netzwerk beim booten zu warten.

https://kodi.wiki/view/Settings/System/Power_saving

Kodi funktioniert ja. Und der Grabber startet ohnehin erst, nachdem 1-2 Minuten verstrichen sind.

Zitat von DeBaschdi

Funktioniert denn ein manueller Grab nachdem der automatische (direkt nach systemstart) fehlschlug ?

Nein. Die Fehlfunktion zeigt sich sowohl bei der automatischen Aktualisierung, als auch bei der manuellen.

Zitat von DeBaschdi

In der Vergangenheit beobachtete ich Probleme mit einzelnen Anschlüssen seitens unterschiedlicher Provider hin zur Magenta Seite, da Blockt Magenta ohne ersichtlichen Grund.

In diese Richtung habe ich zuerst auch vermutet. Dagegen spricht allerdings, dass der Rechner mit der LibreELEC-Kodi-Kombi solche Probleme bisher nicht hat. Für mich sieht es so aus, als ob es etwas mit Kodi unter Ubuntu 22.04 zu tun hat. Außerdem scheitern die Aktualisierungen ja nicht immer.

Zitat von DeBaschdi

Versuchen könntest du mal einen anderen Provider testweise auszuwählen, um Magenta auszuschließen, z.b TV-Spielfilm

Habe ich bisher noch nicht gemacht, weil ich zuerst einmal klären wollte, warum das Verhalten bei den Ubuntu-Rechnern auftritt, auf dem anderen aber nicht.

titanme: Schön für Dich, dass alles perfekt funktioniert. Hier jedenfalls bei 3 (4) Rechnern nicht und nur bei einem (s.o.). Außerdem bezieht sich Dein Workaround nur auf eines von zwei Problemen - darauf, dass die guide.xml neu erstellt wird, Kodi aber darauf noch nicht zurückgreift. Solch einen Fall habe ich gerade aktuell (aber hatte ich auch schon mehrmals). Dann hat weder ein Neustart von Kodi etwas gebracht, noch eine einmalige Deaktivierung und Reaktivierung von Takealug oder des PVR-Clients. Aktuell wurden auf den Rechnern gestern die guide.xml's neu erstellt, aber die Programminformationen blieben trotz mehrmaliger Kodistarts mindestens 24 Stunden leer. Auf einem von 2 PCs waren erschienen sie plötzlich wieder, auf dem anderen nicht. Dort erst, nachdem ich Deinen Weg (SYSTEM => PVR und TV => Programmübersicht => Daten löschen) gegangen bin. Als Workaround ok, aber nicht als Dauerlösung - vor allem nicht, wenn Kodi für eine andere Person eingerichtet ist, die mit so etwas nicht zurechtkommt. Außerdem hilft das alles beim zweiten Problem sowieso nicht - wenn also schon die Aktualisierungen scheitern.

Ich kann deinen Unmut echt verstehen, manchmal steckt der teufel im verborgendem Detail, ich kann aktuell nur raten.

Vllt macht bei dir eher easyepg Sinn,

Vorschlag : Einen kleinen rpi als "Server" einsetzen um das EPG zentral zu laden und anschließend allen iptv simple clients die passende intranet URL für das epg beibringen.

Nun habe ich Deinen Vorschlag ausprobiert, Magenta deaktiviert, TV Spielfim aktiviert, einige Sender ausgewählt und abschließend einen manuellen Grab gestartet. Ergebnis: Alles wie vorher. Scheitert mit entsprechender, abschließender Fehlermeldung von Takealug. Weder dies Problem bzgl. der Aktualisierungen verschwindet, noch das zweite bzgl. fehlender Programminformationen. Vorher war Magenta nämlich durchgelaufen und Takealug meldete Vollzug bei der Aktualisierung und Erstellung einer neuen guide.xml. Seit 2 Tagen erscheinen keine Informationen mehr.

Zitat von DeBaschdi

Vllt macht bei dir eher easyepg Sinn

Naja, wenn ich mir die Diskussionen der letzten 2 Jahre hier ansehe: [Proof of Concept] [WIP] easyepg als Addon, scheint es damit nicht viel geschmeidiger zu laufen.

Zitat von DeBaschdi

Vorschlag : Einen kleinen rpi als "Server" einsetzen um das EPG zentral zu laden und anschließend allen iptv simple clients die passende intranet URL für das epg beibringen.

Erstmal habe ich keinen Raspi und lege mir dafür auch keinen zu. Außerdem hat die Frickelei mit solch einem Feature auch Grenzen für mich. Derzeit sieht es danach aus, dass ich jedenfalls auf den Ubuntu-Rechnern ohne Grabber und EPG auskommen muss. Ich will mich ja nicht ständig über diese Fehler ärgern....

Magenta blockiert ggf. den Grabber mit einem Login-Fehler, "Relogin EPG". Und bei TV Spielfilm funktionieren nicht alle Sender, da reicht ein solcher Kanal aus, und der gesamte Grabber stürzt ab.

Zitat von easy4me

Magenta blockiert ggf. den Grabber mit einem Login-Fehler, "Relogin EPG".

Darum handelt es sich hier aber offenbar nicht: s. Fehlermeldungen(en) in meinem Posting weiter oben (#1787). Außerdem tritt das Problem ja zwar oft, aber nicht immer auf.

Genau, ein Keyerror, aus genau dem von mir genannten Grund.

Danke für die Info. Dieser Zusammenhang war mir nicht klar. Was ich allerdings immer noch nicht verstehe: dass es eben auch ohne Magenta-Blockade funktioniert (nur eben weniger oft) und dass der Rechner mit Kodi auf LibreELEC solche Probleme nicht zeigt.

Und dann noch Problem Nr. 2: fehlende Programminformationen in der TV-Senderliste/-übersicht. Nachdem dieser Zustand nun 3 Tage und viele Starts anhielt und ich noch einmal den obigen Weg (s. Posting #1791) gegangen bin, hat beides funktioniert: System ► PVR und TV ► Programmübersicht ► Daten löschen sowie die anschließende manuelle Aktualisierung hat unmittelbar bewirkt, dass sowohl sie klappte, als auch die Darstellung der Programminformationen.

Deshalb stellt sich mir insgesamt die Frage, ob tatsächlich Magenta für diese Konfusion verantwortlich sein kann.

Wie löst man bitte dieses Problem (ist auf MX Linux 23.4 xfce seit ein paar Tagen)?

2024-12-01 09:36:48.444 T:37       info <general>: [Takealug EPG Grabber 1.1.6+matrix] Settings changed Reloading
2024-12-01 09:36:48.495 T:37       info <general>: [Takealug EPG Grabber 1.1.6+matrix] Zeitstempel der zuletzt erstellten guide.xml ist 01.12.2024 09:36
2024-12-01 09:36:48.495 T:37       info <general>: [Takealug EPG Grabber 1.1.6+matrix] Warte auf den nächsten EPG grab am 28.11.2024 05:00
2024-12-01 09:36:48.495 T:37       info <general>: [Takealug EPG Grabber 1.1.6+matrix] EPG Grab Zeit wurde erreicht, leite automatischen EPG Grab ein
2024-12-01 09:36:49.659 T:37       info <general>: [Takealug EPG Grabber 1.1.6+matrix] MAGENTA TV (DE) Erstelle XML Kanäle...
2024-12-01 09:36:50.447 T:37       info <general>: [Takealug EPG Grabber 1.1.6+matrix] MAGENTA TV (DE) Can`t download in Multithreading mode, loading single... 
2024-12-01 09:36:50.448 T:37       info <general>: [Takealug EPG Grabber 1.1.6+matrix] MAGENTA TV (DE) 58 Sender Daten die heruntergeladen werden müssen... 
2024-12-01 09:37:07.879 T:37       info <general>: [Takealug EPG Grabber 1.1.6+matrix] MAGENTA TV (DE) Senderdaten heruntergeladen!
2024-12-01 09:37:07.883 T:37       info <general>: [Takealug EPG Grabber 1.1.6+matrix] MAGENTA TV (DE) Erstelle XML EPG Senderdaten...
2024-12-01 09:37:12.061 T:37       info <general>: [Takealug EPG Grabber 1.1.6+matrix] MAGENTA TV (DE) 
                                                   ]EIT GENRE WARNING[ "Familie" Is not in EIT Genre List 
                                                  
                                                  Please Create an Pull Request for Missing EIT Genres to https://github.com/sunsettrack4/config_files/blob/master/tkm_genres.json
                                                  
2024-12-01 09:37:22.131 T:37       info <general>: [Takealug EPG Grabber 1.1.6+matrix] EPG Datei (guide.xml) Erstellt!

Zitat von Centauri39

Please Create an Pull Request for Missing EIT Genres to https://github.com/sunsettrack4/config_files/blob/master/tkm_genres.json