[RELEASE] Takealug EPG Grabber

Der multithread imdbmapper hat den anderen voll überholt

Was mit aufgefallen ist, der aufruf unterscheidet sich bei den Scripten, manche wollen inputfile und outputfile, manche wollen inputfile > outputfile. Auch wenn es in der readme.md anders steht, da gibt es manchmal Fehlermeldungen, wenn es nicht korrekt aufgerufen wird. Vielleicht so machen, das jedes Script gleich aufgerufen wird?

Jetzt werd ich TVH mal das Endprodukt geben und schauen, ob alles funktioniert.

ja, hat geklappt. Nun noch alles in eine batchdatei quetschen.

Welchen Anbieter nutzt ihr für webgrab?

Ich hab im wesentlichen tvtoday, jedoch sind die Infos da dünn.

Zudem gibt es Kabel 1 Doku nicht, bzw geht das nicht.
Klack. De ist umfangreicher scheint sich aber nicht grabben zu lassen.

@DeBaschdi
Ist es ok wenn ich nach und nach die unbekannten Genre als pull auf git stelle? Will das ca einmal die Woche probieren (zumindest da wo sinnvoll)

bei mir geht kein epg mehr... lief jetzt monate lang super. wurde was geändert?

ok erst lesen dann schreiben Schade, war ein super dienst, für den ich auch was zahlen würde!!

Ihr schreibt immer das die Daten von magentatv, tvtoday oder horizon kommen
Nur, wie zieht ihr die Daten ab?
Gibt es da eine REST oder JSON Schnittstelle?
Oder einfacher gefragt, wie macht ihr das?

Gruß Uwe

Tante Edit:
Ich lese mich gerade in webgrabplus ein. Installiert hatte ich es eh schon, muss es nur noch richtig anpassen an einen der genannten

webgrab++ macht das. dauert zwar ewig, aber man muss es ja nicht jeden Tag machen. Danach kommen dann bei Bedarf die Scripte von DeBaschdi EPGScripts zum Einsatz in folgender Reihenfolge:

1. Daten grabben (wg++)
2. Genre mappen
3. Imdb search
4. Ratings mappen

Dann kann TVH die einlesen.

Gibt dann noch die kommerzielle Variante für 17,95/Jahr von epgdata.com. Hier kann man einfach den für TVH mitgelieferten XMLTV-Grabber verwenden und hat dann auch ein recht vollständiges EPG für DE. Da das Angebot kein Abo-Modell ist, wird es auch nicht automatisch verlängert.

Zitat von lutzlustig

webgrab++ macht das. dauert zwar ewig, aber man muss es ja nicht jeden Tag machen. Danach kommen dann bei Bedarf die Scripte von DeBaschdi EPGScripts zum Einsatz in folgender Reihenfolge:

1. Daten grabben (wg++)
2. Genre mappen
3. Imdb search
4. Ratings mappen

Dann kann TVH die einlesen.

Ich habe das auf der Synology gerade laufen lassen. Die hat für 24 Kanäle knapp eine Stunde benötigt.
Quelle war horizon

Eigentlich könnte man die Datei mit den Sendern doch splitten und wg++ mehrfach parallel laufen lassen, dann müsste das schneller gehen. Wenn alle Stricke reißen, einfach mehrere Dockerinstanzen. Aber erstmal abwarten, wie lange es diesmal dauert.
Mit dem Befehl "time" vor einem Befehl wird nach Ausführung des Befehls die Zeitdauer angezeigt.

Da der Task über den Taskmanager der Synology läuft, habe ich ein Logfile und kann darüber sehen wie lange es läuft.
Eine Stunde nach dem ersten Lauf habe ich das nch einmal angestoßen und dann lief es nur 11 Minuten.
Aber das ist eine Maßnahme solange das Projekt auf Eis liegt.

Zitat von DeBaschdi

Ich bin fan von magentatv.

Allerdings wird dafür ein webserver benötigt auf dem die php aufgerufen werden muss.
Alternativ = horizon.tv

Ich bin auch ein Fan von magentatv, aber leider hab ich es noch nicht hinbekommen, hab es jedoch nur über die CLI versucht das Cookie upzudaten und anschließend die Channel ID's verwendet, beim laden hat er jedoch immer einen Fehler geworfen.

Könntest du mir vielleicht in ein paar Worten beschreiben wie ich das zum laufen bekomme?

Zitat von DeBaschdi

so kann das auch nicht gehen^^
Meine ini setzt zwingend die php voraus.
Magenta verlangt ein Token, der bei einem request erstellt wird, für jede weitere anfrage im header.
Webgrab kann das nicht.
Du wirst nicht umherkommen die php zu hosten, und die ini auf den http pfad anzupassen.
Quasi als proxy

Die Mühe lohnt sich aber.
Meine ini - php konstellation ist so aufgebaut, dass bereits alle epgdetails als json mainifests heruntergeladen werden.
Somit ist webgrab schneller, da keine subpages ect abgeforstet werden.
Gefühlt 4mal so schnell wie horizon

Alles anzeigen

Vielen Dank, habs jetzt hinbekommen die ersten Channels zu grabben. Werd mich heute etwas weiter spielen und wenn alles gut läuft IMDB Mapper bzw. Genre Mapper drüber laufen lassen. Danke für deinen Hinweis und viel mehr nochmal danke für deine ganze Arbeit. Ich warte bereits auf deine Updates

Zitat von DeBaschdi

vorsicht mit dem inkrementellen modus in webgrab^^ durchaus denkbar, je nach ini, das der nicht funktioniert.
Merkt ihr aber wenn dann als title da steht ",keine Informationen verfügbar" oder ähnliches.

**edit
Ich komm heute leider nicht mehr dazu euch eine ready to use config zu erstellen, welche "optimiert" funktioniert.

Momentan funktioniert es mit dem inkrementen Modus
Wenn die Fehler auftreten, werde ich auf "f" = Force umstellen

Hallo,

ich versuche den imdbmapper über Windows (mit installierten Perl) ans laufen zu bringen,
bekomme da aber bei der Ausführung folgendes angezeigt:

Helperscripts Found OK
Deleting all Cached Files older then 5 Days
Reading XML file
Starting Pass 1, IMDB Search for Movies and Series
Der Befehl "php" ist entweder falsch geschrieben oder
konnte nicht gefunden werden.
Der Befehl "php" ist entweder falsch geschrieben oder
konnte nicht gefunden werden.
Der Befehl "php" ist entweder falsch geschrieben oder
konnte nicht gefunden werden.
Der Befehl "php" ist entweder falsch geschrieben oder
konnte nicht gefunden werden.
Der Befehl "php" ist entweder falsch geschrieben oder
konnte nicht gefunden werden.
Der Befehl "php" ist entweder falsch geschrieben oder
konnte nicht gefunden werden.
used nomatch for Movie Law & Order: Special Victims Unit
Der Befehl "php" ist entweder falsch geschrieben oder
konnte nicht gefunden werden.
Der Befehl "php" ist entweder falsch geschrieben oder
konnte nicht gefunden werden.

Könnt Ihr mir bei dem Problem helfen?

Zu PHP unter Windows fällt mir spontan WAMP ein, Windows, Apache, MySql und PHP. Oder noch besser XAMPP XAMPP Server