[DISCONTINUED] easyEPG Grabber // WebGrab++ Alternative [v0.4.3 | 2020/01/11]

  • Der Mapper entspricht ja eigentlich der Einstellung im easyEPG "convert to Rytec", oder? Scheint auch alles zu laufen soweit, außer ein paar "doppelten" Kanälen, die ich nun eben aus der Abfrage im easyEPG löschen werde (was ja durchaus vorteilhaft ist; aus 113 Channels wurden nun 61).

    Die EPG id des Mappers entspricht der Rytec id (Aktivierbar in Easys Grabber) Es ist kein Problem mehrere TGVID´s auf die gleiche EPG ID zu mappen. (ähnlich Genremapper)
    Ich hab das Skript gebastelt wel es eben doch mal vorkommen kann das die Stream adressen der einzelnen sender sich in einer m3u ändern, aber die tgvid gleich bleibt.
    So ist es komfortabler bei einer Aktuallisierung einfach den mapper drüberlaufen zu lassen, als händisch alle id´s wieder anpassen zu müssen.


    "Probleme" gemäß [definition='1','0']log[/definition] gibt es wohl aktuell nur mit Servus TV HD
    [ EPG Warning ] Rytec ID not matched for ServusTV HD
    Da scheint dann aber ServusTV > Servus HD zu funktionieren

    Welcher Provider spuckt das denn aus ? wie easy schrieb, muss in solch einem Fall im Git die Datenbank aktuallisiert werden.
    Das kann er und Ich machen, oder du müsstest einen pr erstellen.


    Aber was ist dieses Format letztendlich

    Dieses Format ist der Versuch der Rytec Community eine art "Norm" zu erschaffen https://rytec.ricx.nl/epg_data/sources/rytec.channels.xlsx

    So bleibt der Name immer gleich. Und am EPG passt alles

    Leider Bleibt mit dieser Einstellung nur der Sendername gleich, an der EPG Zuweisung auf die XMLTV Quelle ändert sich nichts (immer gleiche ID)
    Wenn jetzt also Easys Skript auf die alte channelid kein Update mehr bekommt, wird die alte ID auch nicht aktuallisiert.

    Sky Cinema Hits wird von den Affenvereinen alle paar Wochen in Specials umbenannt, wie "Sky Cinema Spider Man". Das bleibt dann für 10 Tage und dann wirds wieder zu "Sky Cinema Hits".

    Ja, das nervt wirklich.

  • So, habe die letzten 2 Tage noch vor dem Hintergrund Libreelec-Kompatibilität an dem init-script gefeilt und auch den Container ansich kompatibel gemacht.

    Latest (2.0.3) ist auch bereits im DockerHub, das README ist wie gewohnt angepasst. Das Init-Script ist jetzt mehr eine Art "Assistent" und führt am Ende im Hintergrund die richtigen `docker create ...` Kommandos aus.

    Dadurch können die Container dann via shortcuts `easyepg.admin`, `easyepg.cron` und `easyepg.run` je nach Situation und Bedarf via `docker start ...` ohne weitere Parameter gestartet werden.

    Ganz dicker Dank geht an @BJ1 für die tatkräftige und unermüdliche Unterstützung beim Debugging!

  • Zwei Dinge hab ich noch im Kopf im Moment:

    1. Wenn es Bedarf gibt würde ich die Stunde, in der der Cronjob läuft noch über den init-Assistenten konfigurierbar machen wollen
    2. @BJ1 machte mich darauf aufmerksam, dass wir nun schon einmal den Fall hatten, dass jemand die epg.sh vom Host aus aufgerufen hat (was natürlich nicht geht). Evtl. wäre es besser hier ein nicht exponiertes docker volume zu verwenden und lediglich den xml-Ordner als volume reinzugeben

    Gibt es dazu Meinungen?

  • Libreelec auf einem Pi3

    [infobox]Preparing...
    Storage location [/storage/easyepg]:
    Use local xmltv.sock [y/N]:
    Timezone [Europe/Berlin]:
    CPU limit [4]:
    Version [latest]:
    Pulling container...
    latest: Pulling from qoopido/easyepg.minimal
    Digest: sha256:16679dc1b7bb16cbc26ecff3d3c9acb76949c4c57496be11228209b6fe8bf20e
    Status: Image is up to date for qoopido/easyepg.minimal:latest
    Creating container...
    > easyepg.admin
    > easyepg.run
    > easyepg.cron
    Finished!
    ----
    LibreELEC:~ # docker start easyepg.admin
    Error response from daemon: No such container: easyepg.admin
    Error: failed to start containers: easyepg.admin
    ----
    LibreELEC:~ # docker ps
    CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
    LibreELEC:~ #

    [/infobox]

    es wird zwar ausgegeben das die drei docker erstellt worden sind, unter docker ps sieht man keins..

    • Rechtschreibfehler sind nicht zufällig, richtig angeordnet ergeben sie eine Formel mit der man Milch zu Bier machen kann.

  • 1. Wenn es Bedarf gibt würde ich die Stunde, in der der Cronjob läuft noch über den init-Assistenten konfigurierbar machen wollen

    Kann man machen. Allerdings sollte man die 2-3 Zeilen zum Ändern auch auf der Shell (von mir aus auch mit Anleitung) hinkriegen. Ich würde die Default-Cronzeit allerdings gerne ein paar Minuten nach der vollen Stunde sehen (also z.B. 02:03 Uhr). Es gibt ein Addon (von mir ;) ), welches den Rechner (LibreElec z.B) für die EPG-Aktualisierung aus dem Deep-Standby holen kann, allerdings ist zur Zeitplanung nur jeweils die volle Sunde vorgesehen. Wenn als Wakeup im Addon z.B 02:00 Uhr eingestellt ist, hat der PC genug Zeit zum Booten, bevor dann z.B. um 02:03 Uhr Cron zuschlägt.

    Evtl. wäre es besser hier ein nicht exponiertes docker volume zu verwenden und lediglich den xml-Ordner als volume reinzugeben

    +1

    AZi (DEV): Nexus auf LibreElec | Asrock J4205 | 4 GB RAM | 128 GB Sandisk| Rii mini
    DEV: PC Ubuntu 20.04 | Matrix
    AZi: Tanix TX3 | Android/CoreElec Dualboot (EMMC), Nexus
    WoZi: Nexus auf LibreElec | Asrock J4205 | 4GB RAM | 128 GB Sandisk SSD | Atric IR | URC7960

    NAS: unRaid, 3x6TB, 2x12TB | TV-Server: Futro S550 mit Hauppauge QuadHD DVB-C
    PayPal: paypal.me/pvdbj1

  • @Kampfader: Bitte mal docker images und docker ps -a nachreichen.

    AZi (DEV): Nexus auf LibreElec | Asrock J4205 | 4 GB RAM | 128 GB Sandisk| Rii mini
    DEV: PC Ubuntu 20.04 | Matrix
    AZi: Tanix TX3 | Android/CoreElec Dualboot (EMMC), Nexus
    WoZi: Nexus auf LibreElec | Asrock J4205 | 4GB RAM | 128 GB Sandisk SSD | Atric IR | URC7960

    NAS: unRaid, 3x6TB, 2x12TB | TV-Server: Futro S550 mit Hauppauge QuadHD DVB-C
    PayPal: paypal.me/pvdbj1

  • @Kampfader

    Ruf mal bitte folgendes auf

    Code
    docker start easyepg.admin && docker logs -f easyepg.admin


    Und schau mal ob sich aus dem (hoffentlich vorhandenen) Output das Problem erklärt.

    Und ergänzend:

    Code
    docker ps

    Zeigt nur laufende Container, was da erzeugt wird sind aber container die nicht laufen, sondern nur als "created" markiert sind. Um die zu sehen brauchst Du

    Code
    docker ps -a
  • bitteschön

    [infobox]LibreELEC:~ # docker images
    REPOSITORY TAG IMAGE ID CREATED SIZE
    qoopido/easyepg.minimal latest a3b524c94188 21 hours ago 428MB
    [/infobox]

    [infobox]LibreELEC:~ # docker ps -a
    CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES[/infobox]

    [infobox]LibreELEC:~ # docker start easyepg.admin && docker logs -f easyepg.admin
    Error response from daemon: No such container: easyepg.admin
    Error: failed to start containers: easyepg.admin
    [/infobox]

    • Rechtschreibfehler sind nicht zufällig, richtig angeordnet ergeben sie eine Formel mit der man Milch zu Bier machen kann.

  • Kann man machen. Allerdings sollte man die 2-3 Zeilen zum Ändern auch auf der Shell (von mir aus auch mit Anleitung) hinkriegen. Ich würde die Default-Cronzeit allerdings gerne ein paar Minuten nach der vollen Stunde sehen (also z.B. 02:03 Uhr). Es gibt ein Addon (von mir ;) ), welches den Rechner (LibreElec z.B) für die EPG-Aktualisierung aus dem Deep-Standby holen kann, allerdings ist zur Zeitplanung nur jeweils die volle Sunde vorgesehen. Wenn als Wakeup im Addon z.B 02:00 Uhr eingestellt ist, hat der PC genug Zeit zum Booten, bevor dann z.B. um 02:03 Uhr Cron zuschlägt.

    OK, dann würde ich vorschlagen nicht die Stunde, sondern den kompletten Bereich für die Frequenz konfigurierbar zu machen, also `0 2 * * *` (und das dann halt als default) - dann kann da jeder exakt das veranstalten, was er möchte und/oder braucht.

  • @BJ1 wie wäre es mit einem kodi addon für libreelec als Konfigutationsoberfläche für den grabber?
    Sollte umsetzbar sein, allerdings müsste der docker dann wohl exponiert bleiben.

    +1

  • @Kampfader

    Probier mal bitte folgende init

    Code
    sh -c "$(curl -s https://gist.githubusercontent.com/dlueth/62a3d7133e96e23fc67285e251daf3fe/raw/2239ee3d213896a288221be6892602c557b726f0/init)"

    Ich vermute, dass da noch irgendetwas beim "create" fehlschlägt - ich hab da jetzt mal die möglichen Fehlermeldungen nicht unterdrückt, sollten also ergo jetzt für Dich sichtbar sein.

  • @BJ1 wie wäre es mit einem kodi addon für libreelec als Konfigutationsoberfläche für den grabber?
    Sollte umsetzbar sein, allerdings müsste der docker dann wohl exponiert bleiben.

    +1

    Was ich auch schon überlegt hatte war xml sowie die configs zu exponieren, aber dafür sind die leider zu verstreut - erschien mir nicht so wirklich sinnvoll. Geiler wäre halt eine zentrale Konfiguration in einer einzigen Datei ;)

  • @Kampfader

    Probier mal bitte folgende init

    Code
    sh -c "$(curl -s https://gist.githubusercontent.com/dlueth/62a3d7133e96e23fc67285e251daf3fe/raw/2239ee3d213896a288221be6892602c557b726f0/init)"


    Ich vermute, dass da noch irgendetwas beim "create" fehlschlägt - ich hab da jetzt mal die möglichen Fehlermeldungen nicht unterdrückt, sollten also ergo jetzt für Dich sichtbar sein.

    habe ich, hoffe du kannst damit was anfangen..


    • Rechtschreibfehler sind nicht zufällig, richtig angeordnet ergeben sie eine Formel mit der man Milch zu Bier machen kann.

    Einmal editiert, zuletzt von Kampfader (20. Juni 2019 um 10:48)

  • Ja, OK, danke - kann ich. Ich weiß aber gerade nicht ob ich das automatisch gelöst bekomme. Scheint nicht so wirklich gut "detectable" zu sein ob der Kernel cfs/cgroup support mitbringt

  • @Kampfader

    Probier mal bitte folgende Init

    Code
    sh -c "$(curl -s https://gist.githubusercontent.com/dlueth/62a3d7133e96e23fc67285e251daf3fe/raw/afec65033db84e16319b97c8268dae31fd8cc2b8/init)"

    `Limit CPU usage` bitte auf `n` lassen, dann sollte das auch bei Dir laufen - ich prüfe nochmal in Ruhe ob ich das irgendwie detected bekomme

    Ich habe vorher noch einen check integriert, ob `docker` installiert ist - hoffe es hängt jetzt nicht an der Stelle. Wenn doch, kurz bescheid geben bitte.

    GitHub Repo: Easyepg.minimal
    Docker Hub: Easyepg.minimal, Telerising.minimal
    Bierspende: PayPal.Me :thumbup:

    Geräte: AWOL Vision LTV-3000 Pro, ES Aeon Starbright CLR 90", Apple TV 4K (3. Generation), Cambridge Audio CXUHD
    Backend: PC Engines APU 2D4 (Docker: TVHeadend, Telerising, Easyepg, Deconz, OpenHAB)

    Einmal editiert, zuletzt von dlueth (19. Juni 2019 um 22:57)

  • jetzt läuft es durch..
    ich habe nichts verändert, nur weiter, weiter durchgeklickt..

    unter docker ps -a tauchen jetzt die drei container auf und lassen sich auch ausführen, ich teste die mal die tage durch
    ich habe jetzt noch den mod242 docker am rennen gehabt, nur zum testen ein paar Kanäle eingefügt und drei tage einfach so belassen, es wurde immer nachts eine frische .xml erstellt..

    Wie sieht es eigentlich auf dem Docker System mit dem Backup aus, wenn ich den ganzen Ordner der von dem Docker angelegt worden ist /storage/easyepg/ sichere und es wieder auf einem anderem System einfüge, natürlich nachdem ich den gleichen Docker schon installiert und Gestartet habe, werden dann alle meine Einstellungen auch übernommen.

    hier noch meine docker info

    Spoiler anzeigen


    [infobox]LibreELEC:~ # docker info
    Containers: 3
    Running: 0
    Paused: 0
    Stopped: 3
    Images: 1
    Server Version: 18.09.1
    Storage Driver: overlay2
    Backing Filesystem: extfs
    Supports d_type: true
    Native Overlay Diff: true
    [definition=12,8]Logging[/definition] Driver: journald
    Cgroup Driver: systemd
    Plugins:
    Volume: local
    Network: bridge host macvlan null overlay
    Log: awslogs fluentd gcplogs gelf journald json-file local logentries splunk syslog
    Swarm: inactive
    Runtimes: runc
    Default Runtime: runc
    Init Binary: docker-init
    containerd version: 1.2.2
    runc version: 96ec2177ae841256168fcf76954f7177af9446eb
    init version: fec3683b971d9c3ef73f284f176672c44b448662
    Kernel Version: 4.19.36
    Operating System: LibreELEC (official): 9.0.2
    OSType: linux
    Architecture: armv7l
    CPUs: 4
    Total Memory: 747.9MiB
    Name: LibreELEC
    ID: 5VJU:MHEA:BWZC:UHRW:CC7L:VIJS:CW2F:ZFRA:GI3E:OSCM:BOAT:QAQQ
    Docker Root Dir: /storage/.kodi/userdata/addon_data/service.system.docker/docker
    [definition=12,4][definition='1','3']Debug[/definition][/definition] Mode (client): false
    [definition=12,4][definition='1','3']Debug[/definition][/definition] Mode (server): false
    Registry: https://index.docker.io/v1/
    Labels:
    Experimental: false
    Insecure Registries:
    127.0.0.0/8
    Live Restore Enabled: false

    WARNING: No swap limit support
    WARNING: No cpu cfs quota support
    WARNING: No cpu cfs period support
    WARNING: No cpu shares support

    [/infobox]

    • Rechtschreibfehler sind nicht zufällig, richtig angeordnet ergeben sie eine Formel mit der man Milch zu Bier machen kann.

    Einmal editiert, zuletzt von Kampfader (19. Juni 2019 um 23:26)

  • Wie sieht es eigentlich auf dem Docker System mit dem Backup aus, wenn ich den ganzen Ordner der von dem Docker angelegt worden ist /storage/easyepg/ sichere und es wieder auf einem anderem System einfüge, natürlich nachdem ich den gleichen Docker schon installiert und Gestartet habe, werden dann alle meine Einstellungen auch übernommen.

    Ja, sollte kein Problem sein - zumindest in der jetzigen Konstellation nicht. Und: Du müsstest im Moment sogar auf Deinem System den gleichen easyepg-Ordner für meinen und mod24's container verwenden können.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!