[DISCONTINUED] easyEPG Grabber // WebGrab++ Alternative [v0.4.3 | 2020/01/11]

hi2hello

Mal so ganz nebenbei:
Herzlichen Dank an die Ersteller (der Skripte, des Dockers etc.) und an die Supporter !!!
Ist ja wirklich Pfeilschnell im Vergleich zu WebGrab.
Toll!

dlueth

Ich teste momentan gerade eine kleine Erweiterung meines Containers der den dann auch unter den hier verwendeten NAS-Systemen lauffähig machen sollte. Sprich: der Cronjob läuft innerhalb des Containers und der Container beendet sich nicht nach einem Durchlauf.

Dazu hab ich im Moment einen Branch im Git (https://github.com/dlueth/easyepg…ure/nas-support) und der Container müsse für den Moment auf dem betreffenden System von Hand gebaut werden (z.B. via eemd build). Das README bei GitHub für diesen Branch ist schon entsprechend angepasst...

... könnte das vielleicht nochmal jemand gegentesten? Im Moment sieht es für mich so aus als würde das so weit laufen...

Nachtrag: Ich baue den Container gerade im docker hub als 1.0.6-rc.1 - dann müsste aber gedanklich das `eemd` shell script dahingehend angepasst werden und das manuelle Bauen könnte entfallen

Nachtrag 2: Ich hab den Feature-Branch gerade nochmal neu gepushed, so das er die Version automatisch verwendet für alle die testen wollen - ein bauen des Containers von Hand entfällt damit und es gilt das im Repo hinterlegte README.

dlueth

Hm, irgendwie will jetzt wieder das imdb-mapping nicht mehr (im RC meines Containers zumindest, heute Nacht ging's aber noch). Er läuft zwar durch, erstellt aber das file nicht. Jemand ne Idee dazu?

Hier der letzte Output:

Code

--------------------------------------------
 CREATING CUSTOMIZED XMLTV FILES             
 --------------------------------------------


Creating XML file: modified.xml ...


 --------------------------------------


Running addon: IMDB MAPPER for modified.xml ...


Helperscripts Found OK
Deleting all Cached Files older then 5 Days
Create Status Bar
Splitting XML in 49 Files


Creating Index for Splitted Files

Alles anzeigen

Nach `Creating Index for Splitted Files` ist dann Feierabend, ohne irgend eine Meldung und die modified.xml wird auch nicht erstellt.

DeBaschdi

ich Stell am Wochende mal mehrere Branges für den new_imdbmapper bereit, 1c 2c 4c und der aktuelle 8c.
Scheinbar gibt es wohl doch Probleme bei dem ein oder anderen System.

@dlueth ist es möglich das er trotzdem arbeitet?

kannst du das checken ?
ps ax |grep worker
ps ax |grep imdbtask

Im script steht vor den workern "time" ist das bei deinem minimalistischem docker integriert?
Ansonsten vllt testweise die run.pl editieren und bei zeile 123 das wort time durch perl ersetzen.

dlueth

@DeBaschdi Ich ziehe easyepg eigentlich bei jedem Durchlauf aktuell aus dem git - aber ja, ich hatte einmal ne Meldung auf dem Schirm wo irgendetwas mit "time not found" stand, war aber nicht reproduzierbar.

Evtl. Verschluckt das Deine progress-bar?

Zitat von Debaschdi

Im script steht vor den workern "time" ist das bei deinem minimalistischem docker integriert?

Was genau meinst du damit? Also das entsprechende Debian/Ubuntu package ist da, falls Du das meintest

DeBaschdi

Zitat von dlueth

Ich ziehe easyepg eigentlich bei jedem Durchlauf aktuell aus dem git

Du meinst bei jedem "startvorgang" ?
Damit updatest du aber nicht bereits konfigurierte Instanzen. (zufinden in den jeweiligen länder unterverzeichnissen)

@dlueth ist es denn auch verfügbar, also der befehl "time" ?
command -v time

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Ich war derweil mal fleißig und hab Easys Skript umgebaut

@karower ich hab hier im Anhang die modifizierte Version.
Teste die mal bitte
Magenta wird jetzt über einen eigenen Proxyserver angesteuert, der Proxy kümmert sich selbst um die Cookies...
Ich bin mal gespannt

Der Proxyserver wird auf 127.0.0.1 gestartet, bei der Webgrab Variante kam es bei z.b @utiltiy zu Problemen. ggf ist hier eine Anpassung auf deine Lan-IP notwendig.

++edit

Ich hab das mal ins Git unter einer testing brange,
Hier siehst du welche dateien ich geändert habe : https://github.com/DeBaschdi/easy…71a9663dfd8fc7b

GGF müsstest du die 127.0.0.1:8000 durch deine lan IP:8000 in allen Dateien ersetzen.

antaril

wie wäre es denn, wenn ihr eine automatische ftp upload funktion einbaut? Ich weiß, das geht mit curl ganz gut, aber wenn man das einstellen könnte und das dann automatisch durchläuft wäre das schon cool

dlueth

Zitat von DeBaschdi

Du meinst bei jedem "startvorgang" ?Damit updatest du aber nicht bereits konfigurierte Instanzen. (zufinden in den jeweiligen länder unterverzeichnissen)
@dlueth ist es denn auch verfügbar, also der befehl "time" ?
command -v time

reicht für das update konfigurierter instanzen ein aufruf von `update.sh` oder kann man das einzeln machen?

in Bezug auf `time`: checke ich heute abend - hab gerade keinen Zugriff aus dem Büro...

DeBaschdi

Zitat von dlueth

reicht für das update konfigurierter instanzen ein aufruf von `update.sh` oder kann man das einzeln machen?

Ich glaube nicht, sogenau hab ich mir die Updatefunktion nicht angeschaut, da müsste @easy4me etwas dazu sagen.

dlueth

Zitat von DeBaschdi

Ich glaube nicht, sogenau hab ich mir die Updatefunktion nicht angeschaut, da müsste @easy4me etwas dazu sagen.

Das wäre ja ganz cool für die leute die das im docker laufen lassen und das nicht unbedingt immer manuell machen wollen

DeBaschdi

Zitat von dlueth

Das wäre ja ganz cool für die leute die das im docker laufen lassen und das nicht unbedingt immer manuell machen wollen

so wie ich das sehe,
reicht es die update.sh aus dem git clone auszuführen (nicht die bereits vorhandene update.sh)

Code

then
		clear
		
		rm -rf easyepg 2> /dev/null
		git clone https://github.com/sunsettrack4/easyepg
		
		if [ -e easyepg/update.sh ]
		then
			bash easyepg/update.sh
			rm -rf easyepg 2> /dev/null
			read -n 1 -s -r -p "Press any key to continue..."
			bash epg.sh
			exit 0
		else
			rm -rf easyepg 2> /dev/null
			printf "\r[ ERROR ]  Missing script: update.sh\n"
			read -n 1 -s -r -p "Press any key to continue..."
			echo "M" > /tmp/value
		fi

Alles anzeigen

karower

Zitat von DeBaschdi

@karower ich hab hier im Anhang die modifizierte Version.
Teste die mal bitte
Magenta wird jetzt über einen eigenen Proxyserver angesteuert, der Proxy kümmert sich selbst um die Cookies...
Ich bin mal gespannt

Ich habe das mit der Version von ca. 8.30 Uhr getestet. Es ist alles wunderbar durchgelaufen, auch mehrfach. Zum Testen habe ich das Docker von mod24 genutzt.
Eine Anpassung der IP-Adresse war nicht notwendig.
Vielen Dank.

Wegen der 'time missing' Geschichte: Die kurze Fehlermeldung habe ich im mod24-Docker auch. Allerdings wurde scheinbar trotzdem alles ohne Probleme erstellt.

dlueth

Ja, OK - gerade nochmal in das update.sh reingeschaut - das arbeitet etwas anders als ich das in meinem Container beim update tue. Es cloned das repo jedes mal neu (und das auch nicht im update.sh sondern in dem Schnipsel den Du oben gepostet hast - das war mir durchgerutscht) und kopiert dann Dinge rüber. Ich benutze bei mir direkt das bereits geclonte Verzeichnis und verwerfe Änderungen an Dateien die unter git-Kontrolle sind mit:

Bash

git checkout -- .
git pull

Da bleiben dann auch alle Einstellungen etc. erhalten, weil die eben nicht unter git-Kontrolle sind. Mal schauen, was ich da draus mache

Siutsch

Zitat von dlueth

Das wäre ja ganz cool für die leute die das im docker laufen lassen und das nicht unbedingt immer manuell machen wollen

Zum Updaten der Docker Images nutze ich Watchtower, das klappt bisher sehr gut, hatte auch schon mal mit dem Image von @mod24 geklappt.
(Darüber gibt's dann ne Mail).

Oder meint Ihr das Update der Scripte innerhalb der Anwendung (über den extra Menüpunkt)?

Auch läuft das Image bisher und macht auch das tägliche Update der XML Datei.

Ich hab das andere Docker Image von @dlueth deshalb auch noch nicht probiert, da bisher alles soweit funktioniert.

DeBaschdi

Freut mich das es klappt, ist allerdings noch *dirty* (der proxy-webserver wird nicht immer korrekt beendet).

Zitat von karower

Wegen der 'time missing' Geschichte: Die kurze Fehlermeldung habe ich im mod24-Docker auch. Allerdings wurde scheinbar trotzdem alles ohne Probleme erstellt.

Und der Mapp vorgang geht ? (vllt verschluckt das tatsächlich die progressbar)
ansonsten, in der run.pl das wort "time" in "perl" ändern
Zeile 123
system "time $path/prozes.pl & perl $path/worker1.pl & perl $path/worker2.pl"; änder in :
system "perl $path/prozes.pl & perl $path/worker1.pl & perl $path/worker2.pl";#

@dlueth Sonst startet tatsächlich die prozes (statusbar) nicht.

PS : @karower bei einem Update sind die änderungen wieder futsch (sollte ja aber klar sein)

dlueth

Zitat von DeBaschdi

@dlueth ist es denn auch verfügbar, also der befehl "time" ?
command -v time

output davon ist:

Code

time

Sieht also eigentlich gut aus

DeBaschdi

Zitat von dlueth
output davon ist:
Code
time
Sieht also eigentlich gut aus

Ja, sieht gut aus,

klappt z.b auch time ping -c4 google.de ?

Code

bastian@heimserver:~$ time ping -c4 google.de
PING google.de (172.217.23.131) 56(84) bytes of data.
64 bytes from fra16s18-in-f3.1e100.net (172.217.23.131): icmp_seq=1 ttl=56 time=                                                                                        12.7 ms
64 bytes from fra16s18-in-f3.1e100.net (172.217.23.131): icmp_seq=2 ttl=56 time=                                                                                        12.4 ms
64 bytes from fra16s18-in-f3.1e100.net (172.217.23.131): icmp_seq=3 ttl=56 time=                                                                                        12.5 ms
64 bytes from fra16s18-in-f3.1e100.net (172.217.23.131): icmp_seq=4 ttl=56 time=                                                                                        12.5 ms


--- google.de ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3003ms
rtt min/avg/max/mdev = 12.468/12.610/12.799/0.119 ms


real    0m3,041s
user    0m0,004s
sys     0m0,000s

Alles anzeigen

dlueth

Zitat von DeBaschdi

klappt z.b auch time ping -c4 google.de ?

Jupp, klappt:

Code

time ping -c4 google.de
PING google.de (172.217.19.67): 56 data bytes
64 bytes from 172.217.19.67: icmp_seq=0 ttl=37 time=19.370 ms
64 bytes from 172.217.19.67: icmp_seq=1 ttl=37 time=12.487 ms
64 bytes from 172.217.19.67: icmp_seq=2 ttl=37 time=17.657 ms
64 bytes from 172.217.19.67: icmp_seq=3 ttl=37 time=38.541 ms

karower

Zitat von DeBaschdi

Und der Mapp vorgang geht ? (vllt verschluckt das tatsächlich die progressbar)
ansonsten, in der run.pl das wort "time" in "perl" ändern
Zeile 123
system "time $path/prozes.pl & perl $path/worker1.pl & perl $path/worker2.pl"; änder in :
system "perl $path/prozes.pl & perl $path/worker1.pl & perl $path/worker2.pl";#

Augenscheinlich hat trotzdem alles geklappt. In Kodi sieht auch alles gut aus.
Nach der Änderung von 'time' zu 'perl' wurde zum ersten mal die Statusbar korrekt angezeigt.

Zitat von DeBaschdi

PS : @karower bei einem Update sind die änderungen wieder futsch (sollte ja aber klar sein)

Ja, ist klar. Weil der Docker die Dateien bei einem Neustart updated, habe ich provisorisch die update.sh umbenannt.

DeBaschdi

Zitat von karower

Nach der Änderung von 'time' zu 'perl' wurde zum ersten mal die Statusbar korrekt angezeigt.

Prima, ich hab das jetzt Global im git geändert, (scheiss aufs time benchmarking)

[DISCONTINUED] easyEPG Grabber // WebGrab++ Alternative [v0.4.3 | 2020/01/11]

Jetzt mitmachen!

Tags

Benutzer online in diesem Thema