[RELEASE] Takealug EPG Grabber

Roby

Irgendwie klappt bei mir nicht

root@ZBOX-ID91:~# apt install expat-devel
Paketlisten werden gelesen... Fertig
Abhängigkeitsbaum wird aufgebaut.
Statusinformationen werden eingelesen.... Fertig
E: Paket expat-devel kann nicht gefunden werden.
root@ZBOX-ID91:~# apt install libexpat1-dev
Paketlisten werden gelesen... Fertig
Abhängigkeitsbaum wird aufgebaut.
Statusinformationen werden eingelesen.... Fertig
libexpat1-dev ist schon die neueste Version (2.2.0-2+deb9u1).
0 aktualisiert, 0 neu installiert, 0 zu entfernen und 0 nicht aktualisiert.
root@ZBOX-ID91:~#

easy4me

Zitat von Roby

Welche logfile meinst du

Diese: /root/.cpanm/work/1559419700.14566/build.[definition='1','0']log[/definition]

Ist expat ohne "-devel" installiert? Ansonsten benötige ich die Log-Datei.

Roby

Hier

easy4me

Zitat von Roby

Hier

Welches Betriebssystem wird verwendet? Damit hängt es womöglich zusammen.

Roby

Debian

root@ZBOX-ID91:~# cat /etc/os-release
PRETTY_NAME="Debian GNU/Linux 9 (stretch)"
NAME="Debian GNU/Linux"
VERSION_ID="9"
VERSION="9 (stretch)"
ID=debian
HOME_URL="https://www.debian.org/"
SUPPORT_URL="https://www.debian.org/support"
BUG_REPORT_URL="https://bugs.debian.org/"
root@ZBOX-ID91:~#

felixNew

Ein "Debian Strech" dürfte unter dem OSMC auch stecken.

Aber das Log, geschweige den den Ordner gibt es bei mir nicht.

easy4me

Funktioniert diese Lösung?
sudo apt-get install libxml-parser-perl

utiltiy

Aber so:

Brainfuck

sudo apt-get install libxml-parser-perl

Bringt aber nichts, hab auch Debian, aber Testing und das ist Debian 10

easy4me

Code

fatal error: expat.h: Datei oder Verzeichnis nicht gefunden

expat.h wird nicht gefunden, die Datei ist Bestandteil von libexpat1-dev und sollte im Verzeichnis /usr/include auftauchen:
https://packages.debian.org/cgi-bin/search…sting&arch=i386

Taucht die Datei woanders auf? Ich habe nur Ubuntu zum Testen.

easy4me

Zitat von felixNew

Habe es eben mal mit einem Pi unter OSMC versucht, scheitert schon beim erstellen der Module.

Running make for M/MI/MIYAGAWA/App-cpanminus-1.7044.tar.gz
MIYAGAWA/App-cpanminus-1.7044.tar.gz
make -- NOT OK

Bitte testen: https://stackoverflow.com/questions/6792…on-make-problem

utiltiy

@DeBaschdi

Am Ende kommt das:

Brainfuck

skipped nomatch for Movie Top Wing
skipped nomatch for Movie Top Wing
skipped nomatch for Movie Paw Patrol
skipped nomatch for Movie Paw Patrol
IMDB Search in Pass 1 complete
Merging Splitted XML Files together
Deleting Workfiles
Map Ratings in Desctription
--2019-06-01 23:53:57--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/ratingmapper/ratingmapper.pl
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.0.133, 151.101.64.133, 151.101.128.133, ...
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.0.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 6006 (5,9K) [text/plain]
Saving to: ‘mapper/ratingmapper.pl’


mapper/ratingmapper.pl            100%[==========================================================>]   5,87K  --.-KB/s    in 0,001s  


2019-06-01 23:53:58 (7,58 MB/s) - ‘mapper/ratingmapper.pl’ saved [6006/6006]


Reading XML file
Killed


real    37m19,746s
user    12m26,567s
sys     17m18,081s

Alles anzeigen

~~aber kein EPG File~~

DeBaschdi

@utiltiy
Moin,
Es scheint als ob du zwischenzeitlich ctrl+c gedrückt hast ? (Mutterprozess tot)
Mein System hat Zuhause im ersten Durchlauf 91minuten incl. imdb Search für 220Channels ,/ 14Tage benötigt.
Da kommen mir deine 37min. Etwas komisch vor

Aber ist jetzt eh obsolet, ich glaube meine Arbeit war umsonst.
Ich wusste das @easy4me einen porno abgefahrenen geilen Grabber programmiert.
Das Ding ist 100mal schneller als WebGrab+.

Ich dachte allerdings, (so sagte er mir) er müsse sich jetzt erstmal um anderes kümmern.

Deshalb wollte ich zur Überbrückung euch eine wenigstens aufgepimpte wg+ Version zur Verfügung stellen.

Deshalb, vergesst meine Lösung, testet easys Grabber. Das ding ist außerirdisch.

Und aus unterschiedlichen Gründen welche ich nicht öffentlich breittreten mag, sehe ich die Zusammenarbeit mit ihm als beendet an.

Mal als Info;)

DeBaschdi

Falls jemand noch die aufgepimpe WG+ Version testen mag,

~~Magenta MTD 0.0.3 BETA mit den aktuellen Erkenntnissen als Bugfix Release.~~
- Entpacken
- Ins Verzeichniss
- chmod 0777 start.sh
- ./start.sh

Sollte es zu Fehlern kommen (Connection refused oder ähnliches) in allen 4 iniś 127.0.0.1 durch euere LAN-IP ersetzen. (In der server.sh das gleiche in Grün)

horschte

parallele entwicklung ist natürlich doof.....arbeit umsonst.
hab jetzt mal das teil von @easy4me getestet und bin echt beeindruckt.
momentan ist dann wohl die ideale vorgehensweise den grabber von @easy4me + rating mapper + imdb mapper von @DeBaschdi um beste ergebnisse zu erzielen.

antaril

läuft bei mir leider auch nicht. Ubuntu 16

Code

Magenta MTD XMLTV GRABBER                   
 Release v0.0.2 BETA - 2019/06/01            
 --------------------------------------------


Initializing script environment...
Starting PHP Proxyserver for MagentaTV
PHP 7.0.33-0ubuntu0.16.04.4 Development Server started at Sun Jun  2 03:01:26 2019
Listening on http://192.168.1.204:8000
Document root is /home/osboxes/.local/share/Trash/files/tkm.2/server
Press Ctrl-C to quit.
Starting 4 WG+ Threads for faster Download
Get ready to RUMBLE!!!
Mono required, but it's not installed.
Mono required, but it's not installed.
Mono required, but it's not installed.
Mono required, but it's not installed.
Webgrab is finish
Stopping PHP Proxyserver for MagentaTV
Start merging XMLś
Copy generated XMLś in Workfolder
cp: cannot stat 'w1/guide.xml': No such file or directory
cp: cannot stat 'w2/guide.xml': No such file or directory
cp: cannot stat 'w3/guide.xml': No such file or directory
cp: cannot stat 'w4/guide.xml': No such file or directory
Modyfy XMLś and Creating Index for Splitted Files
sed: can't read xml/part-01.xml: No such file or directory
sed: can't read xml/part-02.xml: No such file or directory
sed: can't read xml/part-03.xml: No such file or directory
sed: can't read xml/part-04.xml: No such file or directory
sed: can't read xml/part-01.xml: No such file or directory
sed: can't read xml/part-02.xml: No such file or directory
sed: can't read xml/part-03.xml: No such file or directory
sed: can't read xml/part-04.xml: No such file or directory
Merging Guide Together
cannot open sub document 'xml/part-01.xml': No such file or directory at /usr/bin/xml_merge line 71.
 at /usr/bin/xml_merge line 65.
 at /usr/bin/xml_merge line 65.
Replace Channel IDś into Rytec ones
--2019-06-02 03:01:34--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/channelmapper/channelmapper_rytec.pl
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 14480 (14K) [text/plain]
Saving to: ‘mapper/channelmapper_rytec.pl’


mapper/channelmapper_rytec 100%[======================================>]  14.14K  --.-KB/s    in 0.05s   


2019-06-02 03:01:35 (286 KB/s) - ‘mapper/channelmapper_rytec.pl’ saved [14480/14480]


Map Genre into EIT
--2019-06-02 03:01:35--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/genremapper/genremapper.pl
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 19925 (19K) [text/plain]
Saving to: ‘mapper/genremapper.pl’


mapper/genremapper.pl      100%[======================================>]  19.46K  --.-KB/s    in 0.06s   


2019-06-02 03:01:35 (348 KB/s) - ‘mapper/genremapper.pl’ saved [19925/19925]


Start IMDB-Mapper
--2019-06-02 03:01:35--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/new_imdbmapper/age.php
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1018 [text/plain]
Saving to: ‘imdb/age.php’


imdb/age.php               100%[======================================>]    1018  --.-KB/s    in 0s      


2019-06-02 03:01:35 (393 MB/s) - ‘imdb/age.php’ saved [1018/1018]


--2019-06-02 03:01:35--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/new_imdbmapper/country.php
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 3223 (3.1K) [text/plain]
Saving to: ‘imdb/country.php’


imdb/country.php           100%[======================================>]   3.15K  --.-KB/s    in 0s      


2019-06-02 03:01:35 (89.0 MB/s) - ‘imdb/country.php’ saved [3223/3223]


--2019-06-02 03:01:35--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/new_imdbmapper/imdb.class.php
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 61681 (60K) [text/plain]
Saving to: ‘imdb/imdb.class.php’


imdb/imdb.class.php        100%[======================================>]  60.24K  --.-KB/s    in 0.1s    


2019-06-02 03:01:36 (585 KB/s) - ‘imdb/imdb.class.php’ saved [61681/61681]


--2019-06-02 03:01:36--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/new_imdbmapper/run.pl
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 35150 (34K) [text/plain]
Saving to: ‘imdb/run.pl’


imdb/run.pl                100%[======================================>]  34.33K  --.-KB/s    in 0.06s   


2019-06-02 03:01:36 (532 KB/s) - ‘imdb/run.pl’ saved [35150/35150]


--2019-06-02 03:01:36--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/new_imdbmapper/poster.php
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 211 [text/plain]
Saving to: ‘imdb/poster.php’


imdb/poster.php            100%[======================================>]     211  --.-KB/s    in 0s      


2019-06-02 03:01:36 (68.4 MB/s) - ‘imdb/poster.php’ saved [211/211]


--2019-06-02 03:01:36--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/new_imdbmapper/rating.php
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 193 [text/plain]
Saving to: ‘imdb/rating.php’


imdb/rating.php            100%[======================================>]     193  --.-KB/s    in 0s      


2019-06-02 03:01:36 (81.8 MB/s) - ‘imdb/rating.php’ saved [193/193]


--2019-06-02 03:01:36--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/new_imdbmapper/url.php
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 174 [text/plain]
Saving to: ‘imdb/url.php’


imdb/url.php               100%[======================================>]     174  --.-KB/s    in 0s      


2019-06-02 03:01:37 (63.8 MB/s) - ‘imdb/url.php’ saved [174/174]


--2019-06-02 03:01:37--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/new_imdbmapper/year.php
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 175 [text/plain]
Saving to: ‘imdb/year.php’


imdb/year.php              100%[======================================>]     175  --.-KB/s    in 0s      


2019-06-02 03:01:37 (80.6 MB/s) - ‘imdb/year.php’ saved [175/175]


--2019-06-02 03:01:37--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/new_imdbmapper/imdbtask_1.pl
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 25095 (25K) [text/plain]
Saving to: ‘imdb/imdbtask_1.pl’


imdb/imdbtask_1.pl         100%[======================================>]  24.51K  --.-KB/s    in 0.06s   


2019-06-02 03:01:37 (424 KB/s) - ‘imdb/imdbtask_1.pl’ saved [25095/25095]


--2019-06-02 03:01:37--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/new_imdbmapper/imdbtask_2.pl
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 25095 (25K) [text/plain]
Saving to: ‘imdb/imdbtask_2.pl’


imdb/imdbtask_2.pl         100%[======================================>]  24.51K  --.-KB/s    in 0.06s   


2019-06-02 03:01:37 (442 KB/s) - ‘imdb/imdbtask_2.pl’ saved [25095/25095]


--2019-06-02 03:01:37--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/new_imdbmapper/imdbtask_3.pl
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 25095 (25K) [text/plain]
Saving to: ‘imdb/imdbtask_3.pl’


imdb/imdbtask_3.pl         100%[======================================>]  24.51K  --.-KB/s    in 0.06s   


2019-06-02 03:01:38 (439 KB/s) - ‘imdb/imdbtask_3.pl’ saved [25095/25095]


--2019-06-02 03:01:38--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/new_imdbmapper/imdbtask_4.pl
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 25093 (25K) [text/plain]
Saving to: ‘imdb/imdbtask_4.pl’


imdb/imdbtask_4.pl         100%[======================================>]  24.50K  --.-KB/s    in 0.05s   


2019-06-02 03:01:38 (447 KB/s) - ‘imdb/imdbtask_4.pl’ saved [25093/25093]


Helperscripts Found OK
Deleting all Cached Files older then 5 Days
Splitting XML in 11MB Files


no element found at line 7, column 0, byte 215 at /usr/lib/x86_64-linux-gnu/perl5/5.22/XML/Parser.pm line 187.
Creating Index for Splitted Files
Merging Splitted XML Files together


no element found at line 7, column 0, byte 215 at /usr/lib/x86_64-linux-gnu/perl5/5.22/XML/Parser.pm line 187.
 at /usr/bin/xml_merge line 65.
 at /usr/bin/xml_merge line 65.
Deleting Workfiles
Map Ratings in Desctription
--2019-06-02 03:01:39--  https://raw.githubusercontent.com/DeBaschdi/EPGScripts/master/ratingmapper/ratingmapper.pl
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 151.101.112.133
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|151.101.112.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 6006 (5.9K) [text/plain]
Saving to: ‘mapper/ratingmapper.pl’


mapper/ratingmapper.pl     100%[======================================>]   5.87K  --.-KB/s    in 0s      


2019-06-02 03:01:39 (116 MB/s) - ‘mapper/ratingmapper.pl’ saved [6006/6006]


Reading XML file


no element found at line 7, column 0, byte 215 at /usr/lib/x86_64-linux-gnu/perl5/5.22/XML/Parser.pm line 187.


real	0m13.538s
user	0m0.956s
sys	0m1.019s

Alles anzeigen

DeBaschdi

@antaril bitte mal version 0.0.3 testen
Vorher mal bitte apt install mono-complete.

@horschte
In easys skript kannst du im modify xml files Menü (erst verfügbar wenn eine/mehrere Grabberinstanzen aktiviert + durchgelaufen) den imdb + rating als addon dazuklicken.

horschte

Zitat von DeBaschdi

In easys skript kannst du im modify xml files Menü (erst verfügbar wenn eine/mehrere Grabberinstanzen aktiviert + durchgelaufen) den imdb + rating als addon dazuklicken.

jup, hab ich später gesehen...die menüführung ist noch ein wenig zu verschachtelt

lutzlustig

Zitat von DeBaschdi

Falls jemand noch die aufgepimpe WG+ Version testen mag,

Scheint zu funktionieren, ist aber noch nicht fertig mit grabben.

105min später - alles fehlerfrei durch gelaufen!

DeBaschdi

Zitat von lutzlustig

Scheint zu funktionieren, ist aber noch nicht fertig mit grabben.

War übrigens deine Idee (mehrere wg instanzen gleichzeitig)

utiltiy

Zitat von DeBaschdi

Es scheint als ob du zwischenzeitlich ctrl+c gedrückt hast ? (Mutterprozess tot)

Eben nicht! Er werkelt und dann kommt das raus. Er läuft kürzer, stimmt, da ich etliche Kanäle raus hab wo ich nicht brauche

Zum Test hab ich extra das Grabben raus, die .xml sind ja da in w1-w4 und nur den Rest vom Skript worker.pl. Hab das dreimal probiert und immer das selbe zum Schluss. In xml sind die ganzen Dateien da, hab mir da sogar mal die beiden EPG Dateien rasukopiert, zur Beweissicherung

[RELEASE] Takealug EPG Grabber

Jetzt mitmachen!

Tags

Benutzer online in diesem Thema