[RELEASE] Takealug EPG Grabber

DeBaschdi

Hallo Zusammen
Nicht wundern, ich hab meinen EPG Thread umbenannt.

Ab sofort steht im Kodinerds Repository ein Kodi Service-Addon zu Verfügung mit dem es möglich ist von verschiedenen Providern ein EPG im XMLTV Format (guide.xml) zu erstellen.

Features :

High Speed Download + XML Creation (Multithreading Support currently for Linux Only)
Channel Selector
Enable / Disable EIT Genre Format
Enable / Disable Rytec Channel Format
Episodeformat onscreen / xmltv_ns
Adjustable days for EPG Grabbing
Build in Cron Feature, up to 3x Daily
Adjustable save location for the EPG, also over the network
Write Guide directly in Tvheandend's xmltv.sock (only works if tvheadend is running on the same machine as kodi)
Addon Feature
- Rating Mapper

Provider List :

Magenta TV (DE)
TV Spielfilm (DE)
Swisscom (CH)
Horizon (DE,AT,CH,NL,PL,IE,GB,SK,CZ,HU,RO)
Zattoo (DE,CH,1und1TV,Quickline Mobil-TV,M-net TVplus,WALY.TV,Meine Welt unterwegs,BBV TV,VTX TV,myVision mobile TV,Glattvision+,SAK TV,Net TV,EWE TV App,Quantum TV,Salt TV,SWB TV App,eir TV)

Ihr Wollt mehr Provider ? Stimmt hier ab :Umfrage

Kurzanleitung :

Windows Only : Windows Defender Echtzeitscan Ausnahme hinzufügen für *.xml, *.json *.txt
Kodi --> Einstellungen(Experten Ansicht) ---> Medien ---> Allgemein " Löschen und umbenennen von Dateien erlauben"
Addon installieren.
Speicherpfad für die guide.xml auswählen
Provider Aktivieren.
Kanäle auswählen.
Epg einmal manuell grabben (Schaun ob alles klappt)
Automatisches grabben Aktivieren.

Ps,
Es lassen sich selbstverständlich die Kanäle der einzelnen Provider mischen, am Ende kommt immer alles in eine guide.xml.

Das Addon kann auch auf einem, oder mehreren Clients installiert werden und Kopiert die guide.xml automatisch per smb zu einem tv-server, oder speichert sie für lokale Anbindung ab.
Ist der Client während der eingestellten Wunsch grab-zeit aus, holt das Addon diesen grab Vorgang beim nächsten Boot nach.

Der Grabvorgang dauert idr nicht länger als 1 bis 2 Minuten. Wer unter Windows mit dem Windowsdefender Probleme hat (lange Grab Dauer) bekommt hier ein Lösungsvorschlag:
[RELEASE] Takealug EPG Grabber

Die Konfigurationsdateien von @easy4me (easyepg) https://github.com/sunsettrack4/config_files sind zu dem Addon kompatibel.
Das Bedeutet, dass neue Mappingvariablen (EIT Genre + Rytec Chid´s) als Pullrequest dort hin gesendet werden können.
Das kommt automatisch auch easyepg zugute (natürlich dem Addon auch)

Have Fun.

Anleitung um die guide.xml direkt in das Tvheadend xmltv.sock zu schreiben:
(only works if tvheadend is running on the same machine as kodi)

Tvheadend WEB UI --> Konfiguration -->Kanal/EPG ---> EPG Grabber Module
- In der Linken Spalte External:XMLTV auswählen und einen Haken bei enabled setzen
- Habt ihr den Punkt "Scrape credits and extra information:" , auch hier einen Haken setzen.(tvh>=4.3)
- Den Pfad bei Path "merken", brauchen wir später.
- Speichern!
Tvheanden neu starten.
Kodi ---> Einstellungen --->Addons ---> Optionen (Sidemenü)---> Nach aktuallisierungen suchen
Kodi ---> Einstellungen --->Medien ---Allgemein ----> Versteckte Ordner und Dateien Anzeigen aktivieren
Takealug EPG-Grabber 0.1.6--> Global Settings -->Enable local TVH xmltv.sock
- Aktivieren
- Unten drunter den "gemerkte xmltv.sock auswählen"
Takealug EPG-Grabber 0.1.6--> Misc Settings --> Run Grabber Manual (im Anschluss sollte das Socked gefüllt werden)
Tvheadend Webui ---> Konfiguration ---> Kanal EPG --> EPG Grabber Kanäle
- In der Spalte Modul XMLTV sollten nun alle EPG Daten auftauchen. (freuen)
Tvheadend Webui ---> Konfiguration ---> Kanal EPG ---> Kanäle
- In der Spalte "EPG Quelle" nun für jeden deiner Kanäle das passende EPG auswählen
- Speichern!
Takealug EPG-Grabber 0.1.6--> Misc Settings --> Write EPG in xmltv.sock
- Durchführen
EPG sollte ab jetzt in Tvheadend vorhanden sein (freuen)
Ab jetzt funktioniert alles automatisch, nach jedem Grabvorgang wird das .sock file gefüllt und das tvheadend EPG wird "sofort" aktuallisiert, ohne weiteres zutun.

**edit
Kodinerds Addon Repo :
https://repo.kodinerds.net/

Diskussionen zum neuen Thema ab hier :
[RELEASE] Takealug EPG Grabber

DeBaschdi

fehler im script behoben ++

DeBaschdi

sehr komisch, kannst du mal den kompletten output posten wenn du das script startest ?

**edit
hab das script bei mir nochmal getestet, funktioniert...
wie gesagt zeig mir mal dein output

sollte so ausschaun :

HTML

root@bastian-nb:~/test# ./epglaoder.sh 
<!DOCTYPE html>
        <!--[if IE 8]>
                <html xmlns="http://www.w3.org/1999/xhtml" class="ie8" lang="de-DE">
        <![endif]-->
        <!--[if !(IE 8) ]><!-->
                <html xmlns="http://www.w3.org/1999/xhtml" lang="de-DE">
        <!--<![endif]-->
        <head>
        <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
        <title>Anmelden &lsaquo; Take a look at — WordPress</title>
        <link rel='dns-prefetch' href='//s.w.org' />
<link rel='stylesheet' id='dashicons-css'  href='https://takealug.de/wordpress/wp-includes/css/dashicons.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='buttons-css'  href='https://takealug.de/wordpress/wp-includes/css/buttons.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='forms-css'  href='https://takealug.de/wordpress/wp-admin/css/forms.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='l10n-css'  href='https://takealug.de/wordpress/wp-admin/css/l10n.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='login-css'  href='https://takealug.de/wordpress/wp-admin/css/login.min.css?ver=5.0.3' type='text/css' media='all' />
        <meta name='robots' content='noindex,noarchive' />
        <meta name='referrer' content='strict-origin-when-cross-origin' />
                <meta name="viewport" content="width=device-width" />
                </head>
        <body class="login login-action-login wp-core-ui  locale-de-de">
                <div id="login">
                <h1><a href="https://de.wordpress.org/" title="Powered by WordPress" tabindex="-1">Powered by WordPress</a></h1>


<form name="loginform" id="loginform" action="https://takealug.de/wordpress/wp-login.php" method="post">
        <p>
                <label for="user_login">Benutzername oder E-Mail-Adresse<br />
                <input type="text" name="[definition='1','0']log[/definition]" id="user_login" class="input" value="" size="20" /></label>
        </p>
        <p>
                <label for="user_pass">Passwort<br />
                <input type="password" name="pwd" id="user_pass" class="input" value="" size="20" /></label>
        </p>
                <p class="forgetmenot"><label for="rememberme"><input name="rememberme" type="checkbox" id="rememberme" value="forever"  /> Angemeldet bleiben</label></p>
        <p class="submit">
                <input type="submit" name="wp-submit" id="wp-submit" class="button button-primary button-large" value="Anmelden" />
                <input type="hidden" name="redirect_to" value="https://takealug.de/wordpress/wp-admin/" />
                <input type="hidden" name="testcookie" value="1" />
        </p>
</form>


<p id="nav">
<a rel="nofollow" href="https://takealug.de/wordpress/wp-login.php?action=register">Registrieren</a> |  <a href="https://takealug.de/wordpress/wp-login.php?action=lostpassword">Passwort vergessen?</a>
</p>


<script type="text/javascript">
function wp_attempt_focus(){
setTimeout( function(){ try{
d = document.getElementById('user_login');
d.focus();
d.select();
} catch(e){}
}, 200);
}


wp_attempt_focus();
if(typeof wpOnload=='function')wpOnload();
</script>


        <p id="backtoblog"><a href="https://takealug.de/wordpress/">&larr; Zurück zu Take a look at</a></p>
        <div class="privacy-policy-page-link"><a class="privacy-policy-link" href="https://takealug.de/wordpress/datenschutzerklaerung/">Datenschutzerklärung</a></div>
        </div>




                <div class="clear"></div>
        </body>
        </html>
          % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100   990    0   990    0     0    656      0 --:--:--  0:00:01 --:--:--  2506
100 2349k  100 2349k    0     0   994k      0  0:00:02  0:00:02 --:--:-- 9998k
guide-mapped.xml

Alles anzeigen

DeBaschdi

du hast bestimmt in path einen / zuviel

du hast bestimmt
path=/home/bla/blub/
stimmts ?

muss aber so ausschaun :
path=/home/bla/blub

DeBaschdi

poste mal dein script ohne passwort
das ./ in path muss weg

und direkt in / kannst du nicht speichern

mach /home/blub/epg (vorher erstellen)

DeBaschdi

path=/home/XXX/tmp/

ist falsch

mach

path=/home/XXX/tmp

draus

DeBaschdi

hast du dein path angepasst, und existiert der pfad auch ?

DeBaschdi

vllt sind deine zeilenumbrüche durch das copy+paste durcheinander geraten...

DeBaschdi

aaaah super

DeBaschdi

besteht bedarf für windows user?
dann schreibe ich noch ein batch script (.bat)

Roby

gzip: stdin: not in gzip format
/bin/tar: Child returned status 1
/bin/tar: Error is not recoverable: exiting now
root@zbox-id91:/home/roby#

DeBaschdi

Zitat von Roby

gzip: stdin: not in gzip format
/bin/tar: Child returned status 1
/bin/tar: Error is not recoverable: exiting now
root@zbox-id91:/home/roby#

Per PN geklärt.

Trotzdem mal als Fehlerursache kurze Stellungsnahme :
Wer nach Registrierung bei der Passwort Auswahl ein $ einbaut, wird Probleme bekommen, denn ein $ im Passwort bringt mein Script durcheinander.
Also : Passwort bitte ohne $ (){] ect

easy4me

Wird die EPG-Datei via WebGrab++ erstellt, oder nutzt du dafür ein eigenes Skript?

DeBaschdi

ja, webgrab++ erstellt die datei, anschließend wird sie von meinem genremapper noch aufbereitet
Das fertige produkt wird 2x am tag aktuallisiert, und vollautomatisch für euch zur Verfügung gestellt.

easy4me

Ist Horizon als Quelle "stabil" genug, sodass man für mehrere Monate keine Updates beim Skript benötigt? Damit man sich möglichst wenig mit Ausfällen wegen irgendwelcher API-Updates herumschlagen muss

DeBaschdi

ich kümmere mich um meine horizon.ini selbst

https://github.com/DeBaschdi/webgrabplus-siteinipack

(Die arbeit liegt also bei mir, an dem script ändert sich nichts und der user bekommt nichts davon mit)
Deshalb sind Bierspenden gerne gesehen...
Leider hat es gestern abend bisher noch nicht für eines gereicht

Übrigens ist horizon nicht meine einzigste quelle... dort vermiss ich z.b sky arts und eurosport2 xtra.

DeBaschdi

@easy4me ich sehe du hast ein ähnliches projekt am start, wo kommen denn deine daten her?

hi2hello

Zitat von Roby

gzip: stdin: not in gzip format
/bin/tar: Child returned status 1
/bin/tar: Error is not recoverable: exiting now

Gleicher Fehler hier, jedoch kein "$" im PW oder Username.
?

Datei wird als .xml.tar.gz geladen und dann nicht entpackt.
?

DeBaschdi

der läd jeden output als .tar.gz (ist aber keine), jedenfalls dann keine, wenn es vorher einen weiterleitungsfehler gab.
(Wie in deinem fall gerade)

Zeigst du mir mal dein kompletten output?
Es kann eigentlich nur 3 (4) möglichkeiten geben

1: username / pw falsch, oder Sonderzeichen
2: der pfad existiert nicht, oder endet mit "/" oder keine schreibrechte.
3: zeilen formatierungsfehler

Oder du bist auf was individuell, systembedingtes, neues gestoßen

easy4me

Zitat von DeBaschdi

@easy4me ich sehe du hast ein ähnliches projekt am start, wo kommen denn deine daten her?

Das steht in meinem Thread - und der Link zum Thread steht in meiner Signatur. Allerdings werden weitere Anbieter schrittweise hinzugefügt.

[RELEASE] Takealug EPG Grabber

Jetzt mitmachen!

Tags

Benutzer online in diesem Thema