[RELEASE] Takealug EPG Grabber

hi2hello

Zitat von DeBaschdi

der läd jeden output als .tar.gz (ist aber keine), jedenfalls dann keine, wenn es vorher einen weiterleitungsfehler gab.
(Wie in deinem fall gerade)
Zeigst du mir mal dein kompletten output?
Es kann eigentlich nur 3 (4) möglichkeiten geben
1: username / pw falsch, oder Sonderzeichen
2: der pfad existiert nicht, oder endet mit "/" oder keine schreibrechte.
3: zeilen formatierungsfehler
Oder du bist auf was individuell, systembedingtes, neues gestoßen

Zu 1: Enthält keine Sonderzeichen, Groß- und Kleinbuchstaben und Zahl
Zu 2: Pfad ist da, auch ohne / geschrieben, Schreibrechte der tar.gz ergeben root:root, Ordner hat nobody:users
Zu 3: Ich hänge mal Output und Skript an, nutze das auf UnRaid

Output:

HTML

epglaoder.sh
rm: cannot remove '/mnt/user/appdata/webgrabplus/guide-mapped.xml': No such file or directory
<!DOCTYPE html>
        <!--[if IE 8]>
                <html xmlns="http://www.w3.org/1999/xhtml" class="ie8" lang="de-DE">
        <![endif]-->
        <!--[if !(IE 8) ]><!-->
                <html xmlns="http://www.w3.org/1999/xhtml" lang="de-DE">
        <!--<![endif]-->
        <head>
        <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
        <title>Anmelden ‹ Take a look at — WordPress</title>
        <link rel='dns-prefetch' href='//s.w.org' />
<link rel='stylesheet' id='dashicons-css'  href='https://takealug.de/wordpress/wp-includes/css/dashicons.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='buttons-css'  href='https://takealug.de/wordpress/wp-includes/css/buttons.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='forms-css'  href='https://takealug.de/wordpress/wp-admin/css/forms.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='l10n-css'  href='https://takealug.de/wordpress/wp-admin/css/l10n.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='login-css'  href='https://takealug.de/wordpress/wp-admin/css/login.min.css?ver=5.0.3' type='text/css' media='all' />
        <meta name='robots' content='noindex,noarchive' />
        <meta name='referrer' content='strict-origin-when-cross-origin' />
                <meta name="viewport" content="width=device-width" />
                </head>
        <body class="login login-action-login wp-core-ui  locale-de-de">
                <div id="login">
                <h1><a href="https://de.wordpress.org/" title="Powered by WordPress" tabindex="-1">Powered by WordPress</a></h1>


<form name="loginform" id="loginform" action="https://takealug.de/wordpress/wp-login.php" method="post">
        <p>
                <label for="user_login">Benutzername oder E-Mail-Adresse<br />
                <input type="text" name="[definition='1','0']log[/definition]" id="user_login" class="input" value="" size="20" /></label>
        </p>
        <p>
                <label for="user_pass">Passwort<br />
                <input type="password" name="pwd" id="user_pass" class="input" value="" size="20" /></label>
        </p>
                <p class="forgetmenot"><label for="rememberme"><input name="rememberme" type="checkbox" id="rememberme" value="forever"  /> Angemeldet bleiben</label></p>
        <p class="submit">
                <input type="submit" name="wp-submit" id="wp-submit" class="button button-primary button-large" value="Anmelden" />
                <input type="hidden" name="redirect_to" value="https://takealug.de/wordpress/wp-admin/" />
                <input type="hidden" name="testcookie" value="1" />
        </p>
</form>


<p id="nav">
<a  href="https://takealug.de/wordpress/wp-login.php?action=register">Registrieren</a> |  <a href="https://takealug.de/wordpress/wp-login.php?action=lostpassword">Passwort vergessen?</a>
</p>


<script type="text/javascript">
function wp_attempt_focus(){
setTimeout( function(){ try{
d = document.getElementById('user_login');
d.focus();
d.select();
} catch(e){}
}, 200);
}


wp_attempt_focus();
if(typeof wpOnload=='function')wpOnload();
</script>


        <p id="backtoblog"><a href="https://takealug.de/wordpress/">← Zurück zu Take a look at</a></p>
        <div class="privacy-policy-page-link"><a class="privacy-policy-link" href="https://takealug.de/wordpress/datenschutzerklaerung/">Datenschutzerklärung</a></div>
        </div>




                <div class="clear"></div>
        </body>
        </html>
        <!DOCTYPE html>
        <!--[if IE 8]>
                <html xmlns="http://www.w3.org/1999/xhtml" class="ie8" lang="de-DE">
        <![endif]-->
        <!--[if !(IE 8) ]><!-->
                <html xmlns="http://www.w3.org/1999/xhtml" lang="de-DE">
        <!--<![endif]-->
        <head>
        <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
        <title>Anmelden ‹ Take a look at — WordPress</title>
        <link rel='dns-prefetch' href='//s.w.org' />
<link rel='stylesheet' id='dashicons-css'  href='https://takealug.de/wordpress/wp-includes/css/dashicons.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='buttons-css'  href='https://takealug.de/wordpress/wp-includes/css/buttons.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='forms-css'  href='https://takealug.de/wordpress/wp-admin/css/forms.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='l10n-css'  href='https://takealug.de/wordpress/wp-admin/css/l10n.min.css?ver=5.0.3' type='text/css' media='all' />
<link rel='stylesheet' id='login-css'  href='https://takealug.de/wordpress/wp-admin/css/login.min.css?ver=5.0.3' type='text/css' media='all' />
        <meta name='robots' content='noindex,noarchive' />
        <meta name='referrer' content='strict-origin-when-cross-origin' />
                <meta name="viewport" content="width=device-width" />
                </head>
        <body class="login login-action-login wp-core-ui  locale-de-de">
                <div id="login">
                <h1><a href="https://de.wordpress.org/" title="Powered by WordPress" tabindex="-1">Powered by WordPress</a></h1>
        <div id="login_error">  <strong>FEHLER</strong>: Cookies sind gesperrt oder werden von deinem Browser nicht unterstützt. Du musst <a href="https://codex.wordpress.org/Cookies">Cookies aktivieren</a>, um WordPress verwenden zu können.<br />
</div>


<form name="loginform" id="loginform" action="https://takealug.de/wordpress/wp-login.php" method="post">
        <p>
                <label for="user_login">Benutzername oder E-Mail-Adresse<br />
                <input type="text" name="[definition='1','0']log[/definition]" id="user_login" aria-describedby="login_error" class="input" value="" size="20"/></label>
        </p>
        <p>
                <label for="user_pass">Passwort<br />
                <input type="password" name="pwd" id="user_pass" aria-describedby="login_error" class="input" value="" size="20" /></label>
        </p>
                <p class="forgetmenot"><label for="rememberme"><input name="rememberme" type="checkbox" id="rememberme" value="forever"  checked='checked' /> Angemeldet bleiben</label></p>
        <p class="submit">
                <input type="submit" name="wp-submit" id="wp-submit" class="button button-primary button-large" value="Anmelden" />
                <input type="hidden" name="redirect_to" value="https://takealug.de/wordpress/wp-admin" />
                <input type="hidden" name="testcookie" value="1" />
        </p>
</form>


<p id="nav">
<a  href="https://takealug.de/wordpress/wp-login.php?action=register">Registrieren</a> |  <a href="https://takealug.de/wordpress/wp-login.php?action=lostpassword">Passwort vergessen?</a>
</p>


<script type="text/javascript">
function wp_attempt_focus(){
setTimeout( function(){ try{
d = document.getElementById('user_login');
d.focus();
d.select();
} catch(e){}
}, 200);
}


wp_attempt_focus();
if(typeof wpOnload=='function')wpOnload();
</script>


        <p id="backtoblog"><a href="https://takealug.de/wordpress/">← Zurück zu Take a look at</a></p>
        <div class="privacy-policy-page-link"><a class="privacy-policy-link" href="https://takealug.de/wordpress/datenschutzerklaerung/">Datenschutzerklärung</a></div>
        </div>




                <div class="clear"></div>
        </body>
        </html>
          % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0
100 28051    0 28051    0     0  61922      0 --:--:-- --:--:-- --:--:-- 1141k


gzip: stdin: not in gzip format
/bin/tar: Child returned status 1
/bin/tar: Error is not recoverable: exiting now

Alles anzeigen

Skript:

Bash

#!/bin/bash
## XML EPG Downloader ##
## takealug.de ##
## Revision 1 ##
user=***                      #dein login name auf takealug.de
password=***           #dein passwort auf takealug.de
path=/mnt/user/appdata/webgrabplus            #dein speicherpfad für guide-mapped.xml
##aufräumen ##
rm $path/guide-mapped.xml
rm $path/guide-mapped-de.xml.tar.gz
## neu downloaden ##
cd $path/
curl -D $path/cookie1.txt https://takealug.de/wordpress/wp-login.php
curl -A "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6" -D $path/cookie2.txt -b $
curl -L -o $path/guide-mapped-de.xml.tar.gz --cookie $path/cookie2.txt https://takealug.de/wordpress/download/569/
/bin/tar xvf $path/guide-mapped-de.xml.tar.gz

Alles anzeigen

Interessant ist, dass die Datei geladen wird. Bleibt dann aber als .tar.gz stehen, eine xml wird nicht erstellt.

DeBaschdi

Code

Cookies sind gesperrt oder werden von deinem Browser nicht unterstützt

es scheint als ob deine curl version keine cookies erstellen kann.

++edit
Nein die tar.gz wird nicht geladen, du hast zwar eine, das ist aber der "output" des curl scripts.

hi2hello

da liegen aber welche im Ordner.
cookie1.txt
cookie2.txt
hot_cookies.txt

DeBaschdi

die hot ist mir neu... die hat da nix zu suchen ?!

Ich setz mal dein passwort zurück, und erstelle dir ein neues, teste es und schick dir dann das script zurück, kannst anschließend dein passwort wieder ändern, nachdem ausgeschlossen wurde ob es doch an einem passwort liegt.

DeBaschdi

hast PN

wenn es jetzt noch immer nicht geht liegt es doch an einem Rrechte problem, oder curl version ?!

ich werde das script bei gelegenheit "umbauen" bzw einen installer schreiben, also etwas nutzerfreundlicher.

DeBaschdi

ich habe noch eine andere Fehlerquelle ausgemacht :
nicht in jeder distribution befindet sich "bash" in /bin
Es ist möglich das sie auch in /opt/bin zufinden ist.

Falls /opt/bin/bash existiert, bitte im script anpassen.

Zusammen entdecken wir alle möglichen fehlerquellen, und das ermöglicht mir ein besseres, angepasstes script (installer) zu erstellen welches auf alle eventuallitäten eingehen kann.

Also auch danke für das feedback wenn es irgentwo nicht klappt.
Gemeinsam schaffen wir das

Musiktoto

Da ich Kodi auf einem Fire Stick am laufen habe, wäre ein Script für Windows nicht schlecht. Weil auf dem Fire Stick wird man die Datei ja nicht zum Laufen bekommen.

In der Senderliste wäre RNF nicht schlecht. Ist zwar nur ein Regionalsender, aber der wird gerne geschaut

DeBaschdi

unter der aktuellen windows 10 version ist curl vorinstalliert, bei 7 lässt es soch nachinstallieren.

Ich schreibe morgen mal ein (vorerst) simples batch script für windows, dann können wir von allen seiten angreifen.

Rnf füge ich hinzu

hi2hello

Unter unRaid gehen die Cookies nicht durch.
Warum auch immer, scheint die Webseite sie mit CURL nicht zu akzeptieren. Daher kommt auch keine guide… an.

Irgendjemand, der unter unRaid das gleiche Problem hat, vielleicht mit einer Idee oder Lösung zur ggf. Anpassung von @DeBaschdis Skript?

Log siehe oben unter Post #29

Danke!

DeBaschdi

.

DeBaschdi

super!

hi2hello

Und ich habe das mal quick n dirty für unraid angepasst. Funzt dort auch …

Bash

#!/bin/bash


site="https://takealug.de/wordpress"
login_address="$site/wp-login.php"
[definition='1','0']log[/definition]="***"			#user
pwd="***"			#password
path=/path/to/store		#pfad
agent="Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6"
wget=wget		#location wget


cd $path
# authenticate and save cookies
$wget \
    --user-agent="$agent" \
    --save-cookies $path/cookies.txt \
    --keep-session-cookies \
    --delete-after \
    --post-data="[definition='1','0']log[/definition]=$[definition='1','0']log[/definition]&pwd=$pwd&testcookie=1" \
    "$login_address"


# access home page with authenticated cookies
$wget \
    --user-agent="$agent" \
    --load-cookies $path/cookies.txt \
    "$site/download/569/" \
    -O $path/dropbox.txt
download=$(grep '<meta content="https://www.dropbox.com' $path/dropbox.txt | cut -d "!" -f2 | cut -d "<" -f2 | cut -d "\"" -f2 ) #dowload link extract


echo $download > $path/download.txt


$wget -O $path/guide-mapped-de.xml.tar.gz $download


tar xvf $path/guide-mapped-de.xml.tar.gz

Alles anzeigen

easy4me

@DeBaschdi Welches PVR-Plugin hast du bei deinen Screenshots verwendet?

DeBaschdi

moin,
tvheadend

easy4me

Seltsam, kannst du bitte meine EPG-Dateien testen, ob dort Regisseur und Schauspieler angezeigt werden? Bei mir läuft tvHeadend mit v4.3 ohne entsprechende Anzeige, obwohl die Daten vorhanden sind...

Sind die Einstellungen vielleicht verkehrt? Der Credits-String sollte doch eigentlich korrekt sein, oder?

DeBaschdi

Guten Morgen !

++Startpost editiert
++ Revision 3 ist Online
++ wget version (herzlichen dank an @gst)
++ Neue Sender hinzugefügt

An alle, @gst @hi2hello welche die alte wget version von gst nutzen : Ihr braucht Absofort die neue aus dem Startpost, ich hab das unhübsche "link extract" entfernt, und serverseitig anders gelöst. (jetzt ist die wget version ebenso unkapputbar wie die curl version)

DeBaschdi

@gst ja das vermute ich auch, hatte ihm eine PM geschickt
info an alle für TVH
bitte den tv_grab_wg++ importer verwenden und so einstellen :

DeBaschdi

+++ Windows Version hinzugefügt!

Anmerkung für die Windows Version :
-setup-epgloader.bat ausführen
-Den Anweisungen folgen
-Sonderzeichen im Passwort werden aktuell nicht unterstützt

este

Kaum alles eingerichtet kommst du mit sowas daher *g*
Aber da bei mir die Genres nicht funktionieren werde ich mal die Gegenprobe mit der fertigen xml machen.
Muss noch irgendetwas gemacht werden außer der import in TVheadend?

lg

DeBaschdi

Hi ;P
nein nein außer wie im Post 47 nichts weiter beachten + ( tvh 4.3)

[RELEASE] Takealug EPG Grabber

Jetzt mitmachen!

Tags

Benutzer online in diesem Thema