Episoden Infos von The TVDB abfragen

PvD

Zitat von sveni_lee

die seite möchte nicht von einer Maschiene Angesprochen werden...

Nein. 403 bedeutet, dass du auf eine URL zugreifst, die nicht ausgeliefert werden kann/darf, weil die entweder unvollständig, die Ressource (Datei) nicht angegeben/gefunden wurde oder aufgrund von Policies eine Anzeige von Verzeichnissen unterdrückt wird.

sveni_lee

okay, wenn ich das ganze wie folgt änder

Python

def getUnicodePage(url, container=None):
    try:
        headers = { 'User-Agent' : 'Mozilla/5.0' }
        req = urllib2.urlopen(url, None, headers)
    except UnicodeDecodeError:
        req = urllib2.urlopen(url)


    encoding = 'utf-8'
    if "content-type" in req.headers and "charset=" in req.headers['content-type']:
        encoding=req.headers['content-type'].split('charset=')[-1]
    content = unicode(req.read(), encoding).replace("\\", "")
    if container is None: return content
    return content.split(container)

Alles anzeigen

aber dann kommt folgender Fehler...

Python

Error Type: <type 'exceptions.TypeError'>
 Error Contents: a float is required
 Traceback (most recent call last):
 File "G:\KODI-Krypton\portable_data\addons\plugin.program.serienplaner\default.py", line 469, in <module>
 scrapeWLPage(category)
 File "G:\KODI-Krypton\portable_data\addons\plugin.program.serienplaner\default.py", line 369, in scrapeWLPage
 content = getUnicodePage(url, container='<li id="e_')
 File "G:\KODI-Krypton\portable_data\addons\plugin.program.serienplaner\default.py", line 82, in getUnicodePage
 req = urllib2.urlopen(url, None, headers)
 File "G:\KODI-Krypton\system\python\Lib\urllib2.py", line 127, in urlopen
 return _opener.open(url, data, timeout)
 File "G:\KODI-Krypton\system\python\Lib\urllib2.py", line 404, in open
 response = self._open(req, data)
 File "G:\KODI-Krypton\system\python\Lib\urllib2.py", line 422, in _open
 '_open', req)
 File "G:\KODI-Krypton\system\python\Lib\urllib2.py", line 382, in _call_chain
 result = func(*args)
 File "G:\KODI-Krypton\system\python\Lib\urllib2.py", line 1214, in http_open
 return self.do_open(httplib.HTTPConnection, req)
 File "G:\KODI-Krypton\system\python\Lib\urllib2.py", line 1181, in do_open
 h.request(req.get_method(), req.get_selector(), req.data, headers)
 File "G:\KODI-Krypton\system\python\Lib\httplib.py", line 995, in request
 self._send_request(method, url, body, headers)
 File "G:\KODI-Krypton\system\python\Lib\httplib.py", line 1029, in _send_request
 self.endheaders(body)
 File "G:\KODI-Krypton\system\python\Lib\httplib.py", line 991, in endheaders
 self._send_output(message_body)
 File "G:\KODI-Krypton\system\python\Lib\httplib.py", line 844, in _send_output
 self.send(msg)
 File "G:\KODI-Krypton\system\python\Lib\httplib.py", line 806, in send
 self.connect()
 File "G:\KODI-Krypton\system\python\Lib\httplib.py", line 787, in connect
 self.timeout, self.source_address)
 File "G:\KODI-Krypton\system\python\Lib\socket.py", line 559, in create_connection
 sock.settimeout(timeout)
 File "G:\KODI-Krypton\system\python\Lib\socket.py", line 224, in meth
 return getattr(self._sock,name)(*args)
 TypeError: a float is required
 -->End of Python script error report<--

Alles anzeigen

PvD

Die Funktion urllib2.urlopen() erwartet einen Zahlenwert für den Timeout, da steht aber None (Zeile 4). Kannst ja mal eine 30 eintragen. Ansonsten kannst Du auch ohne zusätzliche Parameter aufrufen (timeout, headers). So mache ich das eigentlich.

Code

try:
    req = urllib2.urlopen(url.encode('utf-8'))
except UnicodeDecodeError:
    req = urllib2.urlopen(url)

Lässt sich denn die url, die du übergibst, direkt im Browser aufrufen?

sveni_lee

ja, das geht... ich bin auch ein wenig weiter...

so kommt ersteinmal keine Fehlermeldung:

Python

def getUnicodePage(url, container=None):
    try:
        headers = { 'User-Agent' : 'Mozilla/5.0' }
        req = urllib2.Request(url, None, headers)
    except UnicodeDecodeError:
        req = urllib2.urlopen(url)
    encoding = 'utf-8'
    if "content-type" in req.headers and "charset=" in req.headers['content-type']:
        encoding=req.headers['content-type'].split('charset=')[-1]
    content = unicode(urllib2.urlopen(req).read(), encoding).replace("\\", "")
    if container is None: return content
    return content.split(container)

Alles anzeigen

aber:
hier wird ein string für "category" erwartet, richtig?

Python

def scrapeWLPage(category):
    url = '%s/%s/0' % (WLURL, category)
    writeLog('Start scraping category %s from %s' % (category, url), level=xbmc.LOGDEBUG)


    content = getUnicodePage(url, container='<li id="e_')
    i = 1
    content.pop(0)


    blobs = WINDOW.getProperty('SP.%s.blobs' % (category))
    if blobs != '':


        for idx in range(1, int(blobs) + 1, 1):
            WINDOW.clearProperty('SP.%s.%s' % (category, idx))


    for container in content:

Alles anzeigen

bei mir ist category aber so definiert

Python

SPWatchtypes = {'international': 1, 'german': 5, 'classic': 3, 'soap': 2}

also eine number oder?

wenn ich also aus dem 2. %s ein %d mache kommt...

Code

Error Type: <type 'exceptions.TypeError'>
 Error Contents: %d format: a number is required, not str
 Traceback (most recent call last):
 File "G:\KODI-Krypton\portable_data\addons\plugin.program.serienplaner\default.py", line 469, in <module>
 scrapeWLPage(category)
 File "G:\KODI-Krypton\portable_data\addons\plugin.program.serienplaner\default.py", line 366, in scrapeWLPage
 url = '%s%d/0' % (WLURL, category)

PvD

Die Fehlermeldung steht doch in Zeile 2: Python erwartet jetzt eine Nummer, Du lieferst aber einen String. Was steht denn in category? Das was da drüber steht, ist ein Dictionary namens SPWatchtypes und keine Variable namens category...

Mit nur schnipselweisen Auszügen aus dem Quellcode gestaltet sich die Fehlersuche für mich nicht gerade einfach. Hast Du nicht irgendwo den kompletten Code?

sveni_lee

Im Grunde habe ich ja deinen Code den ich abgewandelt habe...

category wird hier definiert:

Python

def categories():
    cats = []
    for category in SPWatchtypes:
        if __addon__.getSetting(category).upper() == 'TRUE': cats.append(category)
    return cats

ich schick die mal den kompletten Code per Konversation hier...

PvD

category liefert eine Liste der (im Setup angehakten) Kategorien, also

Code

['german', 'international', 'soap', 'classic']

Du brauchst aber die Nummer. Aus category wird dann:

Code

SPWatchtypes[category]

obiger Code zum Scrapen muss demzufolge sein:

Code

def scrapeWLPage(category):
    url = '%s/%s/0' % (WLURL, SPWatchtype[category])
    writeLog('Start scraping category %s from %s' % (SPWatchtype[category], url), level=xbmc.LOGDEBUG)
    content = getUnicodePage(url, container='<li id="e_')
    i = 1
    content.pop(0)
    blobs = WINDOW.getProperty('SP.%s.blobs' % (SPWatchtype[category]))
    if blobs != '':
        for idx in range(1, int(blobs) + 1, 1):
            WINDOW.clearProperty('SP.%s.%s' % (SPWatchtype[category], idx))
    for container in content:

Alles anzeigen

sveni_lee

Danke, ich probiere mal...

bin auch schon ein wenig weiter...

hab einfach mal die url "per hand" eingesetzt und noch viele kleine Fehler gefunden aber das Ergebnis:

Code

09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: ID: SP.international.12
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: TVShow: Vampire Diaries
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: Staffel: 7
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: Episode: 2
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: Title: Der Phönix-Stein
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: Starttime: 20:15
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: neueEpisode: NEU
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: Channel (SP): sixx
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: Channel (PVR): SIXX HD
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: Channel logo: image://G%3a%5cKodi%5cSenderlogos%5csixx%20hd.png/
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: ChannelID (PVR): 38
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: Description: Alaric hat den Phönix-Stein entdeckt und holt sich Bonnies Rat ein. Sie bittet Alaric, den Stein sofort zu vernichten, denn es geht etwas sehr Böses von ihm aus. Allerdings hat er auch wiederbelebende Kräfte, weshalb Alaric es nicht wagt, ihn zu vernichten. Es gelingt ihm, Ryan damit vorübergehend ins Leben zurückzuholen. Unterdessen halten die Häretiker Caroline gefangen und foltern sie. Stefan ist auf dem Weg, sie zu befreien – doch er muss viele Hürden überwinden.
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: Rating: 7.3
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: Thumb: http://www.thetvdb.com/banners/episodes/95491/5304695.jpg
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: FirstAired: 2015-10-15
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: Popup: http://www.wunschliste.de/episode/778623
09:39:58 T:1540 DEBUG: [plugin.program.serienplaner 0.0.1]: Watchtype: international

Alles anzeigen

sveni_lee

ich hab noch einmal eine Frage,

wenn ich jetzt versuche die details von der detailURL zu holen klappt das nicht...

Python

details = WLScraper()
details.scrapeDetailPage(getUnicodePage(data.detailURL), 'div class="text"')

data.detailURL ist http://www.wunschliste.de/episode/778623
aber ich bekomme einen Fehler:

Code

Error Type: <type 'exceptions.ValueError'>
 Error Contents: unknown url type: 
 Traceback (most recent call last):
 File "G:\KODI-Krypton\portable_data\addons\plugin.program.serienplaner\default.py", line 473, in <module>
 scrapeWLPage(category)
 File "G:\KODI-Krypton\portable_data\addons\plugin.program.serienplaner\default.py", line 400, in scrapeWLPage
 details.scrapeDetailPage(getUnicodePage(data.detailURL), 'div class="text"')
 File "G:\KODI-Krypton\portable_data\addons\plugin.program.serienplaner\default.py", line 89, in getUnicodePage
 content = unicode(urllib2.urlopen(req).read(), encoding).replace("\\", "")
 File "G:\KODI-Krypton\system\python\Lib\urllib2.py", line 127, in urlopen
 return _opener.open(url, data, timeout)
 File "G:\KODI-Krypton\system\python\Lib\urllib2.py", line 396, in open
 protocol = req.get_type()
 File "G:\KODI-Krypton\system\python\Lib\urllib2.py", line 258, in get_type
 raise ValueError, "unknown url type: %s" % self.__original
 ValueError: unknown url type:

Alles anzeigen

unknown url type

so, ich habs gelöst...

EDIT:

jetzt läuft es soweit.... jetzt kann ich mal um die Skinseitige umsetzung kümmern...

sveni_lee

Zitat von BJ1

Python

from datetime import timedelta
ende = timedelta(hours=21, minutes=12)
start = timedelta(hours=20, minutes=15)


print ende-start
0:57:00

so, jetzt versuche ich mich mal damit zu beschäftigen...

bei mir müsste ich ja den Stunden und Minuten eine Variable zuordnen
aber das verstehe ich noch nicht ganz...

meine Zeitformat das ich auslese: _tvshowendtime = YYYYmmddHHMMSS

um auch den Tageswechsel zu berücksichtigen müsste ich ja nun den kompletten Zeitstrang berücksichtigen...
aber dass bekomme ich nicht hin mit den variablen

im Grunde wäre es ja:

Python

ende = timedelta(years=%Y, months=%m, days=%d, hours=%H, minutes=%M, seconds=%S)(_tvshowendtime)

aberirgendwie müsste ich ja noch definiren, wie _tvshowtime aufgebaut ist...

PvD

Zitat von sveni_lee

bei mir müsste ich ja den Stunden und Minuten eine Variable zuordnen
aber das verstehe ich noch nicht ganz...

Vergiß es, bei Datum und Zeit mit Variablen zu rechnen. Datum und Zeit sind Python-Objekte, und die haben entsprechende Eigenschaften und Methoden, u.a. zur Berechnung von Zeitdifferenzen ;).

Beschäftige dich erstmal in Ruhe mit dem Time-, dem Date- und dem Datetime-Objekt (hier ab Abschnitt 'timedeltas') : https://pymotw.com/2/datetime/

Zitat von sveni_lee

um auch den Tageswechsel zu berücksichtigen müsste ich ja nun den kompletten Zeitstrang berücksichtigen...

Nein, wenn Du eine negative Zeitdifferenz erhältst, rechnest Du einfach 24h dazu, dann stimmt das wieder. Bekommt man mit timedelta(days=1) hin.

Sorry, mehr kann ich heute nicht bieten.

sveni_lee

okay, das halt schon geholfen...

Python

#!/usr/bin/env python
# coding: utf8
from xml.dom import minidom
import urllib
import time
import datetime
import json
from datetime import timedelta
import _strptime


_tvshowstarttime = "20160327T183200"
_tvshowendtime = "20160327T202800"


def get_detail_thetvdb():
    _time1 = datetime.datetime.strptime(_tvshowstarttime, "%Y%m%dT%H%M%S")
    print _time1
    _time2 = datetime.datetime.strptime(_tvshowendtime, "%Y%m%dT%H%M%S")
    print _time2


    _timediff = _time2 - _time1
    print _timediff


get_detail_thetvdb()

Alles anzeigen

gibt folgendes Ergebnis:

Code

2016-03-27 18:32:00
2016-03-27 20:28:00
1:56:00

jetzt würde ich das Ergebnis gern in Minuten umwandeln...

SLiX

timedeltas haben ein 'seconds' Attribut, damit kannst du ja einfach umrechnen

sveni_lee

das habe ich gelesen nur irgendwie fällt bei mir grad nicht der Groschen wie das aussehen muss..

SLiX

Checke mal '_timediff.seconds' ab.
Natürlich nach der Berechnung

sveni_lee

omg... Ich habe wiedermal viel zu kompliziert gedacht...
_timediff.seconds/60 sind die Minuten die ich wollte...

Danke

PvD

Und bei timedelta brauchst Du auch nicht den Übergang von einem zum nächsten Tag (z.B. 23:30 - 00:45) berücksichtigen, das macht _timediff.seconds von alleine richtig.

Folgende Imports kannst Du weglassen:

Python

from datetime import timedelta # Methode gehört zur datetime-Klasse
import _strptime # ?

sveni_lee

Zitat von BJ1

Und bei timedelta brauchst Du auch nicht den Übergang von einem zum nächsten Tag (z.B. 23:30 - 00:45) berücksichtigen, das macht _timediff.seconds von alleine richtig.

ja, das mit der Berechnung des Timedelta haut super hin...

Aber eine kleine Sache macht mir grad koppzerbrechen:

Python

elif methode=='show_select_dialog':
    writeLog('Methode: show select dialog', level=xbmc.LOGDEBUG)
    dialog = xbmcgui.Dialog()
    cats = [__LS__(30120), __LS__(30121), __LS__(30122), __LS__(30123), __LS__(30116)]
    ret = dialog.select(__LS__(30011), cats)


    if ret == 6:
        refreshHighlights()
    elif 0 <= ret <= 5:
        writeLog('%s selected' % (cats[ret]), level=xbmc.LOGDEBUG)
        scrapeWLPage(SPWatchtypes[ret])
        empty_widgets = refreshWidget(SPWatchtypes[ret])
        clearWidgets(empty_widgets + 1)
    else:
        pass

Alles anzeigen

damit wird ja der Scraper angeworfen mit der gewählen "cats"...

bei mir sieht das ganze ja so aus

Python

SPWatchtypes = {'international': 1, 'german': 5, 'classics': 3, 'soap': 2}
SPTranslations = {'international': __LS__(30120), 'german': __LS__(30121), 'classics': __LS__(30122), 'soap': __LS__(30123)}

und es müsste dann __LS__(30120) der wert 1 zugeornet werden...

Episoden Infos von The TVDB abfragen

Jetzt mitmachen!

Benutzer online in diesem Thema