Dev-Thread zu der ARD Mediathek

sarbes

Ein kurzes Vorwort: bitte postet Dinge wie Supportanfragen oder ähnliches in den entsprechenden Thread. Hier gibt es nur Infos zur Entwicklung/technischen Aufbau der Mediathek.

Bilder skalieren

Bilder können nun einfach und sicher skaliert werden. Der Aufbau einer URL ist wie folgt:

Code

http://www.ardmediathek.de/image/01/23/45/56/78/-0987654321/seitenverhältnis/horizontale_auflösung
01/23/45/56/78        - unsere bekannte ID
-0987654321           - zufällige(?) Zahl, beliebig - komisches minus
seitenverhältnis      - "16x9", u.A. auch "4x3" oder "0x0" (original?) möglich. wird oft nicht beachtet
horizontale_auflösung - auf der Webseite treten "0" (anscheinend originalauflösung), "192", "256", "364", "640", "1024" auf, möglich sind noch (u.A.) "512", "1280", "1920"

Am besten wäre eine Auswahlmöglichkeit einbauen, die kleinere und die maximale Auflösungen ermöglicht. Standard würde ich bei 512 setzen. Beispiele für die bestmögliche Qualität ("0" am Ende der URL):
http://www.ardmediathek.de/image/00/21/50…91213339/16x9/0
http://www.ardmediathek.de/image/00/21/59…08869385/16x9/0
http://www.ardmediathek.de/image/00/21/60…50873312/16x9/0 (höhere Auflösung!)

FYI, die Bilder kann man auch so erreichen:
http://www.ardmediathek.de/ard/servlet/im…91213339/16x9/0

Videos vor 20 Uhr

Dafür würde ich unbedingt die Jugendschutzfunktion nutzen.

Man nimmt einfach die ID aus der URL "http://www.ardmediathek.de/tv/Tatort/Wer-…deo?documentId=21508722&bcastId=602916" und setzt sie hier ein: "http://www.ardmediathek.de/ard/servlet/export/tva/id=21508722/index.xml". In der XML sind die Video URLs.

Auch das restliche TVA Interface finde ich sehr interessant, ein Blick ist es allemal wert.

AddonScriptorDE

Hi,
hatte grad auch schon was dazu in meinem Thread gepostet:

Zitat von AddonScriptorDE

Wegen den Bildern: Mir ist aufgefallen, dass XBMC mit manchen Ansichten ab bestimmten Auflösungen Probleme bekommt. Sie werden komischerweise nicht immer automatisch angezeigt/vorgeladen. Bei ARD funktionieren die Auflösungen über der 448er Version nicht richtig. Ist mir bei anderen Addons/Seiten auch schon aufgefallen. Wegen FSK/20 Uhr: Hab das bewusst so wie auf der Seite gemacht (auch in meinen anderen Addons). Wenn es jemand umgehen will, kann er ja einfach ein paar Zeilen ändern/auskommentieren.

Ich schau nochmal, ob evtl. doch noch höhere Auflösungen zuverlässig mit allen Ansichten/Skins funktionieren oder ich bau einfach ne Auswahlmöglichkeit ein, dann kann jeder selbst schauen obs mit der Ansicht / dem Skin funktioniert. Für die Leute, die unbedingt 4/3 Thumbs wollen, kann ich natürlich auch eine Einstellung hinzufügen...

Zitat von membrane

Auch das restliche TVA Interface finde ich sehr interessant, ein Blick ist es allemal wert.

Sagt mir so nix: TVA. Muss ich mir mal anschauen. Nutze für die Video-Links folgende URL:

Code

http://www.ardmediathek.de/play/media/VIDEO_ID

sarbes

Zitat von AddonScriptorDE

Sagt mir so nix: TVA. Muss ich mir mal anschauen.

Das war anscheinend ein Vorläufer für HbbTV.

Bessere BR Videos

Ich habe gerade entdeckt das man über das ARD Interface an die höher aufgelösten Videos der BR Mediathek kommt. Es ist nur über einen Umweg möglich, ob es 100% zuverlässig ist müsste man testen. Als Fallback kann man ja die ARD als Quelle verwenden.

Alle Sendungen haben eine CRID, eine eindeutige ID. Über die Merklistenfunktion der BR Mediathek kann man mit der CRID den internen Link bekommen. Die Merkliste ist für viele Beiträge (!=Videos) gesperrt, was uns aber nicht stört.

Ich erkläre es an diesem Beispiel: http://www.ardmediathek.de/tv/Lebenslinie…castId=14913740.

Code

0. Cookies anlegen:
a) Auf http://www.br.de/nachrichten/unwetter-augsburg-allgaeu-100.html das Video zur Merkliste hinzufügen (Symbol neben dem Rating), Cookies bestätigen.
b) Auf http://www.br.de/metanavi/merkliste/merkliste-brde-100.html gehen um den Eintrag zu kontrollieren


1. "externalID" holen:
a) http://www.ardmediathek.de/play/config/21296712?devicetype=pc - "documentId" einsetzen
b) CRID auslesen "<nol_c7>p7,crid://br.de/video/9fb6bf50-5fce-4923-a147-4132cf5ed20e</nol_c7>", "9fb6bf50-5fce-4923-a147-4132cf5ed20e" ist die "externalID"


2. "www.br.de" Cookie "br.watchlist" edieren, "externalID" als Wert einsetzen.


3. Das Video sollte auf http://www.br.de/metanavi/merkliste/merkliste-brde-100.html gelistet werden.

Alles anzeigen

Ich muss zugeben, das Verfahren ist etwas verrückt. Bei der Mediathek vom Ersten geht das einfacher. Der Vorteil bei dem BR Videos ist die bessere Bildqualität. Die ARD hat teilweise Auflösungen von 640x360, wogegen der BR das Video in 720p hat.

Edit:
Bessere SWR Videos

Beim SWR geht es einfach. Einfach wieder die "externalID" holen und in die URL einsetzen. Das resultiert in 720p Videos mit gefühlt doppelter Bitrate. Beispiel:
http://swrmediathek.de/tvshow.htm?sho…3c-0026b975f2e6

Edit: Ich schreibe mal was für das SWR.

sarbes

AddonScriptorDE: Warum rundest du die Zeiten? Genaue Werte sind doch viel schöner ;):

Code

def listVideos(url):
    content = getUrl(url)
    spl = content.split('<div class="teaser" data-ctrl')
    for i in range(1, len(spl), 1):
        entry = spl[i]
        match = re.compile('documentId=(.+?)&', re.DOTALL).findall(entry)
        videoID = match[0]
        matchTitle = re.compile('class="headline">(.+?)<', re.DOTALL).findall(entry)
        match = re.compile('class="dachzeile">(.+?)<', re.DOTALL).findall(entry)
        if match[0].endswith("Uhr"):
            date = match[0]
            date = date.split(" ")[0]
            date = date[:date.rfind(".")]
            if showDateInTitle:
                title = date+" - "+matchTitle[0]
        else:
            title = match[0]+" - "+matchTitle[0]
        match = re.compile('class="subtitle">(.+?) \\| (.+?) min(.+?)</p>', re.DOTALL).findall(entry)
        match2 = re.compile('class="subtitle">(.+?) min.*?</p>', re.DOTALL).findall(entry)
        duration = ""
        desc = ""
        if match:
            date = match[0][0]
            date = date[:date.rfind(".")]
            duration = match[0][1]
            channel = match[0][2].replace("<br/>","")
            #if "00:" in duration:#weg
            #    duration = 1#weg
            if showDateInTitle:
                title = date+" - "+title
            desc = channel+" ("+date+")\n"+title
        elif match2:
            duration = match2[0]
            #if "00:" in duration:#weg
            #    duration = 1#weg
        title = cleanTitle(title)
        match = re.compile('/image/(.+?)/16x9/', re.DOTALL).findall(entry)
        thumb = baseUrl+"/image/"+match[0]+"/16x9/448"
        addLink(title, videoID, 'playVideo', thumb, duration, desc)
    match = re.compile('class="entry" data-ctrl-content.*Loader-source="{'pixValue'.+?href="(.+?)">(.+?)<', re.DOTALL).findall(content)
    for url, type in match:
        if "&gt;" in type:
            addDir(translation(30009), baseUrl+url.replace("&amp;","&"), "listVideos", "")
    xbmcplugin.endOfDirectory(pluginhandle)
    if forceViewMode:
        xbmc.executebuiltin('Container.SetViewMode('+viewMode+')')

Alles anzeigen

Code

def addLink(name, url, mode, iconimage, duration="", desc=""):
    u = sys.argv[0]+"?url="+urllib.quote_plus(url)+"&mode="+str(mode)
    ok = True
    liz = xbmcgui.ListItem(name, iconImage=defaultThumb, thumbnailImage=iconimage)
    #liz.setInfo(type="Video", infoLabels={"Title": name, "Duration": duration, "Plot": desc})#weg
    liz.setInfo(type="Video", infoLabels={"Title": name, "Plot": desc})#neu
    
    d_split = duration.split(':')#neu
    d = int(d_split[0])*60 + int(d_split[1])#neu
    liz.addStreamInfo('video',{'duration' : d})#neu
    
    liz.setProperty('IsPlayable', 'true')
    if useThumbAsFanart:
        if not iconimage or iconimage==icon or iconimage==defaultThumb:
            iconimage = defaultBackground
        liz.setProperty("fanart_image", iconimage)
    else:
        liz.setProperty("fanart_image", defaultBackground)
    liz.addContextMenuItems([(translation(30012), 'RunPlugin(plugin://'+addonID+'/?mode=queueVideo&url='+urllib.quote_plus(u)+'&name='+urllib.quote_plus(name)+')',)])
    ok = xbmcplugin.addDirectoryItem(handle=int(sys.argv[1]), url=u, listitem=liz)
    return ok

Alles anzeigen

Ich hab mal schnell eine Qualitätsauswahl der Streams gebastelt. Nicht schön, funktioniert aber. Per "user_quality" (0 bis 3) kann die Qualität verstellt werden:

Code

def playVideo(videoID):
    content = getUrl(baseUrl+"/tv/?documentId="+videoID)
    match = re.compile('<div class="box fsk.*?class="teasertext">(.+?)</p>', re.DOTALL).findall(content)
    if match:
        xbmc.executebuiltin('XBMC.Notification(Info:,'+match[0].strip()+',15000)')
    else:
        content = getUrl(baseUrl+"/play/media/"+videoID+"?devicetype=pc&features=flash")
        match = re.compile('"valid":true,(.*?)}', re.DOTALL).findall(content)
        matchUT = re.compile('"_subtitleUrl":"(.+?)"', re.DOTALL).findall(content)
        matchLive = re.compile('"_isLive":(.+?),', re.DOTALL).findall(content)
        url = ""
        q = 0
        for valid in match:
            match_quality = re.compile('"_quality":(.*?),', re.DOTALL).findall(valid)
            match_server = re.compile('"_server":"(.*?)",', re.DOTALL).findall(valid)
            split_stream = valid.split('"_stream":')
            quality = match_quality[0]
            if quality == '"auto"':
                quality = '0'
            try:
                server = match_server[0]
            except:
                server = ''
            stream = split_stream[-1]
            
            if '[' in stream:
                s = stream.split(',')
                stream = s[0]#bessere auswahlmoeglichkeit in zukunft?
                stream = stream.replace('[','')
                stream = stream.replace(']','')
            stream = stream.replace('"','')
            if user_quality >= int(quality) and int(quality) > q:
                q = int(quality)
                if server.startswith("rtmp"):
                    if matchLive[0]=="true":
                        url = server+" playpath="+stream+" live=true"
                    elif server:
                        url = server+stream
                elif matchLive[0]=="true" or not server:
                    url = stream
        listitem = xbmcgui.ListItem(path=url)
        xbmcplugin.setResolvedUrl(pluginhandle, True, listitem)
        if showSubtitles and matchUT:
            setSubtitle(baseUrl+matchUT[0])

Alles anzeigen

AddonScriptorDE

Zitat von membrane

Bessere BR Videos
...
Ich muss zugeben, das Verfahren ist etwas verrückt.

Falls es ne einfache Lösung ohne Cookie und so gibt, kann ich es einbauen. Aber bei den wenigen Videos in der ARD Mediathek kann man das glaub ich ignorieren.
Scheint aber einige Sendungen auf BR/BR-Alpha zu geben, die nicht in der ARD Mediathek enthalten sind. Muss ich mir mal genauer anschauen. Wenn es sich lohnt, schreib ich für die BR/BR-Alpha Mediathek auch mal ein Addon.

Zitat von membrane

AddonScriptorDE: Warum rundest du die Zeiten? Genaue Werte sind doch viel schöner ;):

Sehe ich nicht so. Seit Frodo ist es ja standardmäßig so, dass nur Minuten angezeigt werden. Bei Addons, in denen ausschließlich kurze Videos verfügbar sind, nutze ich auch schonmal addStreamInfo für die sekundengenaue Anzeige. Wenn die meisten Videos jedoch etwas länger sind, wie bei der ARD Mediathek, finde ich es ohne Sekunden schöner. Videos kürzer als 1 Minute runde ich daher auf, da sonst überhaupt keine Dauer angezeigt wird, was auch doof aussieht.

Zitat von membrane

Ich hab mal schnell eine Qualitätsauswahl der Streams gebastelt. Nicht schön, funktioniert aber. Per "user_quality" (0 bis 3) kann die Qualität verstellt werden:

Das geht aber auch einfacher/schöner...
Eine Qualitätsauswahl baue ich meist nur ein, wenn sie wirklich Sinn macht. Da sich die Auflösung/Bitrate in Grenzen hält und die Videos auf allen halbwegs modernen Systemen ohne Probleme abgespielt werden sollten, hab ich die Auswahl weggelassen und wähle automatisch die Beste. Falls es wirklich jemand wünscht, baue ich es mal vernünftig ein...

Vielleicht hast du ja doch Lust/Zeit, mal nach der ProSiebenSat1 Geschichte zu gucken...

sarbes

Zitat von AddonScriptorDE

Falls es ne einfache Lösung ohne Cookie und so gibt, kann ich es einbauen. Aber bei den wenigen Videos in der ARD Mediathek kann man das glaub ich ignorieren.

Es sind schon ein paar Videos. Allerdings bringt die ARD Mediathek die URL zu BR direkt mit. War mit der alten nicht so.

Zitat von AddonScriptorDE

Sehe ich nicht so. Seit Frodo ist es ja standardmäßig so, dass nur Minuten angezeigt werden. Bei Addons, in denen ausschließlich kurze Videos verfügbar sind, nutze ich auch schonmal addStreamInfo für die sekundengenaue Anzeige. Wenn die meisten Videos jedoch etwas länger sind, wie bei der ARD Mediathek, finde ich es ohne Sekunden schöner.

Bei Confluence werden auch die Sekunden angezeigt. Gerundete Werte sehen IMO komisch aus (z.B. 23:00) - warum eine Sekundenanzeige haben wenn sie nicht genutzt wird.

Zitat von AddonScriptorDE

Das geht aber auch einfacher/schöner...
Eine Qualitätsauswahl baue ich meist nur ein, wenn sie wirklich Sinn macht. Da sich die Auflösung/Bitrate in Grenzen hält und die Videos auf allen halbwegs modernen Systemen ohne Probleme abgespielt werden sollten, hab ich die Auswahl weggelassen und wähle automatisch die Beste. Falls es wirklich jemand wünscht, baue ich es mal vernünftig ein...

Naja, wenn man es schön machen will darf man hier nicht mit Regex arbeiten. Die Qualitätsauswahl ist auf jeden Fall erforderlich, da jetzt nur ein zufälliges Video ausgewählt wird, nicht das Beste. Außerdem gibt es einige Videos mit 4 MBit/s. Nutzer mit Volumenverträgen/Wlan stoßen da schonmal an Grenzen.

Schau dir mal http://www.ardmediathek.de/tv/Reload/Wolf…castId=10535948 an, darum sind diese Veränkungen im Code. Die Möglichkeit eine maximale Bitrate einzustellen ist quasi ein Abfallprodukt.

Zitat von AddonScriptorDE

Vielleicht hast du ja doch Lust/Zeit, mal nach der ProSiebenSat1 Geschichte zu gucken...

Ich bastel nur an Add-ons an denen ich ein persönlichen Interesse habe ;).

AddonScriptorDE

Zitat von membrane

Die Qualitätsauswahl ist auf jeden Fall erforderlich, da jetzt nur ein zufälliges Video ausgewählt wird, nicht das Beste.

Es wird grundsätzlich schon die beste Qualität gewählt. Bei den Videos, die ich getestet habe, hats ja auch immer funktioniert.
Jedoch ist mir so ein komisches, wie das von dir erwähnte, nicht untergekommen. Hab jetzt mal provisorisch was eingebaut - kannst ja mal drauf achten, ob so immer das Beste gewählt wird.
Die Auswahl lass ich erstmal weg, da sie ohne Bitrate/Auflösung auch nicht wirklich Sinn macht. Man könnte unter Umständen nämlich auch Qualitätsstufen "verpassen".

Zitat von membrane

Ich bastel nur an Add-ons an denen ich ein persönlichen Interesse habe

Hätte ja auch nicht nachgefragt, wenn du es nicht selbst vorgeschlagen hättest. Bin davon ausgegangen, dass du Interesse daran hast...

Zoomby

Kannst du das bitte etwas genauer erklären, wie man den 20 Uhr Schutz umgeht?
Ich hab das nicht verstanden.

Danke!

AddonScriptorDE

Zitat von Zoomby

Kannst du das bitte etwas genauer erklären, wie man den 20 Uhr Schutz umgeht?
Ich hab das nicht verstanden.
Danke!

Ich geb mal ein paar Tipps:
default.py -> def playVideo() -> Fünf Zeilen müssen weg...

Zoomby

Zitat von AddonScriptorDE

[…]

und welche? Ich bin echt zu blöd!

Cedric

Mal eine generelle Idee, die so ziemlich für alle Plugins gilt:
Viele Sender bieten zusätzlich zur "normalen" Methiathek für Desktop-Browser auch Mobilversionen oder HbbTv-Varianten an. Wäre es nicht sinnvoll diese zu parsen/scrapen statt die "großen" Versionen? Oftmals enthalten die mobilen/HbbTv-Varianten viel weniger Schnickschnack und haben einen deutlich schlankeren Code. Dadurch könnte man Mediatheken, die nicht über eine XML-Schnittstelle verfügen auch viel schneller parsen/scrapen…

Ansonsten gibt es auch viele Smartphone-Apps die man mit einem Dev-Proxy mal auf versteckte XML-Schnittstellen prüfen könnte… was meint ihr?

sarbes

Wenn ich mich recht erinnere haben die HbbTV Varianten von ARD und ZDF nicht alle Features wie die richtigen Mediatheken. Teilweise nutzen Mediathek/HbbTV auch die selben Schnittstellen. Änderungen sind bei HbbTV öfters mal - man hat auch da kein beständiges Interface.

Die ARD App ist quasi eine Webseite, die von ZDF benutzt AFAIK die selben Quellen wie die Flash Mediathek.

Der jetzige Stand ist nicht optimal, lässt sich aber nicht ändern. Fast jede Änderung verursacht 3-4 Tage Ausfälle in unseren Add-ons. Einzig die ARD hat ein nicht genutztes, aber stabiles und anscheinend auch komplettes Interface zu Mediathekinhalten. Leider ist es auch vollkommen undokumentiert.

ed76

hallo,
ich nutze auch recht viele addons von addonscriptorde. hier vermisse ich prinzipiell auch die möglichkeit die bildqualität auszuwählen. und zwar aus einem ganz einfachen grund: leider gibt es in deutschland immer noch viele gegenden in denen nur langsames internet mit 1 oder 2 mbit angeboten wird. und hier reicht dann die bandbreite oft nicht um ein video in max qualität/720p ruckelfrei wiederzugeben. in mediaportal ist das so gelöst, das vor jedem start eines videos ein fenster aufpoppt in dem die zur verfügung stehenden qualitäten (auflöung/bitrate) aufgelistet sind und man sich somit individuell für jedes video die qualität aussuchen kann. alternativ würde möglicherweise eine funktion "maximale auflösung" in den plugineinstellungen auch vollkommen ausreichend sein. ich persönlich habe zwar 25 mbit, habe aber 3 freunde die diese funktion sehr zu schätzen wüssten....

AddonScriptorDE

Zitat von Zoomby

und welche? Ich bin echt zu blöd!

Okay, noch ein paar Tipps: Es sind fünf aufeinanderfolgende Zeilen und eine enthält: "fsk". Sollte recht eindeutig sein...

Zitat von ed76

hallo,
ich nutze auch recht viele addons von addonscriptorde. hier vermisse ich prinzipiell auch die möglichkeit die bildqualität auszuwählen. und zwar aus einem ganz einfachen grund: leider gibt es in deutschland immer noch viele gegenden in denen nur langsames internet mit 1 oder 2 mbit angeboten wird. und hier reicht dann die bandbreite oft nicht um ein video in max qualität/720p ruckelfrei wiederzugeben. in mediaportal ist das so gelöst, das vor jedem start eines videos ein fenster aufpoppt in dem die zur verfügung stehenden qualitäten (auflöung/bitrate) aufgelistet sind und man sich somit individuell für jedes video die qualität aussuchen kann. alternativ würde möglicherweise eine funktion "maximale auflösung" in den plugineinstellungen auch vollkommen ausreichend sein. ich persönlich habe zwar 25 mbit, habe aber 3 freunde die diese funktion sehr zu schätzen wüssten....

Grundsätzlich achte ich auch darauf. Wenn es auf einer Seite Videos in HD gibt, und zusätzlich andere Qualitätsstufen angeboten werden, gibts in meinen Addons ja auch eine Qualitätsauswahl.
Mal ein paar Beispiele: arte, blip, dailymotion, dmax, southpark, vevo
Auf manchen Seiten gibts die Videos auch nur in einer Version, z.b. myspass oder now
Bei Addons (bestofyoutube, infinitylist, reddit, ...), welche z.b. Youtube oder Vimeo nutzen, musst die Qualität über das Youtube/Vimeo Addon einstellen.

Falls wirklich gewünscht, kann ich es auch bei Addons einbauen, welche keine HD Videos zur Verfügung stellen. Z.b. pro7/7tv.
Bei der ARD gibt es jedoch keine Informationen zur Bitrate/Auflösung, daher ist das da nicht wirklich möglich. Gibt auch nicht immer gleich viel Streams. Ich schau mir das aber auch nochmal genauer an.
Die Auswahl vor jeder Wiedergabe finde ich nicht wirklich optimal, daher habe ich das bisher nie eingebaut. Falls unbedingt gewünscht, kann ich es natürlich auch (nach und nach) hinzufügen...

sarbes

Zitat von AddonScriptorDE

Bei der ARD gibt es jedoch keine Informationen zur Bitrate/Auflösung, daher ist das da nicht wirklich möglich.

Die Eingruppierung ist doch mit "_quality" möglich.

Dev-Thread zu der ARD Mediathek

Jetzt mitmachen!

Benutzer online in diesem Thema