Scraping TV-Serien mit Lücken und Fehlern

  • Nach Neuinstallation von Kodi (auf neuem Windows 10 Rechner) nahm ich aktuelle Version 18.2. Gleiche Datenbasis (ich meine hier die Medienfiles auf NAS, nicht die Datenbank) wie bei früherer Installation und anderen noch parallel vorhandenen Installationen. Bei den Serien gibt es leider tlws. Kuddelmuddel, wobei kürzlich bei Neuinstallation auf Android (Kodi 17.6, weil dort 18.x nicht vernünftig läuft) alles noch gut war ...

    Ein Beispiel was schief ging: Filename "Columbo\Columbo S01E08 Zigarren für den Chef (Short Fuse).ts". In Kodi [definition=12,4][definition='1','3']Debug[/definition][/definition] [definition='1','0']log[/definition] steht:

    Code
    2019-05-30 23:22:07.081 T:8248   DEBUG: VideoInfoScanner: Found episode match Z:\TV show\Columbo\Columbo S01E08 Zigarren für den Chef (Short Fuse).ts (s1e8) [s([0-9]+)[ ._x-]*e([0-9]+(?:(?:[a-i]|\.[1-9])(?![0-9]))?)([^\\/]*)$]

    Weiter unten steht:

    Code
    <episode><title>Zigarren für den Chef</title><aired>1972-01-19</aired><epnum>6</epnum><season>1</season><url cache="tmdb-873-de-season-1.json">

    Man beachte, aus Episode 8 wurde hier Episode 6. Wenn ich dann den Film abspiele (der nun in Kodi unter Staffel 1, 06. Zigarren für den Chef erscheint), wird abgespielt: Mord in Pastell. Das ist auch die wirkliche Episode 6. (Und in Kodi drin falsch als Episode 4). Der Titel ist (wie zu erwarten) Deutsch (war auch im Scraper eingestellt). Der Beschreibungs-Text ist Englisch. (War "früher" bei Kodi 17.6 Deutsch).

    Scheint reproduzierbar. Habe auch DB gelöscht. Viele solcher Beispiele. Gesamtes [definition='1','4']Debuglog[/definition] kann ich leider nicht ganz einfach liefern: "You have exceeded the maximum paste size of 512 kilobytes per paste. PRO users don't have this Limit!" (Ist 7 MB groß für Scrape meiner Serien).

    Missing Movies (das einzige Addon, das ich installiert habe), zeigt übrigens Columbo S01E08 Zigarren für den Chef (Short Fuse).ts als missing an. Auf https://www.thetvdb.com/series/columbo/seasons/1 wird die Episode korrekt als Episode 8 angezeit und nicht als Episode 6.

    Wer tief einsteigen möchte. Der einzig weitere Eintrag im Riesen [definition=12,3]Debug-Log[/definition] mit "Zigarre" - und der passt zur Folge - lautet:

    Code
    2019-05-30 23:22:08.578 T:8248   DEBUG: scraper: GetEpisodeDetails returned <details><title>Zigarren für den Chef</title><season>1</season><episode>6</episode><aired>1972-01-19</aired><uniqueid type="tmdb" default="true">48582</uniqueid><ratings><rating name="tmdb" default="true"><value>7.286,</value><votes>7</votes></rating></ratings><url function="ParseFallbackTMDBPlot" cache="tmdb-873-en-episode-s1e6.json">http://api.themoviedb.org/3/tv/873/season/1/episode/6?api_key=6a5be4999abf74eba1f9a8311294c267&language=en</url><director>Edward M. Abroms</director><credits>Jackson Gillis</credits><credits>Jackson Gillis</credits><credits>Lester Pine</credits><credits>Tina Pine</credits><chain function="GetCast">873|1|6</chain><chain function="GetEpisodeArt">873|1|6</chain></details>
    2019-05-30 23:22:08.578 T:8248   DEBUG: CurlFile::Open(0x1f65b31af90) http://api.themoviedb.org/3/tv/873/season/1/episode/6?api_key=6a5be4999abf74eba1f9a8311294c267&language=en
    2019-05-30 23:22:08.790 T:8248   DEBUG: CScraperUrl::Get: Using "UTF-8" charset for "http://api.themoviedb.org/3/tv/873/season/1/episode/6?api_key=6a5be4999abf74eba1f9a8311294c267&language=en"
    2019-05-30 23:22:08.791 T:8248   DEBUG: scraper: ParseFallbackTMDBPlot returned <details><plot>A chemist rigs a bomb in his uncle's car to gain control of his uncle's company, then plants clues to make Columbo suspicious of the company's Vice-President.</plot></details>
    2019-05-30 23:22:08.791 T:8248   DEBUG: scraper: GetCast returned <details><url function="ParseTMDBBaseImageURL" cache="tmdb-config.json">http://api.themoviedb.org/3/configuration?api_key=6a5be4999abf74eba1f9a8311294c267</url><url cache="tmdb-873-de-season-1.json" function="ParseCast">http://api.themoviedb.org/3/tv/873/season/1?api_key=6a5be4999abf74eba1f9a8311294c267&language=de&append_to_response=credits,external_ids,images&include_image_language=de,en,null</url></details>
    2019-05-30 23:22:08.791 T:8248   DEBUG: scraper: ParseTMDBBaseImageURL returned <details>http://image.tmdb.org/t/p/</details>

    Interessant auch, dass da "language=en" steht, obwohl ich in Kodi "de" eingestellt habe, und andere Serien (im identischen Durchlauf) auch deutsche Beschreibungen gekriegt haben. Irgendwie ist da Chaos, und Kodi 18 nahe an einer Frustration. Wäre übrigens bei 17.6 geblieben. Aber, ich musste lernen, dass 17.6 End of Life ist. Hatte Patches im Kodi Github geliefert (für ganz anderes Problem) - backports auf 17.6 werden nicht mehr angenommen. (Nicht mal ein halbes Jahr später, als die Version noch aktuell war).

    Kodi 21.1, 17.6, 21.1, 16, 20.5 on Windows 11 Pro, Android 6, Android 12, FireTV Box 2nd Gen, FireTV 4k Max 2nd Gen
    Media on NAS, OpenMediaVault 6 (Debian Linux).

  • Ich sehe das genaue Problem. Du nutzt den "TheMovieDB" Scraper und linkst uns "TheTVDB" Columbo Season.
    Der Standard-Scraper ist gewechselt worden, ich glaube das war ein Problem der Api Zugriffe, die dazu geführt haben das der Schlüssel den Kodi nutzt zuviel benutzt und gesperrt wurde.

    Auf TheMovieDB hat die erste Staffel nur 7 Folgen und dort ist Short Fuse der Sechste Teil.
    S01E01 und E02 sind eigentlich Specials gewesen, und damit hat TheMovieDB recht.
    https://www.themoviedb.org/tv/873-columbo…?language=de-DE

    Also Lösung für dich - TheTVDB Scraper nachinstallieren und nutzen oder sie dem Datenstand von TheMovieDB anpassen.

    --------------
    Guides nicht mehr verfügbar wegen Youtube unvermögen guten von schlechten Kodi Videos zu unterscheiden.

    Einmal editiert, zuletzt von SkyBird1980 (31. Mai 2019 um 05:58)

  • Ok, danke dir erst Mal. Beim Nachstellen des Problems war mir irgendwie aufgefallen, dass ich weniger Einstellmöglichkeiten zum Scraper hatte, als gewohnt. Und gewohnt war ich auch TheTVDB - hatte da auch immer mehr oder weniger Default genommen und Sprache auf Deutsch umgestellt. Hatte allerdings in Erinnerung, dass es das 2 Stellen gab, jetzt kam mir schon komisch vor, dass es nur noch eine Stelle war, bei der die Sprache eingestellt wurde.

    Du schreibst zum einen:


    Also Lösung für dich - TheTVDB Scraper nachinstallieren und nutzen […]

    Zum anderen:

    Der Standard-Scraper ist gewechselt worden [von TheTVDB zu TheMovieDB], ich glaube das war ein Problem der Api Zugriffe, die dazu geführt haben das der Schlüssel den Kodi nutzt zuviel benutzt und gesperrt wurde.

    Ist denn der Wechsel überhaupt erfolgsversprechend, wenn der Schlüssel gesperrt wurde?
    Ich hoffe schon ...

    Am Rande, ich hatte mich immer an Wikipedia orientiert, z.B. hier: https://de.wikipedia.org/wiki/Columbo/E…liste#Staffel_1, in Übereinstimmung mit der Englischen Variante https://en.wikipedia.org/wiki/List_of_Columbo_episodes#Season_1_(1971–72). Gerade bei Columbo hatte bei der 10. und letzten Staffeln leider thetvdb auch schon Abweichungen - die hatte ich dann durch .nfo Dateien korrigiert.

    Noch eine weitere kleine Unzulänglichkeit: MissingMovies zeigt mir "Raumschiff Enterprise - Das nächste Jahrhundert" als "Missing TV Show" an. Ist allerdings da, mit ":" statt "-". (Den Doppelpunkt kann ich ja nicht als Ordnername nutzen). Bei Videos->Dateien->TV Show sehe ich nun beide Schreibwesen nebeneinander. Habe ich auf meinen Krypton-Installationen nicht. Auch Folge von TheTVDB vs. TheMovieDB?

    Kodi 21.1, 17.6, 21.1, 16, 20.5 on Windows 11 Pro, Android 6, Android 12, FireTV Box 2nd Gen, FireTV 4k Max 2nd Gen
    Media on NAS, OpenMediaVault 6 (Debian Linux).

  • Ist denn der Wechsel überhaupt erfolgsversprechend, wenn der Schlüssel gesperrt wurde?

    Durch den Wechsel von Kodi zum neuen Scraper sind natürlich auf dem alten extrem weniger Zugriffe. Daher sollte das wohl in Ordnung gehen.
    Nicht vergessen, das ganze ist ja kostenlos.


    Noch eine weitere kleine Unzulänglichkeit: MissingMovies zeigt mir "Raumschiff Enterprise - Das nächste Jahrhundert" als "Missing TV Show" an. Ist allerdings da, mit ":" statt "-". (Den Doppelpunkt kann ich ja nicht als Ordnername nutzen). Bei Videos->Dateien->TV Show sehe ich nun beide Schreibwesen nebeneinander. Habe ich auf meinen Krypton-Installationen nicht. Auch Folge von TheTVDB vs. TheMovieDB?

    Hm, das kann ich nicht nachvollziehen, die Serie hab ich zufällig *auf Rank zeig* - Allerdings nutze ich Missing Movie Scanner auch nicht.
    Ich kann hier leider auch nicht absolut sprechen, weil ich meine Serien "vorscrape" mit Emby Server und der größtenteils bevorzugt noch über TheTVDB scraped (und die NFOs speichert) - so kommen die Daten in mein Kodi.

    --------------
    Guides nicht mehr verfügbar wegen Youtube unvermögen guten von schlechten Kodi Videos zu unterscheiden.

  • Danke nochmals. Kurze Rückmeldung: TVDB Scraper installiert, Serien-Quelle raus und wieder rein, TVDB ausgewählt und alles scheint nun wieder wie gewünscht (durchprobiert, ob da jetzt nicht Folgen durcheinander gekommen wären, kann ich auf die Schnelle nur punktuell). MissingMovies zeigt keine Lücken mehr.

    Scheint mir bisschen "Fehlerfördernd", dass der Default-Serien-Scraper ausgewechselt wurde. Sieht man (nach meiner Erinnerung) auch nicht (zumindest nicht sehr offensichtlich), wenn nur ein Serien-Scraper da ist. Gewohnheitsmäßig war ich halt von TVDB als Default ausgegangen. Im [definition='1','4']Debuglog[/definition] sah man es schon - da war ich blind. (Die Namen sind schon ähnlich).

    Kodi 21.1, 17.6, 21.1, 16, 20.5 on Windows 11 Pro, Android 6, Android 12, FireTV Box 2nd Gen, FireTV 4k Max 2nd Gen
    Media on NAS, OpenMediaVault 6 (Debian Linux).

  • vielleicht sind ja Tools zum vorscrapen, wie SkyBird1980 schon erwähnt hat, was für dich.
    Ich hab gute Erfahrungrn mit MediaElch oder tinyMediaManager gemacht. Die sind alle Netzwerk fähig und für diverse Betriebssyteme erhältlich.
    Danach nur noch in kodi mit Local Informationen scrapen.

    Spoiler anzeigen

    Nokia 8000 - Raspy4 mit Volumio 2.917 + 8.8 Display + Pro-Ject DAC - Raspberry Pi 3 mit piCorePlayer 7.0.0 -JogglerHD - Raspy4 mit Volumio 2.917 + 11,9" Display + Pro-Ject Stereo Box DS

  • Danke für den Tipp. Ist aber wohl nix für mich. Habe da für die Filme (nicht für die Serien) bereits privates selbst-programmiertes Verfahren, die .nfo Dateien zu generieren (weil mir das so Freude macht, und für meinen persönlichen Bedarf auch sehr effizient funktioniert - ist aber speziell und nicht wirklich geeignet, das zu teilen). Serien hatten bisher noch keine Probleme bereitet - bis auf den Anlass des ersten Beitrags hier. War dann ja sehr leicht auszumerzen.

    Kodi 21.1, 17.6, 21.1, 16, 20.5 on Windows 11 Pro, Android 6, Android 12, FireTV Box 2nd Gen, FireTV 4k Max 2nd Gen
    Media on NAS, OpenMediaVault 6 (Debian Linux).

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!