Welche API zur Ermittlung der IMDb-ID

Hallo,

bei meiner etwas größeren Mediensammlung (allein ~4,5k Filme) ist eine manuelle Verwaltung zeitlich mittlerweile nicht mehr zu bewältigen. Daher möchte ich gerne einen (halb-)automatisierten Ablauf umsetzen, der folgende Punkte berücksichtigt:

1. Anhand des Namens/Titels und Jahrs eine wirklich eindeutige ID herausfinden:

Da es trotz Titels und Jahrs nachwievor zu Mehrfachtreffern oder gar zu gar keinen Treffern kommen kann, ist hier leider eine einmalige, manuelle Kontrolle je Medium unausweichlich. Da aber ein Film (oder generell ein Medium) grundsätzlich nahezu niemals einmalig existiert, sondern in unterschiedlichsten Fassungen vorliegt (vor allem durch regionale Anpassungen und unterschiedliche Schnittfassungen), ist eine IMDb-ID (und all die Ableger wie OMDb usw.) nicht wirklich eindeutig. Dafür gibt es die weltweit eindeutige EIDR-ID. Die Verbindungen zu IMDb (usw.) finden sich dann am obersten, abstrakten Element.

Beispiel: The Dark Knight (2008)
- IMDb: 1 Eintrag
- EIDR: 1 Eintrag je Edit (abstraktes Elternelement mit sämtlichen IDs, deutsches Release)

D.h. man kann allein mittels einer IMDb (usw.) keine unterschiedlichen Versionen desselben Mediums sinnvoll und weltweit eindeutig verwalten. Aktuell dürfte Ember (und alle anderen Medienverwalter) dazu eine zusätzlich lokale ID nutzen, die zur automatisierten Ermittlung, ob eine Mediumfassung schon vorhanden ist, nicht genutzt werden kann.

Problem: EIDR bietet zwar eine recht umfassend dokumentierte API an, die aber wohl nur nach einem mir unklaren Registrierungsprozess genutzt werden kann.

Frage: Kennt jemand von euch EIDR und weiß genaueres über den Registrierungsablauf und die zugehörige API-Anbindung (am Besten per C# oder PHP)?

2. Vorhandenes Medium anhand der IMDb-ID scrapen

Über die EIDR-Elternelement-ID könnte man, wie erwähnt, die IMDb-ID ermitteln und dann alle zugehörigen IMDb-Daten scrapen.

Problem: IMDb bietet meines Wissens nach seit 2017 keine API mehr an, sondern nur wöchentlich aktualisierte, stark abgespeckte .tsv-Dateien, die man manuell herunterladen und in eine eigene Datenbank überführen müsste. Diese Dateien haben darüber hinaus auch eine gänzlich andere Struktur als die noch verfügbaren .list-Dateien, die den Datenbestand von IMDb bis 2017 beinhalten. Es ist mir leider keine freie alternative API bekannt, die die Datenbestände zusammenführt bzw. die in den .tsv-Dateien fehlenden Informationen von IMDb ergänzt.

Frage: Wie wurde bei Ember dieses Problem gelöst? Ich vermute, dass das Scrapen über Webseiteninhalte stattfindet, was nicht nur sehr lange dauert, sondern seitens IMDb auch verboten ist.

Zusatzfrage: Alternativ würde ich gerne wissen, welche freie API existiert, anhand derer sich zumindest die IMDb-ID anhand des Namens und Jahrs feststellen ließe und gibt es eine Dokumentation zur Anbindung dieser API?

Danke für die Info.

Ich hätte noch 4 Anfragen:

1. Könntest du ggf. zusätzlich eine einfache Möglichkeit einbauen, um jedem Medium die IMDB-ID direkt zuzuweisen?

Entweder per optionaler Einblendung der IMDB-ID als Eingabespalte in der Liste links oder als zusätzliches Fenster und dann dort als Liste mit Eingabemöglichkeit? Das Einzeln dauert zu lange - auch, weil er jedesmal erst automatisch sucht, obwohl ich die konkrete ID bereits manuell selbst herausgesucht habe.

2. Könntest du auch das Scrapen des deutschen IMDB-Titels einbauen oder den Bug beheben, dass er da lediglich den Originaltitel zieht?

Ich möchte nicht OFDB benutzen, da die Titel hier teilweise stark abweichen (bspw. bei IMDB-ID tt0057546). Aktuell nutze ich TMDB, aber auch das stimmt nicht immer mit IMDB überein, siehe bspw. IMDB-ID tt0316624.

3. Unter Einstellungen gibt es ein Sperrhäkchen fürs Scrapen von Titeln - wie verhält es sich genau, wenn noch gar kein Titel gesetzt ist und wenn kein deutscher Titel gesetzt ist (wird das abgeglichen)?

Also ich wünschte mir ein Verhalten, dass der deutsche IMDB-Titel gezogen wird, insofern noch gar kein Titel oder ein anderssprachiger Titel gezogen wurde. Den deutschen Titel möchte ich danach händisch nochmal anpassen können, ohne dass er die Information verliert, dass das immer noch der deutsche Titel ist und letztlich soll er diesen Titel dann für immer und ewig behalten, auch wenn ich später mal die komplette NFO rescrapen will. Ist das umsetzbar?

Ich frage aus dem Grund, da ich gerne sämtliche Titelformen vereinheitlichen möchte und aus diesem Durcheinander:
- "Titel - Teil 2: asdf"
- "Titel II - asdf"
- "Titel 2: asdf"
- "Titel - asdf"
... gerne durchweg "Titel: asdf" bzw. "Titel 2: asdf" machen möchte.

Bei Bedarf (bei Filmsets/Filmreihen) würde ich auch direkt die Filmreihe davor schreiben, wie bspw. bei IMDB-ID tt0322259 & tt1596343:
- aus "2 Fast 2 Furious" würde ich "The Fast and the Furious 2: 2 Fast 2 Furious" machen
- aus "Fast & Furious Five" würde ich "The Fast and the Furious 5: Fast & Furious Five" machen
- usw.

Das sollte dann halt nur nich verloren gehen und als Ausgangstitel benötige ich hierfür jeweils den deutschen IMDB-Titel.

4. Ist es möglich, mit einem einfachen Klick sämtliche Kurzbeschreibungen (die von OFDB mit der Umlautproblematik, da nicht UFT-8-konform gespeichert) zu entfernen und mit der längeren Beschreibung (die neu von TMDB und mit korrekten Umlauten gezogen wurde) gekürzt zu überschreiben?

Zitat von DanCooper

In dieser NFO ist nach Regeln der Szene immer ein Link zur IMDb Page dabei.

Ja, die scrape ich bereits selbst (alle Unterordner vom in "Basis" definierten Pfad) mit ner kleinen Batch-Datei und erzeuge aus der Original-.nfo (die kein Schwein braucht) ein Ur-Kodi-XML-konformes .nfo, insofern der IMDb-Link mit der ID gefunden wird. Hier der Code:

@echo off & setlocal
set "Basis=m:\_new\1"
set "Such=imdb.com"


pushd "%Basis%"
for /f "delims=" %%i in ('findstr /ims "%Such%" *.nfo') do call :ProcessFile "%%i"
popd
goto :eof


:ProcessFile
for /f "delims=" %%a in ('findstr /i "%Such%" %1') do set "Zeile=%%a"
call set "String=%%Zeile:*%Such%=%%"
for /f %%a in ("%String%") do for %%w in ("%%a.") do set "Wert=%%~nxw"
if not defined Wert echo Wert in %1 nicht gefunden & goto :eof
set "nfo=%~dpn1.nfo"
(
    echo ^<?xml version="1.0" encoding="utf-8"?^>
    echo ^<movie xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema"^>
    echo   ^<id^>%Wert%^</id^>
    echo ^</movie^>
)>"%nfo%"
echo del %1
goto :eof

Ansonsten: klar kann ich das händisch vorab auch manuell in die .nfo oder Ordner-/Dateinamen klatschen. Ist aber halt bekloppt, weil ich dann in Ember jedesmal erst die Datenbank aktualisieren muss. Da wäre eine Liste wesentlich handhaber - aber gut, die kommt ja dann v2.0 Bis dahin werd ich nun vorab die nfos erstellen.

Übrigens funktioniert dein Umbenenn-Tool aus mir unerfindlichen Gründen nicht zuverlässig, d.h. er lässt manche Filme aus und man muss es mehrfach ausführen und dann trotzdem nochmal kontrollieren. Dabei werden abundzu auch 2 .nfos erzeugt (eine mit altem und eine mit neuem Namen, obwohl der Haken bei "Überschreibe nicht konforme NFOs" sitzt).

Daher hab ich mir vor Ewigkeiten noch ein kleines Powershell-Skript geschrieben, das alles gemäß .nfo-Titel und (Jahr) umbenennt:

# Suchverzeichnis
$rootFolder = "m:\_new\1\"
$nfofiles = dir "$rootFolder\*.nfo" -Recurse | ?{!$_.PSIscontainer}
foreach($nfo in $nfofiles){
    # Infos aus XML-Datei holen
    $xml = New-Object XML
    $xml.Load($nfo.FullName)
    $title = $xml.SelectSingleNode("/movie/title").InnerText
    $year = $xml.SelectSingleNode("/movie/year").InnerText
    # Replacements
    $title = $title.Replace("<","(").Replace(">",")").Replace(":"," -").Replace("*","").Replace("?","")
    $title = ([Regex]'[/|\\]').Replace($title,"-")
    # Dateien umbenennen
    $files = dir "$($nfo.Directory)\*.*"
    foreach($file in $files){
        if ($file.Extension -ne ".actors"){
            if(([Regex]'-poster$|-fanart$|-trailer$').IsMatch($file.BaseName)){
                $split = $file.BaseName.Split("-")
                $specialEnd = $split[$($split.Length -1)]
       	        $newname = "$title ($year)-$specialEnd$($file.Extension)"
	    }else{
                $newname = "$title ($year)$($file.Extension)"
      	    }
            rename-item $file.FullName -NewName $newname
        }
    }


    # Ordner umbenennen
    rename-item $nfo.Directory "$title ($year)"
}

Ansonsten wg. den Titeln: Wie gesagt, ich gehe davon aus, dass die bisherige Datenbankhaltung bzgl. Filmen selbst (fehlende Varianten), damit auch Titeln, Beteiligte, aber auch Streams usw. nicht wirklich "korrekt" gelöst ist, wobei "korrekt" ja Ansichtssache ist. Es müsste meiner Ansicht nach wie folgt umgesetzt werden (sorry, wird länger, daher als Spoiler eingeklappt):

Im Programm sollte dann einfach erstmal alles in der internen Datenbank abgelegt werden können (damit könnte man theoretisch ja einfach mal alles nach und nach scrapen und hat es dann lokal verfügbar... jaja, theoretisch) und anhand der Settings (so wie wohl jetzt) in das Kodi-konforme Format (was sinnvollerweise entsprechender eigener Tabellen bedarf) übernommen werden.

Ich mutmaße, dass es aktuell aber zumindest etwas anders läuft, sonst wäre es kein Problem, den jeweiligen Titel einfach rauszufischen.

Ich würde dir auch gerne helfen, aber ich kenne mich mit C# (und WPF) nicht so gut aus - ist ein ziemliches Gefrickel. Also ich kann gut verstehen, warum neue Releases so lange dauern

Danke erstmal und guts Nächtle (du wirst wohl nach den Biers eh schon schlafen)

PS: Achso, ich habe noch ein Problem mit den Filmsets... wenn ich einen Film (bzw. mehrere) scrape, scraped er nicht gleich auch das zugehörige Set dazu. Füge ich es händisch in die Set-Liste ein und scrape, erkennt er auch nicht automatisch die Filme, die ich dazu in meiner Liste habe. Irgendwie sinnfrei und mühsam, alles händisch nachzutragen. Da kann ich auch gleich eigene Filmsets anlegen (was für ne Arbeit). Wieso sieht man eigtl in der Film-Detail-Info keine zugewiesenen Filmsets? Hab grad weiter unten den Filmset-Thread gesehen... und v1.5 runtergeladen. Na, ich tüftel mal umher.

Zitat von DanCooper

Das könntest du dir wie gesagt sparen, denn Ember liest die Release-NFO genauso aus und holt sich dort die IMDb ID.

Alles klar, gut zu wissen.

Zitat von DanCooper

Ich müsste halt schon genau wissen, was das konkrete Problem beim Umbennen ist.
...
Verstehe nicht, was du du das meinst.

Eventuell liegen die Missverständnisse an meiner Vorgehensweise. Ich nutze Ember und dessen Datenbank nicht für mein komplettes Filmarchiv, sondern füge da nur neue Filme hinzu, die nicht im Archiv, sondern in einem eigenständigen Ordner liegen (bspw. "M:\new"). Dort sammle ich erstmal alles und irgendwann in einer ruhigen Nacht öffne ich Ember, aktualisiere die Datenbank (in der als Ordner nur "M:\new" eingestellt ist) und gehe nach und nach die Filme durch:
- erstmal alle auf gut Glück nur die NFO scrapen lassen
- dann jeden Film einzeln nochmal checken, ob er überhaupt ne IMDb-ID gefunden hat und ob es denn auch die richtige ist
- nachdem alle IDs korrekt sind, lasse ich ihn dann nochmal "alles" scrapen
- dann lasse ich Ember alle Filme umbenennen (alles markieren -> rechtsklick -> umbenennen -> automatisch)
- das klappt halt nicht immer für alle Ordner korrekt (obwohl ich da keine doppelten Einträge drin habe), d.h. auch hier gugge ich nochmal in Ruhe die Ordnernamen und letztlich die einzelnen Ordner durch
- wenn dann alles durch ist, schließe ich Ember und verschiebe die Filme ins eigentliche Archiv (da nun alles wesentliche in den NFOs drinsteht)

Beim nächsten Aufruf von Ember heißt es dann wieder "Datenbank säubern" und "Datenbank aktualisieren" - da ich dort nur neue Filme scrape.

Abundzu (vielleicht 1x im Jahr) füge ich das ganze Archiv in Ember hinzu. Hauptsächlich, um doppelte Einträge zu entfernen, die beim Verschieben nicht aufgefallen sind (weil sich bspw. Titel zwischen IMDb, TMDB und OMDb unterscheiden) und um eine CSV/Excel-Liste des Archivs zu erstellen und aktuell, weil ich mal alle Filmsets erfassen will (da hakts hier grad mehrfach... mal schauen, eigenes Thema). Dann knall ich das Archiv wieder aus Ember raus.

Zitat von DanCooper

Dies wird in Ember 2.0 auf jeden Fall unterstützt, wenn auch nur mit einem zusätzlichen Feld "Variante".

Super, find ich gut.

Zitat von DanCooper

Ich weiss auch hier nicht genau, was du mit "nach und nach" scrapen meinst. Es wird ja alles in der Ember-Datenbank gespeichert, was gescrapt wird. Man muss theoretisch auch nicht alle Infos auf einmal scrapen, aber was soll das bringen?

Ich meine damit, einfach die gesamten IMDB Titel- & Schauspielerdaten (im Hintergrund) nach und nach abzuscrapen und die Daten lokal abzulegen (die gesamten IMDB-Daten von Stand 2017 umfassen 2 GB gepackt und 8 GB entpackt, die aktuellen TSV-Dateien 900 MB gepackt und 3.5 GB entpackt), damit man später beim Scrapen der eigenen Filme sofortigen Zugriff drauf hätte, was halt wesentlich schneller ginge (man könnte dazu übrigens auch die JMDb-DB einbinden). Ich weiß halt nicht, wie sinnvoll das mit der aktuellen Webseiten-Scrape-Technik wäre - vielleicht könnte man das auch regelmäßig von einem zentralen Ember-Server aus erledigen, der die Daten dann als Paket zum Download bereitstellte (der sollte dann aber wohl in den Bermudas oder so stehen und registriert sein ).

Zitat von DanCooper

Dafür brauchts keine eigene Datenbank, denn das Kodi-konforme XML Schema ist wie vorgesehen als Klasse hinterlegt und holt die nätigen Daten aus der DB. Im Prinzip könnte man mehrere XML-Schemen einbauen, aber das ist aktuell nicht nötig, da sich mehr oder weniger alle MediaCenter an die Kodi-Vorgaben halten oder diese zumindest lesen können.

Ah, okay.

Zitat von DanCooper

Du musst evtl unter Einstellungen => Filme => Scraper-Daten noch die Option Füge Filme automatisch den Filmset hinzu aktivieren.

Danke, aber das war schon aktiviert und funktioniert leider nicht. Das Set händisch hinzuzufügen, ist auch etwas seltsam. Ich muss das:
- erstmal anlegen (halt irgendwie benennen)
- dann raus aus dem Set und zum Eintrag gehen, wo er es hingepackt hat (da sonst ein anderes aktiv ist)
- dort rein, rescrapen, richtigen Name eingeben und scrapen (da zieht er bei mir nur die Set-ID von TMDb, sonst nichts)
- dann wieder raus, per Rechtsklick das Set auf TMDb aufrufen (um die zugeordneten Filme zu sehen)
- dann wieder ins Set und dort auf Filme suchen und die Filme nach und nach einfügen

Ich kann auch eine einmal gescrapte Set-ID nicht auf eine andere ID rescrapen. Muss dazu das vorhandene löschen, ein neues anlegen und neu scrapen.

Muss doch irgendwie einfacher gehen? ;-=)

Ich fände es übrigens auch gut für v2.0, wenn in den Optionen beim Mouse-Over eine Info zu den einzelnen Settings erscheinen würde oder per F1 nen Popup aufginge (sicher 'ne Heidenarbeit). Im Hilfsfenster unten links wird mir aktuell auch nichts angezeigt (wurde das verworfen oder liegts an mir?).

Zitat von DanCooper

Dieser Weg funktioniert absichtlich nicht, denn nicht jeder will genau die Filme in einem Filmset, die TMDb vorsieht.

Ah, das ist verständlich. Ich wundere mich auch über manche Zusammenstellungen auf TMDb (bspw. Trennung zwischen Animations- & Realfilmen, manchmal fehlen Teile im Set (bei der Conan Filmreihe fehlen Red Sonja und Conan), zu Eigenbegriffen gibt es gar keine Sets (bspw. Bud Spencer & Terrence Hill Reihe, Louis de Funes, Disney Meisterwerke, usw.)). Dann finde ich, dass Filme grundsätzlich auch mehreren Sets angehören können (bspw. Arielle zu Arielle Filmreihe, Disney Filmreihe, usw.).

Zitat von DanCooper

Ich bin der Meinung, dass man sich auf die wichtigsten Daten beschränken soll, denn die meisten anderen Daten kann eh kein MediaCenter anzeigen oder es gibt zumindest wie in Kodi Plugins, die die Daten dann live von TMDb abrufen und anzeigen, sollte man sie mal brauchen. Aber das ist meine Meinung.

Stimmt auch wieder. Ich sehe halt IMDb als DIE wesentliche DB und alle anderen als Ableger/Nachahmer, aber klar: was interessiert mich der "Post-Production Coordinator" usw.

Wichtiger wären da schon die regionalen Titel, Release-Dates, Laufzeiten, Varianten-Infos.

Mal noch zum Titel zurück (hab da ja aktuell TMDb eingestellt, weil IMDb nicht korrekt funktioniert). Da zieht es mir bei "Der böse Geist von Jambuj" den russischen Titel "Злой дух Ямбуя". Liegt wohl an TMDb, nicht wahr?

Ahso, mal nochwas.

Zitat von DanCooper

Ember soll eine Manager sein, nicht eine komplette Datenbank bzw. lokale Abbildung von IMDb oder anderen Datenbanken.

Als Manager-Tool (also wenn es dazu gedacht ist, das gesamte eigene Archiv zu verwalten), sind wesentliche Funktionen nicht möglich, wenn man nicht auch mehr Daten speichert, die in der jeweiligen NFO fehlen.

Zur Verwaltung muss man ja einen Film anhand des Titels schnell finden können und da gehen die Probleme schon los, weil der Titel nicht immer eindeutig ist. Der gerade erwähnte Film "Red Sonja" liegt bei OMDb als "Die Rache der Schwertkämpferin" vor. Wenn beide (bzw. halt einfach mal alle vorhandenen) Titel in der DB hinterlegt wären, würde die Suche auch "Red Sonja" und die zugehörige IMDb-ID anzeigen, wenn man "Rache Schwert*" eingeben würde. Auch wenn ich "Geist Jambuj" eingebe, gibt mir Ember aktuell logischerweise keinen Treffer zurück, da der russische Titel drin steht.

Dann wäre es sinnvoll (da du das Ganze ja eh Release-bezogen aufbaust), wenn man in Version 2.0, wo die Varianten ja unterstützt werden, auch eine Extra-Funktionalität einbauen könnte, die die Varianten nutzt und sich auf das "Besorgen" von Filmen bezieht. Die Varianten müssten erstmal anhand der Release-Infos oder/und der Laufzeit bestimmt werden. Hier wäre ein Abgleich der Meta-Daten mit existierenden Releases sinnvoll - ist aber tricky, da IMDb diese wesentliche Information nicht hat und mir keine freie API für EIDR (wo es diese Infos gibt) bekannt ist. Das hat den Hintergrund, da man beim Pflegen des eigenen Archivs wissen möchte, ob man den Film und die (beste) Variante schon hat und in welcher Quali (Bild+Ton) diese vorliegt, bevor man sich den ausgesuchten "besorgt"

Ich stelle mir das so vor: ein Ordner wird nach einem bestimmten Dateityp überwacht (der Einfachheit halber erstmal nicht als Service, sondern per manuellem Button in Ember). Der checkt die Dateinamen, fischt anhand dessen den Titel, das Jahr, die Variante und die angegebenen Meta-Daten raus (das ist erstmal der geringste Programmieraufwand und hätte ich sogar schon fertig für dich zum Übernehmen). Dann beginnt der Irrsinn, der nur mit den angedachten Varianten-Infos funktioniert:
- Checken, ob der ermittelte Filmtitel schon da ist, welche Variante, Laufzeit und Quali
- Anzeigen in einer Gegenüberstellungs-Liste (links die angedachten "neuen" Filme, rechts die im Archiv gefundenen, vorhandenen Titel)

Dann kann der Nutzer sich entscheiden, ob er das verwirft oder zum "Besorgen" schickt (also die Datei in einen anderen Ordner verschiebt, wo dann das "Besorgen" von einem anderen Programm getriggert wird)

Das wäre gigantisch.