Beiträge von tardezyx

Du kannst

• als Nutzer
  • den Exporter nutzen, um dir IMDb-Infos in .json-Dateien abzuspeichern
• als Entwickler
  • den Scraper in deiner eigenen Anwendung als Bibliothek einbinden und dann dessen Funktionen nutzen
  • den Exporter hinsichtlicher deiner Belange erweitern, um
    • Titelinformationen via Command-Line-Parametern automatisch zu scrapen
    • die IMDb-Daten direkt in einem von dir gewünschten Format abzulegen
  • die vom Exporter erzeugten .json-Dateien in anderen (ggf. eigenen) Tools verwenden
    • bspw. kannst du dir ein Skript schreiben, was dir die Bewertung aus der .json holt und in die von Kodi verwendete .nfo schiebt

Der Scraper ist eine C#-Bibliothek. Der Exporter ist eine eigenständige C#-App, die den Scraper nutzt, aber die ganze Medienverwaltung von EMM nicht hat und die IMDb-Infos lediglich als .json-Datei speichert. Da fehlt also die ganze weitere Aufbereitung für Kodi.

EMM ist hingegen in Visual Basic geschrieben. Meines Wissens nach lassen sich aber in Visual Basic auch C#-Bibliotheken einbinden. D.h. DanCooper könnte mit etwas Aufwand den Scraper auf meinen umstellen/aktualisieren. Da müsste man schauen, was EMM konkret für Infos zieht und ob da irgendwas bei meinem fehlt, wobei ich aber so ziemlich alles abgedeckt habe.

Etwas problematisch gestaltet sich die Hash-Geschichte bei IMDb, weil sie die Hashes aller paar Tage/Wochen aktualisieren und man sie für die meisten Abfragen benötigt. Deswegen habe ich im Scraper diesen simulierten Browserablauf eingebaut, der die neuen Hashes innerhalb von 1,5-2 Minuten automatisch zieht und abspeichert. Das hakt manchmal (man muss dann ggf. händisch noch eingreifen, also mal hochscrollen oder den Browser maximieren), weswegen es sinnvoll sein könnte, die neuen Hashes als (regelmäßiges) App-Update bereitzustellen oder direkt irgendwo zentral abzulegen.

Update inkl. automatisiertem Hash-Updater (das war echt nervig) und zugehörigem Exporter zum Ausprobieren.

Unraid v6.9.2 mit dieser Hardware. Wird nur ausgeschalten, wenn ich in Urlaub fahre.

1. Staffel war schon mal sehr gut: https://www.imdb.com/title/tt13309742

Zitat von Coolzero82

D:\Videos\Action\Top_Gun\Top_Gun_DVD_2\VIDEO_TS\VTS_02_1.VOB

D:\Videos\Drama\Rocky\Rocky_5\VIDEO_TS\VTS_01_0.VOB

Als Ordnerstruktur für Filme hat sich diese als sinnvoll erwiesen:

Laufwerk:\Archivpfad{\optionaler A/B/C-Ordner}\Filmtitel (Jahr) [id]\Filmfile(s).Videoerweiterung

Du erkennst hoffentlich die Unterschiede zu deiner Ordnung:

• Unnötige Zwischenordner, deren informatorischer Gehalt in der .nfo-Datei hinterlegt sind
  • Genre ist unnötig, nicht zuletzt weil FIlme in der Regel mehrere Genres haben
  • Filmset ist unnötig, da dies auch zu Diskrepanzen der Gesamtstruktur führt
• DVDs, BluRays und auch .ISO-files funktionieren zwar, doch die Nutzung von bspw. MakeMKV (freier Schlüssel hier) verschlankt das Handling von Videoquellen enorm

Dabei wird klar, dass es je Film eine zugehörige IMDb-ID gibt. Wie lautet die IMDb-ID für eine Bonus-DVD? Meines Wissens nach gibt es hierfür keine. Ergo gehe ich davon aus, dass Ember diese Extra-Infos von TVDb oder dergleichen holt - wie bei Serien, wo die Extras dann innerhalb der Season 00 abgehandelt werden. Eventuell gibt es auch bei Filmen einen Unterordner "Extras" oder dergleichen, wo dies dann abgehandelt werden müsste. Ich lege Extras hingegen bei Filmen einfach als zusätzliche -extraX.mkv-Datei rein, wofür überhaupt keinerlei zusätzliche Infos gescraped werden:

Abspielen kann ich diese dann in Kodi via Filme -> Dateien und gezieltem Hinbrowsen. Da man das Extra-Zeug an sich selten anschaut, ist das aus meiner Sicht vollkommen ausreichend.

Zitat von darkside40

So jetzt warten wir mal auf den Shitstorm weil ich Kontrafunk aufgrund der nähe zur AfD und Russia Today nicht mergen werde.

Was für ein Kindergarten.

Zitat von derMaik

Zumindest der Kodi eigene Dateimanager sollte dahinkommen, zur not den Pfad manuell eingeben.

Direkt im Dateimanager von Kodi "Quelle hinzufügen" bei <keine> OK auswählen und den Pfad zu Kodi eintragen.

Oder nimm adbLink

Vielen Dank! Mit dieser adb-Variante konnte ich endlich die .xml Dateien auf dem TV bearbeiten und dann alles einrichten. Nun nutzen Kodi auf dem TV und auf der Shield eine zentrale Datenbank und Thumbnail-Ablage. Kodi belegt damit lokal jeweils nur 330 MB (inkl. Amber-Skin).

Mein Vorgehen:

1. kodi installieren (google play oder sideload)
2. kodi starten
    - erst dann werden kodi-verzeichnisse und -dateien unter android/data erzeugt
3. einstellungen sprache
     -> interface -> regio -> language: deutsch
        - wird heruntergeladen
        - danach noch tastatur auf GERMAN QWERTZ einstellen
        - dann mal links unten das einstellungslevel auf EXPERTE stellen
        - danach noch das format von belgisch auf deutsch stellen
4. einstellungen theme
    -> interface -> skin: skin "amber" installieren
        - wird heruntergeladen, danach bestätigen
        - danach springt er ins hauptmenü und richtet den skin ein
    -> interface -> skin -> skin einstellen
        - optional: kleinere schrift
        - hauptmenü anpassen (bspw. addons, musik, bilder, spiele, usw. deaktivieren)
        - medienansichten anpassen (hauptbewertung, altersstufe, bit depth, etc. anzeigen)
    -> system -> audio
        - soundschema auf amber umstellen
5. sonstige einstellungen
    -> medien -> videos
        - artikel ignorieren deaktivieren
    -> system -> audio
        - ggf. auf 2.1/5.1/whatever ändern
        - qualität von mittel auf hoch stellen
6. kodi beenden
7. zentrale datenbank und freigabe auf server bereitstellen
    - datenbank anlegen (bspw. mariadb)
    - benutzerkonten mit allen privilegien in datenbank anlegen
    - verzeichnisfreigaben für medien (nur lese-rechte)
    - verzeichnisfreigabe zur ablage der von kodi generierten thumbnails (lese- & schreibrechte)
    - bspw. bei VLANS die ports in der firewall entsprechend erlauben
8. via adblink (siehe http://jocala.com) zum kodi-gerät verbinden
    - beim verbinden den hinweis (am TV) bestätigen
    - via "ScrCpy" kann man sich direkt verbinden und muss nicht mehr mit fernbedienung hantieren
        - mitunter kann man nur mit tastatur navigieren und via rechter maustaste zurück
    - via "File manager" zu folgendem Pfad hangeln: Android\data\org.xbmc.kodi\files\.kodi\userdata
    - dort die .xml dateien entsprechend anlegen/ändern
        - [definition='2','1'][definition='2','1']advancedsettings[/definition][/definition].xml  beinhaltet zugangsinfos für thumbnail-pfad und datenbank auf server
        - mediasources.xml      beinhaltet zugangsinfos für netzwerkfreigaben
        - passwords.xml         beinhaltet zugangsinfos für netzwerkfreigaben zu kodi-bibliotheks-quellen
        - sources.xml           beinhaltet kodi-bibliotheks-quellen
    - gelöscht werden kann:
        - dabei erzeugte .bak dateien
        - ordner thumbnails löschen
        - 2 datenbank-dateien im ordner database (moviesXX.db und musicXX.db)
9. kodi starten
    -> zentrale datenbank wird genutzt
    -> zentrale thumbnails-ablage wird genutzt
    - falls nicht: zur analyse unter system -> protokollierung das debugging aktivieren
        - log-datei befindet sich in Android\data\org.xbmc.kodi\files\.kodi\temp

Am Wichtigsten ist die [definition='2','1']advancedsettings[/definition].xml:

<[definition='2','1']advancedsettings[/definition]>
  <!-- http://kodi.wiki/view/Advancedsettings.xml -->

  <pathsubstitution>
    <substitute>
      <from>special://masterprofile/Thumbnails/</from>
      <to>smb://10.0.25.15/share/kodi/thumbnails/</to>
    </substitute>
  </pathsubstitution>

  <videodatabase>
    <type>mysql</type>
    <host>10.0.25.15</host>
    <port>3306</port>
    <user>kodi_shield</user>
    <pass>kodi</pass>
  </videodatabase>

  <musicdatabase>
    <type>mysql</type>
    <host>10.0.25.15</host>
    <port>3306</port>
    <user>kodi_shield</user>
    <pass>kodi</pass>
  </musicdatabase>

  <cache>
    <buffermode>1</buffermode>
    <memorysize>629145600</memorysize>
    <readfactor>4</readfactor>
  </cache>

</[definition='2','1']advancedsettings[/definition]>

Leider konnte ich das die Nacht nicht posten, weil der Kodinerds-Server unerreichbar war.

buers: Danke, den MiXplorer schau ich mir mal an.

Es geht um mehr als 5000 Filme und hunderte Serien.

Ich bekomme beim TV nicht einmal Zugriff auf "Android/data" (was zumindest auf der NVidia Shield ging), um bestimmte Daten zu löschen oder die advanced.xml anzupassen.

Hallo,

ich habe Kodi v20.3 u.a. auf einem aktuellen Philips 77OLED807 installiert.

Problem: Es belegt 2,6 GB Speicher, was zu ungewünschten Kodi-Abstürzen führt. Ferner lassen sich keine weiteren Medien mehr in die Bibliothek aufnehmen.

Fragen:

1. Wieso belegt Kodi überhaupt dermaßen viel Speicher? Sämtliche Medieninfos liegen bereits lokal bei den Medien als .nfo- (XML) und .jpg-Dateien vor. Es besteht folglich kein Bedarf, insb. die Bild-Dateien (was wohl den Speicher frisst) nochmals in die Datenbank zu übertragen. Wie dumm ist das bitte?

2. Was kann ich dahingehend überhaupt tun? Momentan hantiere ich in Kodi über "Dateien" statt über die Bibliothek, was ja kaum Sinn der Sache kein kann.

Ich hatte vor längerem mal probiert, Kodi irgendwie dazu zu bewegen, eine Datenbank zu nutzen, die zentral auf dem Medienserver (UnRaid) liegt (und eben nicht jeweils eine auf den einzelnen Playern anzulegen). Das habe ich aber partout nicht hinbekommen. Es ist auch ein Graus, bei jeder Kodi-Neueinrichtung die gesamte Bibliothek neu aufbauen zu müssen statt dass er sich einfach mit einer bestehenden zentralen Datenbank verbindet, die von allen genutzten Playern entsprechend aktualisiert wird (ich glaube, da gab es auch ein Addon, was sogar automatisch neue Einträge erkennt, ohne dass man händisch die Bibliothek aktualisieren muss - weiß leider nicht mehr, welches das war).

Bitte dringend um Hilfe, weil es einfach abfuckt.

Vielen Dank!

Zitat von justray2k

Tolles Teil! Cerberus oder die alte Paranormal? Kann ich nicht zu 100% erkennen.

Aber der Stuhl sieht auch Top aus Haste da mal bitte ne Modellbezeichnung?

Hab's mal ergänzt.

Zum Vapen gibts auch was Neues: Lost Vape Centaurus Q200 und Lost Vape Thelema Solo

• Kaufentscheidung

Neuer TV: Philips 77OLED807

Nach 14 Jahren musste was mal was Neues her. Der alte Philips 50PFL7956K war für den momentanen Sitzabstand von etwa 4 Metern auch deutlich zu klein. Er ist nun ins Schlafzimmer gewandert.

Bei der Erstlieferung war natürlich ein Riss im Panel - die Freude war riesig. Das Wiedereinpacken ein Fest.

Nach kurzer Medienprobe wusste ich, dass ich mehr Soundqualität brauche, aber ich hatte keine Lust mehr auf die ganze Verkabelung. Kurzweilig von Mama die Yamaha ATS 2090 geborgt. Passt erstmal.

Neuer Stuhl: Haider BioSwing iQ660

Nach 25 Jahren im Cocktailsessel, der mir damals noch von meiner Mutter geschenkt wurde, machte sich dann doch mal der Rücken bemerkbar. Bevor ich hier alles wiederkäue, zwei Beiträge dazu:

• Probesitzen
• Kaufentscheidung

Eigentlich geil, aber Scheiss Kabelsalat:

Kein Anspruch auf Vollständigkeit, aber die folgenden haben mir außerordentlich gefallen bzw. könnte ich mir als (Comedy-)Klassiker immer mal wieder geben:

1883 (2021)

30 Rock (2005)

Altered Carbon (nur Season 1) (2018)

Anne with an E (2017)

Archer (2009)

Arrested Development (2003)

Battlestar Galactica (2004)

Better Call Saul (2015)

Black Mirror (2011)

Blackadder (1983)

Boston Legal (2004)

Breaking Bad (2008)

Cheers (1982)

Chernobyl (2019)

Coupling - Wer mit wem (2000)

Dark (2017)

Das Büro (2005)

Das Verrückte Hotel - Fawlty Towers (1975)

Die Gummibärenbande (1985)

Die nackte Pistole (1982)

Die Sopranos (1999)

Eastbound & Down (2009)

Eine schrecklich nette Familie (1987)

Fargo (2014)

Frasier (1993)

Game of Thrones (2010)

Gomorrha - Die Serie (2014)
Good Wife (2009)

Halt and Catch Fire (2014)

Hatfields & McCoys (2012)

House of the Dragon (2022)

Ich, Claudius, Kaiser & Gott (1976) (die wäre übrigens meine #1)

It's Always Sunny In Philadelphia (2005)

Lass es, Larry! (2000)

Loki (2021)

Ozark (2017)

Pinky und der Brain (1995)

Rom (2005)

Roseanne (1988)

Seinfeld (1989)

Sherlock (2010)

The Collapse (2019)

The Expanse (2015)

The IT Crowd (2006)

The Last of Us (2023)

The Night Of - Die Wahrheit einer Nacht (2016)

The Wire (2002)

True Detective (nur Season 1) (2014)

Twin Peaks (1990)

Twin Peaks (2017)

Veep - Die Vizepräsidentin (2012)

I did something:

GitHub - tardezyx/tar.IMDbScraper: An IMDb scraper (AJAX, HTML, JSON)

An IMDb scraper (AJAX, HTML, JSON). Contribute to tardezyx/tar.IMDbScraper development by creating an account on GitHub.

github.com

Damit sollten sich momentan nahezu alle Infos zu einem Titel von IMDb ziehen lassen. Sogar die Suche ist implementiert.

Vielleicht könnte man EMM ja auch mal weg von VB und auf C# (gar als Web App?) hieven sowie dabei eine wirklich asynchrone Verarbeitung samt nachvollziehbarem Verarbeitungslog nutzen. In diesem Zuge wäre es ebenfalls sinnvoll, die APIs von Radarr & Co. einzubinden, um letztlich eine zentrale App zu haben, die folgendes bietet:

• eine Übersicht aller vorhandenen Titel (Filme, Serien inkl. Staffeln und Folgen)
  • bei Serien eine schnelle Übersicht aller vorhandenen und fehlenden Folgen
• eine Darstellung aller vorhandenen, einstellbaren(!) Varianten je Titel (bspw. <1K, 2K, 4K, optional vielleicht auch IMAX, Director's Cut, etc.)
• Online-Suche samt Übersicht (ob und welche Variante vorhanden ist inkl. Status) sowie direkte Leech-Möglichkeit (via Radarr & Co.)
• eine (semi-)automatische Umbenennung und Einsortierung ins eigentliche Archiv (außerhalb Radarr & Co.)
  • Berücksichtung der Varianten (bspw. Unterordner für <1K, 2K, 4K für unterschiedliche Anwendungszwecke wie Streamen nur von <1K-Inhalten)
• eine Darstellung des jeweiligen Status, bspw.:
  • "added" (man hat den Titel noch nicht, aber er ist vorgemerkt, sozusagen "haben will")
  • "queued" (wird heruntergeladen)
  • "leeched" (wurde heruntergeladen)
  • "scraped" (Datei-Infos zur Varianten-Erkennung usw. wurden gescraped, Titel-Infos sollten bereits direkt beim Adden gescraped werden)
  • "archived" (wurde ins Archiv einsortiert)
• Anlegen individueller Sammlungen
• Abspielen der Medien

Einiges ist in EMM bereits vorhanden, aber momentan muss man vor allem ständig zwischen Radarr & Co. und EMM wechseln sowie manuell einsortieren, was mitunter sehr viel Zeit kostet.

Nun kann ich zwar C#, jedoch bin ich bei Web Apps sowie DB-Versionierungen unbewandert. Könnte also vorläufig nur hinsichtlich einer Desktop-Variante unterstützen und hierbei würde ich grundsätzlich raten, bei Winforms und SQLite zu bleiben.

Die aktuelle DB kann meiner Ansicht nach auch etwas verschlankt werden, da man nicht sämtliche Titel-Infos vorhalten muss, sondern bei Bedarf nachladen (live nachscrapen) kann und in der XML/NFO ablegt. Im Wesentlichen reicht eine zentrale ID (ich plädiere für die IMDb-ID), um das Nachscrapen zu bewerkstelligen. Für die XML/NFO dürfte in der Regel nach einem Initial-Scrape ohnehin nur ein Update der Ratings (IMDb, TMDb, MetaCritic, etc.) interessant sein.

Die DB müsste andererseits aber erweitert werden, um mehrere Varianten eines Titels und ggf. auch eigene Sammlungen samt individueller Sortiermöglichkeit zur inhaltlichen Reihenfolge zu unterstützen. So gehören bspw. "Iron Man 1-3" zu den Sammlungen "Iron Man" sowie "Marvel/Avengers" (oder wie immer man das betiteln will).

Viel, viel Arbeit

Der IMDb-Fix führt bei mir zum Crash, sobald ich bei einem Film auf Wechseln klicke (er öffnet das Scrape-Fenster und scanned seltsamerweise automatisch auf TVDB).

Debug-Meldung

Ohne den Fix crasht es zwar nicht, aber er findet auch keinerlei Ergebnis anhand irgendeines Titels. Erst die manuelle Eingabe der IMDb-ID führt zum Ziel. Hierbei wünschte ich mir, dass er statt nach dem "Titel (Jahr)" zu suchen, einfach die IMDb-ID automatisch vom Verzeichnisnamen holt und direkt damit sucht, da diese dort bereits immer am Ende in eckigen Klammern hinterlegt ist, also bspw. "Turtles (1990) [tt0100758]".

Hat sich geklärt, weil er beim Film "erneut scrapen" direkt die IMDb-ID nimmt.

@DanCooper

Das "übliche" Vorgehen geht in diesem Fall nicht so einfach Ich bin sozusagen gerade an einem Massenupdate der Serien. Die habe ich dabei nicht alle drin, sondern scanne bspw. 5 Serienordner rein, ziehe/scrape dann serienweise alle Infos, schaue, ob es passt, passe ggf. an und wenn alles okay ist, knalle ich die Serie erstmal wieder aus der Datenbank und verschiebe sie händisch ins eigentliche Archiv. Dann geht es weiter mit der nächsten. Dabei fällt mir eben die Umständlichkeit und Trägheit deutlich ins Äugelein.

Mir ist da auch grad noch was komisches aufgefallen: Ich habe Columbo gescannt, dann mittels Serie wechseln die Infos gescraped und danach festgestellt, dass einige Folgen fälschlicherweise in Staffel 10 waren, sie aber laut Scraper in Spezialstaffel 00 gehören. Da habe ich die entsprechenden Dateien umbenannt, alle Extradateien (JPG und NFO) zur Staffel 10 gelöscht, dann die ganze Staffel 10 aus der Ember-DB entfernt und danach einfach nochmal den Columbo-Ordner gescannt. Er erkannte hierbei zwar die Folgen, aber die vorher angezeigten Episodentitel waren in der Auflistung verschwunden und es stand da "S00E05" oder sowas. Nach kurzer Verwunderung habe ich die komplette Serie aus der DB geknallt, alle JPGs und NFOs gelöscht und dann nochmal den Ordner eingescannt und danach gescraped. Nun waren die Titel korrekt. Seltsam. Ist mir vorher bei ähnlichen Fällen nicht aufgefallen.

Ich kann mir vorstellen, dass das ein ziemlich großes Unterfangen wird. Ich habe vor ein paar Monaten auch mal angefangen, ein ähnliches Tool mittels C# zu erstellen, was eine bessere Separierung und Einzelkontrolle sowie andere Übersicht bieten sollte. Liegt aber momentan auf Eis. Ich vermisse es echt, dass man nicht konkret sieht, was er da wann überhaupt macht und wie weit er ist (wäre es möglich, die Progressbar prozentual anzuzeigen statt diese unbestimmte fortlaufende Anzeige?) und dass ich nicht explizit einzelne Dinge logisch aufeinanderfolgend triggern kann, sondern meist "alles oder nichts" mit entsprechenden Unklarheiten und Unsicherheiten

Gibt es eigentlich auch die Möglichkeit, alle fehlenden Episoden deutlich hervorzuheben oder direkt in der Serien/Staffel-Auflistung zu sehen, ob da was fehlt (bspw. alles da: dunkelgrün, Folge fehlt: dunkelrot)? Dieses etwas hellere grau in der Episodenauflistung ist leicht zu übersehen und man muss da je nach Serie auch länger konzentriert durchscrollen.