Auswertung mit MySQL möglich? Dopppelte finden (erledigt... Anleitung zum Schluss)

Hi, ich stehe vor dem Problem, dass ich wohl etliche doppelte Filme habe.

So, wie ich es verstanden habe, soll die Datenbank von Kodi mit MySQL auswertbar sein.

Geht das? Wenn ja, wie?
Wo finde ich dann ggf. die Datenbankstruktur.

Installiert ist:
Emby auf NAS

Kodi 21.1 auf FireTV und Computer Windows 10.

Ich würde gerne eine Auswertung machen, die sich dann ggf. in Excel / Libreoffice Calc vollständig übernehmen lässt.
Benötigt werden die Felder Titel , Jahr, Auflösung, Speicherort (kompletter Pfad)
Es muss unbedingt der interne gespeicherte Titel sein, da manche Filme im Dateinamen sich unterscheiden (ein Grund, warum es zu doppelten gekommen ist)
Wenn ich mich noch richtig an Excel erinnere, ist es dort möglich nur die doppelten anzuzeigen.

Hat das schon jemand gemacht? Ggf. Ein Script? Oder Tipps?

Hi, danke für die ausführliche Antwort.

Wie ich schon sagte, ist Emby lediglich der Halter der Daten und zum finden des richtigen Titels (also sind alle Filme mit IMDB ID versehen.)
Da ich alles mit Kodi abscanne, sollten diese Nummern eigentlich in Kodi wieder zu finden sein.

Es ist im Prizip zwar doppelt gemoppelt, aber nach meiner Erfahrung, ist der Scan via Emby sauberer beim Zufügen.

D.h, alle Auswertungen sollte ebenfalls in der Kodi Datenbank erfolgen.

Du hast erwähnt, dass es SQLlite als Standard ist. Das würde mir die Sache deutlich vereinfachen. Es ist zwar schon irre lange her, dass ich mal Schulungen in SQL gehabt hatte, aber ich denke, das Prinzip sollte noch gleich sein.

Gibt es irgendwo eine Datenbankbeschreibung für Kodi? Also mit allen Feldern und Tabellen?

Ich hoffe, wir reden noch über die Standardinstallation von Kodi, die auf die von Emby generierten NFO Dateien zugreift beim Scan?
Jeder Film liegt in einem eigenem Folder.

Folder sind ensprechend in Unterorder dem Abc ...

Beispiel:

\\MediaII\Filmcloud\#A\.....

Bei Kodi wie folgt eingetragen als Quelle:

smb://192.168.2.???/Filmcloud/
Damit sind alle Unterordner erfasst.
Leider musst ich aus Platzgründen schon zum Teil auf USB an NAS ausweichen, wo dann der nächste Teil der Dateien liegt.
smb:/192.168.2.???/usbshare1/ExtFilme/

Wenn du sagst, dass die imdb ID der gemeinsame Nenner ist, sollte ich versuchen von dort zuzugreifen.

Defacto nutze ich Emby nur für die Identifikation und zum Anlegen der jeweiligen NFO Datei.
Kodi ist so eingestellt, dass er NUR diese Daten übernimmt und einen eigenen Scan nach Dateiinformationen unterlässt.
Somit wäre sogar beim Komplettausfall von Emby noch alle notwendigen Daten auf der NAS in den jeweiligen Verzeichnissen.

Phuuu... ich hoffe, das war nicht zu kompliziert

Ok. es geht nun ans Eingemachte.
Ich habe mir den DB Browser unter Windows installiert.
Die Datenbank habe ich entsprechend gefunden und in externen Ordner kopiert.
Never test in running System... Da klingelt noch was aus grauen Vorzeiten.

Ich ziehe das alles in Windows durch, da es wohl am konfortablesten ist.
Ohne die DB Struktur zu kennen, wird es problematisch.... Aber ich suche mal, dann werd ich wohl schlauer.
Zuletzt vor gut 35 Jahren mit dem Kram beschäftigt. Elegant fand ich es immer, wenn eine DB sich mit Excel abfragen lies.
Es war schlicht übersichtlich und man konnte die Ergebnisse sofort sehen.

Ich berichte, sofern ich weiter gekommen bin.
Was mir einfiel. Ich habe bewusst das Rohformat im eigenen Ordner mit eigener nfo genommen, da über die Jahre es sich erwiesen hat, dass selbst die besten Programme irgendwann vom Markt verschwinden oder nicht mehr unterstützt werden. Wenn dass sozusagen alles in die Anwendung verlagert geworden ist, kann es durchaus problematisch werden.
Da mit den Links habe ich bewusst nicht gemacht, da es in der Vergangenheit immer mal wieder Probleme damit gab.
Eine Zeitlang hatte ich Linux, Windows und Android (notgedrungen) am Start. Ergo .... kleinsten gemeinsamen Nenner.
Dazu kam, dass ich mit jedem Link immer eine (Kupplung) irgendwo in der Mitte habe. Gibt es Probleme, geht die Sucherrei los.
Damals hatte mir einen etwas größeren Server mit Fachanwendung unter Unix aufs Auge gedrückt. Nett, aber vollständig undokumentiert.
Immer mal husch husch Änderungen gemacht. Mit anderen Worten, Daten migrieren, auf ein sauberes System mit Fachanwendung ziehen.
Sauarbeit... Never ever.

So, zurück... mein olles Hirn will ja auch nicht mehr so, wie es soll.

wenn es stimmt, sollte dies die aktuelle Datenbankbeschreibung sein?
https://kodi.wiki/view/Databases/MyVideos#movie

At last:

Sollte hier ein Admin mitlesen.... Why to hell, funktioniert bei mir die Benachrichtigung nicht, sofern hier was geschrieben wird?
Eigentlich sollte es doch bei mir so eingestellt sein. Grummel

Junge junge, geballtes Wissen hier vorhanden.
buers Movielistgenerator installiert und lasse gerade laufen.... Bin gespannt. So, wie ich es verstanden habe, kann er doppelte erkennen. Wäre ja prima

malvinas2 danke für den Tipp. Kommt zum Zuge, wenn ich mit dem Movielistgenerator keinen Erfolg habe.

Dusselig ist, dass etliche Filme unter verschiedenen Namen gehandelt werden. (Welcher Depp auch immer sich das einfallen lässt)
Bin gespannt, ob das zu einem brauchbaren Ergebins führt.
Einige Filme sind definitiv doppelt, weil ich sie Jahre später in höherer Auflösung bekommen habe.
(lass mit Youtv aufzeichen)
Dann sollte der mit der SD Auflösung eigentlich raus. Aber ist man immer so konsequent?
Faulheit siegt...

Zitat von Lehmden1

Also ich schon. Ich hab mir sogar extra ein Programm geschrieben, mit dem ich meine Sammlung durchforsten und nach Codecs und Auflösung untersuchen kann. Bei Filmen habe ich für die ganz wenigen verbliebenen SD Filme einen eigenen Unterordner angelegt, so das ich auf einen Blick sehe, ob der Film noch in SD ist und ich ihn unbedingt austauschen muss, sobald er mal in den Mediatheken auftaucht.

Ich warte jetzt erst einmal das Ergebnis vom Movilist Generator ab. (Hoffentlich hab ich den richtig eingestellt, dass er wirklich nur liest und nichts überschreibt...)

Dann schaue ich, ob mir das reicht. Bin ja gespannt.

Zitat von Lehmden1

Also ich schon. Ich hab mir sogar extra ein Programm geschrieben, mit dem ich meine Sammlung durchforsten und nach Codecs und Auflösung untersuchen kann. Bei Filmen habe ich für die ganz wenigen verbliebenen SD Filme einen eigenen Unterordner angelegt, so das ich auf einen Blick sehe, ob der Film noch in SD ist und ich ihn unbedingt austauschen muss, sobald er mal in den Mediatheken auftaucht.

Kannst du das nicht für die suche nach doppelten Dateien modifizieren?
Hab jetzt einen Tag den Movielistgenerator laufen lassen. Wirklich einen Tag. Ergebnis der doppelten Suche... mau. hat nur einen Bruchteil als doppelte gefunden. Allen Anschein NICHT die nfo ausgewertet. Der Weg ist definitiv verkehrt.

Zitat von malvinas2

Der TinyMediaManager erkennt Duplikate. Auch wenn Du ihn ansonsten nicht benutzt, ist die Installation und Einlesen der Filme möglicherweise schneller als die anderen Lösungen.

Wenn ich es richtig verstehe, macht auch dieses Programm wieder einen Vollscan der Platte und erstellt von da her eine eigene Datei?
Das ist eigentlich nicht, was ich möchte. Die von Kodi ist ja sauber. Also wollte ich mich darauf verlassen und eigentlich nur diese auswerten.

Zitat von buers

Ich sehe mehrere Möglichkeiten.

1. Vielleicht hilft dir diese Tool: MovielistGenerator - Tools für Windows/Linux/macOS - Kodinerds

2. Export der db als *eine* (1) xml Datei in Kodi (Einstellungen -> Medien -> Bibiliothek ->Bibliothek exportieren, ggf. vorher auf Experte stellen). Dann daraus mit gutem Editor mit Regexp eine csv-Datei basteln. Erfordert Geschick/Erfahrung mit Editor/Regexp und Kenntnis des csv Formats bzw. Zeit sich das anzueignen. Selbst habe ich das schon gemacht - schätze < 15 Minuten Aufwand.

3. Bin jetzt nicht zu Hause. In zwei Wochen könnte ich dir ein selbstgeschriebenes Tool schicken, das die Arbeit aus 2. macht (den Kodi xml-Export in csv wandelt). Habe das aber selbst schon lange nicht mehr genutzt und nicht mit aktueller Kodi Version getestet.

4. Wurde ja schon mehr oder weniger genannt: SQL lernen, Kodis DB Struktur verstehen, und ab gehts mit den richtigen SQL Befehlen. Kommt mir ohne Vorkenntnisse am anspruchvollsten vor ...

Wie du schon selbst schriebst - in Excel die Duplikate zu finden ist einfach (ohne zu testen, nehme ich an der erste Hit bei Google "Excel Duplikate finden" zeigt die Lösung.

Alles anzeigen

Also, das Angebot von dir, zu zwei, nehme ich gerne an. Der Weg mit dem Movilistgenerator hat nicht geklappt.

ERLEDIGT!
Ich folgende Schritte gegangen, die auch jeder Laie durchziehen kann.
Vorweg, mich interessierten NUR die doppelten Filme und deren Speicherort.
Es sollten NUR die Einträge der Kodi Datenbank berücksichtigt werden.
Die eigentliche Auflösung etc ist bei mir erst einmal zweitrangig, da ich vor dem Löschen eines Filmes eh erst mal anschaue, ob denn der andere fehlerfrei ist.

Kodi Datenbank (unter Windows ) geortet und kopiert in ein anderes Verzeichnis.
Installiert DB-Browser für SQLite Version 3.13.0.

Für mich war interessant einzig die Tabelle Movie.
dann auf Datei, Export als CSV Datei.

Da ich liebreoffice auf dem Rechner habe, diese Datei mit Liebre Calc geöffnet.
In den Spalten C und Z befinden sich die für mich wichtigen Informationen.
Alle anderen habe ich gelöscht.
(zwei Fehlversuche, da sonst beim sortieren, die Erweiterung die Spalte Z nicht mitnimmt. Es gibt dazwischen leere Spalten.!)

Spalte C Aufsteigend sortiert mit automatischer Erweiterung. (Kontrollieren, ob der Pfad mit dem Filmnamen noch in der gleichen Zeile ist)
Danach nach Spalte C eine Leere mit 2 cm Breite eingefügt. (Breite ist eigentlich egal, aber kleiner dient der Übersichtlichkeit)
Diese Spalte sollte dann D heißen, wenn alles richtig gelaufen ist.

In der Zeile D1 nachfolgende formel eingetragen:

=WENN(ZÄHLENWENNS(C$1:C$XXXX;C1) > 1; "!"; "")

XXXX steht für die Gesamtzahl der Zeilen, die durch die Datenbank ausgeworfen wurde.
Diese Formel komplett bis zum Ende runter ziehen, dadurch wird der die Formel jeweils an die Zeile angepasst.

Es sollten jetzt die doppelten mit einem ! markiert sein.
Danach kurz nach Spalte D absteigend mit automatischer Erweiterung sortieren.
Ergebnis sollte sein:

In Spalte C der Filmname, wie in Kodi hinterlegt, in spalde D ! in Spalte E dann der komplette Pfad zur Datei.


Vielen Dank an alle, die sich die Mühe gemacht haben...

Ich mache mich mal nun munter ans Löschen. Und nebenbei bemerkt man auch, dass einige Filme angeblich doppelt sind, die wohl aber zwei verschiedene sind, die nur noch mal neu erkannt werden müssen.

Na toll...
Frohes Restwochenende.