Einträge in zentraler Datenbank begrenzt?

    Hallo,
    ich lasse schon seit mehreren Jahren meine beiden Kodis (NUC) über einen Server auf die gemeinsame Datenbank zugreifen. Hat bisher einwandfrei funktioniert. Jetzt bin ich anscheinend an eine Grenze gestoßen. Die Aktualisierung von neu hinzugefügten Inhalten wird nicht mehr durchgeführt. Oder es fallen sporadisch Inhalte raus. Wenn ich die händisch hinzufüge klappt es, aber dann habe ich das Gefühl, dass andere Inhalte wieder aus der Datenbank gelöscht werden. Ich bin momentan bei ca. 9750 Einträgen.
    Erst gestern habe ich eine Quelle vollständig entfernt und wollte sie wieder neu hinzufügen. Beim Aktualisieren der Inhalte hat er bei ca. 15% aufgehört.

    Gibt es eine Begrenzung bei den Einträgen oder hat von Euch schon jemand ähnliche Erfahrung gemacht?

    Was meinst du denn mit "Einträgen"?
    Würde mich doch sehr wundern wenn du hier auf irgendeine Grenze stoßen würdest.
    Hab mal kurz danach gegoogelt: https://forum.kodi.tv/showthread.php?tid=199902

    Hast du ggf einen [definition=12,4][definition='1','3']Debug[/definition][/definition] Log in den man reinschauen kann der zeigt was passiert wenn der Client aktualisiert.

    Es gab anscheinend einen EIntrag, der nicht funktioniert, der den Scan immer wieder abbricht.
    Hier mal ein Auszug aus dem Log:
    2020-12-21 23:40:21.358 T:140344313362176 ERROR: SQL: [xbmc_video116] Undefined MySQL error: Code (1406)
    Query: UPDATE movie SET c00='Ha*** <--Hier die ganzen daten, die der Scanner eintragen möchte... UND DANCH FOLGENDER EINTRAG

    2020-12-21 23:40:21.358 T:140344313362176 ERROR: SetDetailsForMovie (smb:***.mkv) failed
    2020-12-21 23:40:21.403 T:140344313362176 WARNING: VideoInfoScanner: Error 1 occurred while retrievinginformation for smb:***.mkv.
    2020-12-21 23:40:21.437 T:140344313362176 NOTICE: VideoInfoScanner: Finished scan. Scanning for video info took 15:54

    *** Stehen für von mir gelöschte Daten, die hier nichts zu suchen haben
    Ich habe den Film, der anscheinend den Fehler verursacht mal verschoben und starte den Scan erneut, mal sehen.

    Zitat von CrashB

    *** Stehen für von mir gelöschte Daten, die hier nichts zu suchen haben

    Passwörter werden automatisch im Log entfernt. Alles andere ist nur falsches Denken. Denn am Namen könnte es ja liegen und es würde hier Null helfen wenn Du diese Daten entfernst sondern eher der Behebung des Problems entgegen stehen.
    Es wurde zudem nach einem Logfile gefragt und das Posten der Logs in den Thread selber macht die ganze Sache unübersichtlich. Zudem werden einige Zeichen mit Smilies ersetzt solange du kein [code]-Tag benutzt.

    --------------
    Guides nicht mehr verfügbar wegen Youtube unvermögen guten von schlechten Kodi Videos zu unterscheiden.

    Ja, das Log wäre interessant.

    Wichtig ist auch zu beachten, dass bei sehr bekannten Filmen oder Serien, die zentrale Datenbank (sei es nun MySQL oder auch eine MariaDB) für das Feld der Thunbnails (die oftmals bei den Scraper mit ziemlich viel Daten gefüllt werden) begrenzt ist. Das ist keine Begrenzung in Bezug auf die Anzahl der Filme. Aber das Feld für die Thumbnails kann nur eine gewisse Menge an Daten aufnehmen. Überschreiten die gescrapten Thumbnails diese Datenmenge, wird der Film nicht gescrapet. Siehe dazu auch: https://github.com/xbmc/xbmc/issues/15768

    Da stehen auch Lösungsansätze drin, wenn der Fehler auch auf dich zutrifft.

    Auf jeden Fall gibt es innerhalb Kodi keine Begrenzung wieviele Filme man hinzufügen kann.

    Neuere Scraper (ab Kodi 19) limitieren die Anzahl der gescrapten Thumbnails auf ein normales Maß, so dass dieser Fehler nicht mehr auftritt. Man kann aber auch an der Datenbank selbst rum fingern, wenn man sich das zutraut. Raketenwissenschaft ist das nicht ;).

    Reicht das?

    Code
    020-12-21 23:16:20.408 T:140343794185984   ERROR: SQL: [xbmc_video116] Undefined MySQL error: Code (1406)
                                            Query: UPDATE movie SET c00='Halloween - Die Nacht des Grauens',c01='1963, Halloween-Nacht im Kaff Haddonfield: Die Teenagerin Judith Myers wird in ihrem Elternhaus von ihrem sechsjährigen Bruder brutal erstochen - Michael Myers hat das erste Mal zugeschlagen! Der Junge kommt daraufhin in das Smith’s Grove Warren County Sanatorium in die Obhut von Psychiater Sam Loomis. Schon bald ist dieser davon überzeugt, dass sich in der Gestalt des Kindes das absolut Böse verbirgt. 15 Jahre danach, am Vorabend von Halloween, gelingt Michael die Flucht aus der Heilanstalt. Der maskierte Killer macht sich auf den Weg nach Haddonfield, wo sich arglose Teenager wie Laurie Strode auf ein bisschen Horrorspaß freuen...',c02='',c03='The night he came home!',c05='48597',c06='Debra Hill / John Carpenter',c08='<thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/rv9SZcjJBzutpk3FzPjdEfaKOF2.jpg\">https://image.tmdb.org/t/p/original/rv9SZcjJBzutpk3FzPjdEfaKOF2.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/jU3UT5jix8xoZAjpKovoiRJKudm.jpg\">https://image.tmdb.org/t/p/original/jU3UT5jix8xoZAjpKovoiRJKudm.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/fb1ieYWRq809me7Kc3wEfuJXzOB.jpg\">https://image.tmdb.org/t/p/original/fb1ieYWRq809me7Kc3wEfuJXzOB.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/2v2g6ZFpnkQIZ0eXn3qcchP2IAB.jpg\">https://image.tmdb.org/t/p/original/2v2g6ZFpnkQIZ0eXn3qcchP2IAB.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/xhqg4PgUFroVzHERRehECwAwqaT.jpg\">https://image.tmdb.org/t/p/original/xhqg4PgUFroVzHERRehECwAwqaT.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/4n5XADS895bRC8cKzN8sgDFcnfT.jpg\">https://image.tmdb.org/t/p/original/4n5XADS895bRC8cKzN8sgDFcnfT.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/ggSQ8Cqr1HYQ08UGSALjkc65wc3.jpg\">https://image.tmdb.org/t/p/original/ggSQ8Cqr1HYQ08UGSALjkc65wc3.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/U1LC7pceCN0O0fbBhvndT0hV69.jpg\">https://image.tmdb.org/t/p/original/U1LC7pceCN0O0fbBhvndT0hV69.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/kp1ge32qrxK6BGepCBd30bitNG3.jpg\">https://image.tmdb.org/t/p/original/kp1ge32qrxK6BGepCBd30bitNG3.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/dYNb6Yz3vqC0hEOBC7k6znecLPV.jpg\">https://image.tmdb.org/t/p/original/dYNb6Yz3vqC0hEOBC7k6znecLPV.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/67teuW8xneyERCWG0ANIijButhY.jpg\">https://image.tmdb.org/t/p/original/67teuW8xneyERCWG0ANIijButhY.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/7BAoBjLCdS5dQQDqRDBbllNpyqR.jpg\">https://image.tmdb.org/t/p/original/7BAoBjLCdS5dQQDqRDBbllNpyqR.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/2uqHV6YcD9jEL2WuJYjXiiuRDqd.jpg\">https://image.tmdb.org/t/p/original/2uqHV6YcD9jEL2WuJYjXiiuRDqd.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/cLBt7Suqm6fNwhrJZAtnwENDMLo.jpg\">https://image.tmdb.org/t/p/original/cLBt7Suqm6fNwhrJZAtnwENDMLo.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/9rH2XjftQHm4OeiOFCYQAcxjF2r.jpg\">https://image.tmdb.org/t/p/original/9rH2XjftQHm4OeiOFCYQAcxjF2r.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/1vRkDRigitF6igyfQvjb2i3GG95.jpg\">https://image.tmdb.org/t/p/original/1vRkDRigitF6igyfQvjb2i3GG95.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/rCnjVKC7K5uBWtS7BSjcnLBLwS.jpg\">https://image.tmdb.org/t/p/original/rCnjVKC7K5uBWtS7BSjcnLBLwS.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/wyXaCnXYGB5fvb8rdZIlhr847bE.jpg\">https://image.tmdb.org/t/p/original/wyXaCnXYGB5fvb8rdZIlhr847bE.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/eyfZegVKa8golMdNPeZbctXveQ9.jpg\">https://image.tmdb.org/t/p/original/eyfZegVKa8golMdNPeZbctXveQ9.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/5Xyr3hNax5IVmCgFb5seXdzpZnr.jpg\">https://image.tmdb.org/t/p/original/5Xyr3hNax5IVmCgFb5seXdzpZnr.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/akUATrscWfijUlBpdyOYhHryQE5.jpg\">https://image.tmdb.org/t/p/original/akUATrscWfijUlBpdyOYhHryQE5.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/rWNU5cPg0oeaXtPBoZ5wFPfNHJ6.jpg\">https://image.tmdb.org/t/p/original/rWNU5cPg0oeaXtPBoZ5wFPfNHJ6.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/sDNv9fzlk5EyN8dUaM1xSDm1UcF.jpg\">https://image.tmdb.org/t/p/original/sDNv9fzlk5EyN8dUaM1xSDm1UcF.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/beCi8tfUDcvas4QAzv2hBjheNVn.jpg\">https://image.tmdb.org/t/p/original/beCi8tfUDcvas4QAzv2hBjheNVn.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/ypmNAVYIkrNSmaPyj1WPWt1C90k.jpg\">https://image.tmdb.org/t/p/original/ypmNAVYIkrNSmaPyj1WPWt1C90k.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/ezLeuHXAXpZ08JHgnZHapiFWdJO.jpg\">https://image.tmdb.org/t/p/original/ezLeuHXAXpZ08JHgnZHapiFWdJO.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/kCLTEMwxqUmq3SZzc6RW3AHbCpf.jpg\">https://image.tmdb.org/t/p/original/kCLTEMwxqUmq3SZzc6RW3AHbCpf.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/mmNlxzYovQ9Oa4Bd2ZzIzp7dikt.jpg\">https://image.tmdb.org/t/p/original/mmNlxzYovQ9Oa4Bd2ZzIzp7dikt.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/39K37T4DXR63EwaCgLV8xWb9QlE.jpg\">https://image.tmdb.org/t/p/original/39K37T4DXR63EwaCgLV8xWb9QlE.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/68z17oANEG7t2OextIy0l7nfgVt.jpg\">https://image.tmdb.org/t/p/original/68z17oANEG7t2OextIy0l7nfgVt.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/7BD44Vmpi7WsMZZAdZP0U5ao3vI.jpg\">https://image.tmdb.org/t/p/original/7BD44Vmpi7WsMZZAdZP0U5ao3vI.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/eyFBWepNXgCe69gO3EhQ6UX5UbB.jpg\">https://image.tmdb.org/t/p/original/eyFBWepNXgCe69gO3EhQ6UX5UbB.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/doSJx75U7HTCBhKAUnVd14Z7gfA.jpg\">https://image.tmdb.org/t/p/original/doSJx75U7HTCBhKAUnVd14Z7gfA.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/4DlCXdCix04yOREAsHUEV98BAS4.jpg\">https://image.tmdb.org/t/p/original/4DlCXdCix04yOREAsHUEV98BAS4.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/7csAdmybfz0FpTkVCioWQWpAsDC.jpg\">https://image.tmdb.org/t/p/original/7csAdmybfz0FpTkVCioWQWpAsDC.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/4lPmC1tOihpFGMLflh9EYeM54nV.jpg\">https://image.tmdb.org/t/p/original/4lPmC1tOihpFGMLflh9EYeM54nV.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/2jeOoWdJHFHuBGlQ4zCNY6s62X0.jpg\">https://image.tmdb.org/t/p/original/2jeOoWdJHFHuBGlQ4zCNY6s62X0.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/pesDNbxTG7NE3KrtXtEK4lAhqkg.jpg\">https://image.tmdb.org/t/p/original/pesDNbxTG7NE3KrtXtEK4lAhqkg.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/yxVa9Uo6cguW5NuxcbPCQnPaOhC.jpg\">https://image.tmdb.org/t/p/original/yxVa9Uo6cguW5NuxcbPCQnPaOhC.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/uCeHDn4BM6WerSmWi4Z8dyhmaDX.jpg\">https://image.tmdb.org/t/p/original/uCeHDn4BM6WerSmWi4Z8dyhmaDX.jpg</thumb><thumb aspect=\"set.poster\" preview=\"https://image.tmdb.org/t/p/w500/xthUZ9cIDkcCR2ia8PcA3RhfntZ.jpg\">https://image.tmdb.org/t/p/origin
2020-12-21 23:16:20.408 T:140343794185984   ERROR: SetDetailsForMovie (smb://Medienserver/NAS-Filme5/1997 und älter/Halloween 1978.mkv) failed
2020-12-21 23:16:20.861 T:140343794185984 WARNING: VideoInfoScanner: Error 1 occurred while retrievinginformation for smb://Medienserver/NAS-Filme5/1997 und älter/Halloween 1978.mkv.
2020-12-21 23:16:20.865 T:140343794185984  NOTICE: VideoInfoScanner: Finished scan. Scanning for video info took 00:08
    Zitat von SkyBird1980

    Passwörter werden automatisch im Log entfernt.

    Da muss man doch sehr vorsichtig sein. Viele Passwörter werden aus dem Log entfernt, aber nicht alle. Beispiel: Wenn man pathsubstitution nutzt auf Passwort-geschütztes smb-Share in der Art

    Code
    <to>smb://[b]Nutzername[/b]:[b]DiesePasswortIstSichtbarImLog[/b]@someserver/somepath/</to>


    steht das Passwort nachher im Klartext im Log.

    Kodi 21.1, 17.6, 21.1, 16, 20.5 on Windows 11 Pro, Android 6, Android 12, FireTV Box 2nd Gen, FireTV 4k Max 2nd Gen
    Media on NAS, OpenMediaVault 6 (Debian Linux).

    Zitat von buers

    Da muss man doch sehr vorsichtig sein. Viele Passwörter werden aus dem Log entfernt, aber nicht alle. Beispiel: Wenn man pathsubstitution nutzt auf Passwort-geschütztes smb-Share in der Art

    Code
    <to>smb://[b]Nutzername[/b]:[b]DiesePasswortIstSichtbarImLog[/b]@someserver/somepath/</to>

    steht das Passwort nachher im Klartext im Log.

    Und meinst du nicht, dass das ein Bug-Report wert gewesen wäre?`;)
    Aber selbst wenn, dann hoffe ich doch, dass dieser SMB Share nicht von außen (aus dem Internet) zugänglich wäre und er über ein VPN abgesichert ist. Sinnvoller Weise sollte dann dieser VPN Zugang nicht das gleiche Passwort wie dein SMB Share verwenden. Somit hätte man dann zwar ein Passwort, mit dem aber niemand was anfangen kann, wenn er ohnehin keinen Zugang zu deinem Netzwerk hat.

    Aber ich gebe dir Recht, da sollte man sich drum kümmern. Ich würde mich freuen, wenn du ein Log hast, wo genau dieses Passwort drin steht (oder zumindest der User), damit man das belegen kann.

    Zitat von darkside40

    Nein ist es nicht

    In dem Fall muss ich dir wiedersprechen ;) . Grundlegend gebe ich dir Recht, dass man immer komplette Logs posten soll. In diesem Fall ist der Fehler aber eindeutig

    Zitat von CrashB

    MySQL error: Code (1406)

    Das ^^ beschreibt direkt das, was ich oben beschrieben habe. Der Code 1406 heißt "Data too long for column". In dem github link von mir wird genau dieses Scenario für Film-Sets angesprochen. Genau hier gehts los:

    Zitat von CrashB

    c08='<thumb aspect=\"set.poster\"

    Das Feld "c08" ist das Feld für die Bilder des Movie-Sets.

    Zitat von CrashB

    \"https://image.tmdb.org/t/p/w500/xthUZ9cIDkcCR2ia8PcA3RhfntZ.jpg\">https://image.tmdb.org/t/p/origin

    Wie man hier sehen kann hört der Link einfach mitten drin auf. Heißt im Klartext, dass zu viele Daten für das Feld eingetragen werden sollen.

    Lösungen gibt es in dem oben genannten Link. Entweder auf neuere Scraper setzen oder das Feld der Datenbank anpassen:


    ALTER TABLE MyVideos116.movie MODIFY COLUMN c08 mediumtext DEFAULT NULL NULL;
    Zitat von DaVu

    Aber ich gebe dir Recht, da sollte man sich drum kümmern. Ich würde mich freuen, wenn du ein Log hast, wo genau dieses Passwort drin steht (oder zumindest der User), damit man das belegen kann.

    eh, das stimmt schon, probiers aus.. ;D
    Die Frage ist - könnte man bestimmt mit einem include selber lösen :)

    Update: https://github.com/xbmc/xbmc/issues/18974

    Zitat von SkyBird1980

    eh, das stimmt schon, probiers aus

    Ich habe es nie in Frage gestellt ;)
    Ich kann es nur nicht ausprobieren, da ich hier dafür nicht extra einen SMB Share aufsetzen werden. In meinem Netzwerk nutz ich ausschließlich NFS und das benötigt kein Passwort

    Danke für deinen Bug-Report. Ist getaggt.

    :D wenn du in den bug report schaust - ich hab auch keinen share dafür eingerichtet - ist auch total unnötig um das zu beweisen.
    Gibt halt Write Errors, na und? :D

    --------------
    Guides nicht mehr verfügbar wegen Youtube unvermögen guten von schlechten Kodi Videos zu unterscheiden.

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden