Also, zusammengefasst:
Wollt ihr lieber eine Anzeige, die alle Spezialformate der Welt kennt, dafür bei simplen Variationen davon kläglich scheitert und gar nix liefert, oder reicht ein eine einfache Anzeige, deren Näherung dafür immer vorhanden ist? (wers dann wirklich genau wissen will, kann ja in die Details der Metadaten gucken)
Aber bin heute auf ner Messe in Zürich, kann mich also erst am Abend dazu äussern. Bin aber gespannt, was ihr dazu meint.
Gesendet von meinem Nexus 5 mit Tapatalk
Ich vermute, dass auf dieser Kiste die einzelnen Tasks so flott abgearbeitet werden, dass er gar nicht zum Queuen kommt.
(I7-6700@4,4Ghz, 32Gb Ram, Kodi lokal, MySQL Datenbank aber auf ner Schnarchtüte im LAN)Erst, wenn dann mal ein Task in die Hose geht, fängt er an sie in die Queue zu packen und die Anzahl hochzuzählen.
Hab bei mir gerade bei 1354 Filmen die Metadaten aktualisert mit aktiviertem RealTimeSync im KI. Ist ohne Probleme durchgelaufen. Zwischendurch musste mal der eine oder andere Film erst in Kodi gesucht werden, ging aber auch ohne Probleme.
Hier mal ein Auszug aus meinem Log (unnützes dazwischen habe ich entfernt:
[Movie Scraper] [Start] Scraping Scott Pilgrim gegen den Rest der Welt
[ModulesManager] [RunGeneric] [Start] <Notification>
[ModulesManager] [RunGeneric] No generic modules defined <Notification>
[ModulesManager] [RunGeneric] [Start] <ScraperMulti_Movie>
[ModulesManager] [RunGeneric] Run generic module <Renamer>
[ModulesManager] [RunGeneric] Run generic module <Trakt.tv Manager>
[ModulesManager] [RunGeneric] Run generic module <Kodi>
[APIKodi] [LibreELEC-WZ] GetPlaycount_Movie: "Scott Pilgrim gegen den Rest der Welt" | Start process...
[APIKodi] [LibreELEC-WZ] [SearchMovie] "Y:\Scott Pilgrim gegen den Rest der Welt\Scott Pilgrim gegen den Rest der Welt.mkv" | OK, found in host database! [ID:1017]
[APIKodi] [LibreELEC-WZ] GetPlaycount_Movie: "Scott Pilgrim gegen den Rest der Welt" | Nothing to sync
[ModulesManager] [RunGeneric] [Start] <Notification>
[ModulesManager] [RunGeneric] No generic modules defined <Notification>
[ModulesManager] [RunGeneric] [Start] <OnNFOSave_Movie>
[ModulesManager] [RunGeneric] No generic modules defined <OnNFOSave_Movie>
[ModulesManager] [RunGeneric] [Start] <Sync_Movie>
[ModulesManager] [RunGeneric] Run generic module <Kodi>
[Movie Scraper] [Done] Scraping Scott Pilgrim gegen den Rest der Welt
[APIKodi] [LibreELEC-WZ] UpdateInfo_Movie: "Scott Pilgrim gegen den Rest der Welt" | Start syncing process...
[APIKodi] [LibreELEC-WZ] [SearchMovie] "Y:\Scott Pilgrim gegen den Rest der Welt\Scott Pilgrim gegen den Rest der Welt.mkv" | OK, found in host database! [ID:1017]
[APIKodi] [LibreELEC-WZ] UpdateInfo_Movie: "Scott Pilgrim gegen den Rest der Welt" | Updated on hostWie man sehen wird während dem Scrapen synchron der Playcount abgeglichen (Zeile 8), nach dem Scrapen dann asynchron der Snyc ausgeführt (Zeile 18).
Wie du bereits erwähnt hast das dauert das Scrapen der Metadaten länger als der Sync, somit ist eigentlich immer nur ein Task in der KI-Task-Liste.
Wenn ich mir dein Log ansehe fallen zwei Sachen auf:
[Movie Scraper] [Start] Scraping (500) Days of Summer (2009)
[ModulesManager] [RunGeneric] [Start] <Notification>
[ModulesManager] [RunGeneric] No generic modules defined <Notification>
[ModulesManager] [RunGeneric] [Start] <ScraperMulti_Movie>
[ModulesManager] [RunGeneric] Run generic module <Renamer>
[ModulesManager] [RunGeneric] Run generic module <Kodi>
[APIKodi] [KRAKE] GetPlaycount_Movie: "(500) Days of Summer" | Start process...
[APIKodi] [KRAKE] [SearchMovie] "\\Hexalotte\Filme2\Komödie\(500) Days of Summer (2009)\(500) Days of Summer (2009).mkv" | OK, found in host database! [ID:3437]
[APIKodi] [KRAKE] GetPlaycount_Movie: "(500) Days of Summer" | Nothing to sync
[ModulesManager] [RunGeneric] [Start] <Sync_Movie>
[ModulesManager] [RunGeneric] Run generic module <Kodi>
[Movie Scraper] [Done] Scraping (500) Days of Summer (2009)
[Movie Scraper] [Done] ScrapingDer komplette Scrapevorgang wurde abgeschlossen (Zeile 13), ebenfalls konnte beim letzten Film der Playcount noch abgeglichen werden (Zeile 7). Kodi war also zu dem Zeitpunkt noch erreichbar. Der Film selbst wurde aber nicht mehr gesynct.
Ich hab also mal nach dem letzten UpdateInfo_Movie Eintrag gesucht...
Der letzte Eintrag oben ist von 12:16, der letzte Vorgang UpdateInfo_Movie wurde um 11:43 (sauber) beendet und geloggt... danach herrschte Ruhe im Taskmanager. Der letzte gesynct Film war "Die Geschichte des Richard O." Das war warscheinlich der Zeitpunkt, in dem sich die Tasks im Manager angefangen haben zu stapeln. Es scheint, als hätte der Manager einfach aufgehört zu arbeiten...
Grundsätzlich habe ich gerade keine Idee, warum die Tasks nicht weiter abgearbeitet wurden. Beim Hinzufügen neuer Tasks wird eigentlich immer geprüft, ob der Manager noch läuft oder gestartet werden muss. Ich werde da nun mal ein paar Logpunkte mehr einbauen und nochmals genau nachsehen, ob ich was finde.
Ich vermute, dass auf dieser Kiste die einzelnen Tasks so flott abgearbeitet werden, dass er gar nicht zum Queuen kommt.
(I7-6700@4,4Ghz, 32Gb Ram, Kodi lokal, MySQL Datenbank aber auf ner Schnarchtüte im LAN)Erst, wenn dann mal ein Task in die Hose geht, fängt er an sie in die Queue zu packen und die Anzahl hochzuzählen.
Ich check heut Abend mal deine Logs und lass es bei mir durchlaufen. Mal gucken was rauskommt.
Also nochmal von vorne...
* Ich starte die große Schleife "sammle alle Metadaten neu ein"
* Ember legt los, beginnt bei "ZZZZZ...." und zählt rückwärts (unten rechts in der Ecke) die offenen Tasks sind und bleiben bei NULL
* IRGENDWANN (mal nach 2000, mal nach 3000, keine Ahnung wann, rein zufällig) beginnt die Zahl der offenen Tasks oben rechts hochzuzählen. Die Filmtitel unten rechts werden weiter abwärts gezählt, eigentlich sogar im gleichen Takt, wie zuvor
* Wenn einmal begonnen wurde, die Tasks hochzuzählen, wird nie wieder irgendeiner dieser Task auch mal beendet und subtrahiert. Es wird solange aufaddiert, bis die Filmschleife unten rechts abgearbeitet und beendet ist
* Danach passiert nix mehr. Oben rechts bleibt die Zahl stehen, das wars.Bin ja schon wieder da, wollte nur die lange Mittagspause erklären
Ok, dann werde ich heute bei meiner Lib auch mal alle Metadaten erneuern lassen und gucken, was da passiert. Kann das jetzt gerade nicht verstehen. Die Tasks für das KI werden ja immer beim Speichern der Infos/Bilder in die DB erstellt, nicht erst am Schluss des gesammten Scrapevorgangs.
Nein nein, DIE Meldungen in Kodi habe ich schon seit Urzeiten deaktiviert (erkennt man auch im Log, "Notifications" werden nicht ausgeführt).
Das ist nur das Modul "Meldungen", welches die hässlichen Ember Meldungen rechts unten generiert (die, die bei der Menge auch nie mehr richtig verschwinden). Die Meldungen in Kodi lassen sich nur über die KI Einstellungen deaktivieren. Aber das hast du ja wohl schon gemacht.
Ich mein schon die Tasks oben rechts in Ember.
Und da stehen noch offene Tasks obwohl du der Meinung bist, dass alles durch ist?
auch MAMis sind mal wech zur Nahrungsaufnahme
Na dann Mahlzeit oder gut einkauf!
Von welchem aktuellen Stand redest du jetzt? v1.4.7.2 oder v1.4.8.0 alpha23.3??
Von welcher Version soll es dann ein Beta Release geben?Oder hast du inzwischen eine komplett neue Version programmiert und an mir ist das komplett vorbei gegangen (was ja nicht schlimm wäre)?
Aus 1.4.8.x Alpha wird 1.5 Beta, dann 1.5 Stable.
Ja, ich arbeite schon länger an einer neuen Version bzw. neuem Unterbau für Version 2.0. Deshalb möchte ich bei der aktuellen 1.4/1.5 nicht mehr allzuviel verändern, ist ja nur doppelte Arbeit.
Wobei mir dabei irgendwie mies aufstösst, dass ich doch NUR METADATEN neu einlesen wollte, laut Logfile wird aber wild rumgescraped ?!?!?!?
Naja, Metadaten holen ist halt auch ein Scrapevorgang. Wenn du "nur Metadaten" ausgewählt ist ist auch nur dieser Trigger aktiv. Anonsten würdest du noch pro Film die Einträge für "[Start] TMDB" und "[Done] TMDB" usw. sehen.
Eigentlich werden die Ember Anfragen so schnell abgearbeitet, dass die gar nicht in die Queue gehen. Erst, wenn irgendwas in die Hose geht, fängt der Taskzähler an zu laufen. Also schon die "nummer 1" ist in diesem Falle ein untrügliches Zeichen für den Abflug :-(((
Nein, kann an nicht so sagen. Wenn die Filme/Episoden bereits in der Kodi-DB sind bzw. Kodi anhand der ersten ID Anfrage bereits eine ID liefert, dann geht es in der Tat extrem schnell. Wenn aber kein Eintrag mit Pfad/Dateiname gefunden wird, dann startet das DB-Update in Kodi, was halt länger dauert.
Aber Kodi bekommt ja weiter immer die neuen Tasks zugestellt, kann es nicht doch sein, dass Ember einfach eine Antwort "verpennt" hat und danach nur noch auf Godot wartet? Offensichlich werden ja auch keine Quittungen für die neuen Tasks mehr akzeptiert
Verstehe ich nicht ganz...
- Godot?
- akzeptiert keine neuen Tasks/Quittungen?
EDIT: Falls du damit die Infos oben rechts in Kodi meinst, die trotz Abschluss in Ember immer noch angezeigt werden, dann liegt das daran, dass diese Meldungen einfach noch im "Meldung-Speicher" sind. Kodi zeigt ja jede Meldung eine gewisse Zeit an, da dauert es dann schon ziemlich lange, bis alle 1501 Meldungen vom KI durch sind 
Hat's denn jetzt ein Problem gegeben oder nicht? Falls ja, dann brauche ich die vollständigen Logs zur Analyse. Einfach an support@embermediamanager.org senden.
So recht?
(hast Glück gehabt, die Tasks fangen gerade an hochzuzählen)
Ja genau. und dazu müssen diese zwei noch aktiviert sein:
Ich muss jetzt futtern gehn. Mahlzeit!
DAS kann leider nun gar nicht stimmen
Denn sonst würde Ember ja mitkriegen, dass man Kodi gekillt hat, da dann die Verbindung zusammenbricht und "weitere Anfragen" nicht übermittelt werden können...
Nee, nee, das Teil hängt eindeutig woanders.
Vielleicht krieg ich es gleich raus, wenn dieser Durchgang wieder in die Hose geht, versuch ich mal den Debugger einzuklinken...
Dann aktiviere bitte in Kodi ebenfalls das erweiterte Debugging inkl. "Ausführliche Protokollierung der JSON-RPC Anfragen".
Vielleicht sollte man die verschienden Positionen der Öffentlichkeit vorstellen und nach guter Schweizer Sitte eine Volksbefragung durchführen ?
Hehe 
Wie würdest du die Frage denn formulieren? Ich verstehe ehrlich gesagt deine Ansicht zu dem Thema immer noch nicht... hatte die Tage aber auch keine Zeit, mir das nochmals alles in Ruhe durchzulesen.
Ich meine es waren damals nicht mehr wie 700 Filme, wo der KI-Task sich immer aufhängte. Meine Aussage in #2813 stimmt so nicht, ich schicke inzwischen nur Buchstabenweise A-A, B-B usw. über KI. Da läuft es dann problemlos durch.
Wie gesagt, das KI hängt sich nicht an der Menge der Tasks auf sondern ausschliesslich an einem Task, der aus welchem Grund auch immer nicht weitermacht. Aufhängen ist eigentlich auch falsch gesagt, denn das Problem ist meistens Kodi, das immer sagt "ich scanne noch die Bibliothek". Ember wartet dann halt einfach ewig. Wenn das KI einen richtigen Fehler hat, dann wird der Task "sauber" verworfen und der nächste startet. Ebenfalls dann, wenn Kodi nicht erreicht werden kann.
Na ja, Anschauen hilft da nicht wirklich weiter. Das Ganze ist etwas komplexer, da völlig asynchron programmiert.
Dabei entstehen Programmsituationen, die niemals nachvollziehbar und auch nicht debugbar sind. Das Einzige, was dabei sicher ist: SHIT HAPPENS! ALL THE TIMEMein einziger Vorschlag wäre:
a) Begrenzen der anstehenden Tasks auf maximal 10-50
b) wenn Grenze erreicht, Hauptprogramm schlafen legen und erstmal die Tasks abarbeiten
c) Hauptprogramm weiterlaufen lassen.5000 und mehr Threads anzuhäufen geht immer in die Hose, da fängt das Betriebssystem schon bei an zu spucken, weil gewisse Ressourcen ans Limit gehen (oder sogar drüber hinaus... CRASH)
Lieber weniger und langsam, dafür dann vollständig.
Die Tasks werden in einem Thread abgearbeitet, nicht in einzelnen Threads bzw. parallel. Wenn da 5000 steht bedeutet das nur, dass noch so viele Aufgaben vom KI-Task-Manager zu erledigen sind.
Das Problem mit dem KI lässt sich eigentlich auf 2 Probleme reduzieren:
Erstens, Kodi sagt bei der Frage "läuft DB Update noch?" Ja, obwohl das Update durch ist. Aus dieser Schleife kommt das KI nicht mehr raus, da es kein Timeout für die Abfrage gibt. Man müsste wohl Kodi ebenfalls über längere Zeit im Debugmodus laufen lassen, um dieses Problem nachvollziehen zu können... und das kann ich nicht. Ein Limit kann ich auch nicht einbauen, dafür unterscheiden sich die Laufzeiten des DB-Updates zu sehr (einzelnes Filmverzeichnis geht vielleicht max. 5-10 Sekunden, ein Serienverzeichnis kann schonmal über 2 brauchen, je nach Client und MySQL Version).
Das zweite Problem tritt wohl dann auf, wenn Kodi gar keine Antwort mehr gibt, sprich das JSON-Interface in Kodi abgekackt ist. Bei mir ist der Fehler leider noch nie dann aufgetreten, wenn ich gerade am Debuggen war... und ich nutze Ember eigentlich IMMER direkt aus VS aus (so kann ich Fehler auch direkt nachvollziehen).
Die Lösungsvorschläge, die ihr genannt habt, kann man eigentlich auf zwei-drei Features runterbrechen:
Ich beginne mal mit letzterem, das wird sicher kommen:
Für die Version 2.0 habe ich eine Möglichkeit geschaffen, solche Reports anzulegen. Es wird dann auch beim automatischen Scrapen möglich sein zu erkennen, welcher Film gescrapt worden ist und welcher nicht. Sprich z.B. bei Scrapevariante "Automatisch - Nachfragen bei mehreren Suchergebnissen" wird nicht unterbrochen, wenn ein Film mehrere Suchergebnisse liefert, sondern diese Filme werden dann in einer Art "braucht Userinput" Liste abgelegt, die man nachträglich abarbeiten kann. So läuft der eigentliche Vorgang im Hintergrund weiter. Mann kann natürlich auch während dem Scrapevorgang die "offenen Fragen" beantworten und die Filme werden dann wieder am Ende der Scrapeliste angehängt. So was in der Art ist dann auch beim KI verfügbar.
Die anderen zwei Punkte versuche ich noch irgendwie umzusetzen. Dafür braucht es aber ein wenig mehr als die eine kleine Info-Zeile oben im Menübereich.
Wie gesagt, ich will und werde für den aktuellen Stand von Ember keine neuen Features mehr einbauen, höchstens noch ein Abbrechen Button für das KI, wenn es irgendwie umsetzbar ist. Sobald ich das Thema "Ermittlung der Auflösung" mit @mam geklärt habe wird's ein Beta Release geben. Danach werden nur noch grobe Fehler gefixt und es gibt nach Jahren mal endlich ne hoffentlich stabile Version.
Isch hätte da mal wieder ein neues Problem (oder ein altes, das aus der Versenkung wieder hochpoppt?)
Zwecks Frühjahrsputz habe ich Ember mal mit der Aufgabe betraut "sammle alle Metadaten" neu ein, denn inzwischen hatte ich ja nun schon reichlich Filme ausgetauscht zu besseren Versionen. Kodi kriegt da ja beim Abspielen mit, und ändert die Metadaten dann automatisch, Ember ist da etwas sturer und will getreten werden (iss ja ok so).
Also tritt MAMi mal feste und geht dann auf ne kleine Radtour, denn nix ist langweiliger, als bei Ember die Schleifen hochlaufen zu sehen und tausende von Jobs anzuhäufen.
Nach geraumer Zeit wiedergekommen, stellte ich erfreut fest, dass Ember wohl mit dem Update durch war, aber leider hats dabei mal wieder das KI geschlachtet und es hingen nocht 4172 Tasks in der Warteschlange.
Diese wurde denn dann auch niemals weiter abgearbeitet, nach 60Min warten, waren es immer noch 4172.Was tun?
Kodi neu starten ? -> passiert nix, tasks hängen weiter
Ember neu starten ? -> doofe Idee, dann sind ja alle Tasks "über die Wupper", wie man hier sagt (aka: "WECH!")Hier existiert also noch eine Lücke mit erhöhtem Handlungsbedarf!
Beim Runterfahren (sofern noch Tasks offen sind) sollte Ember fragen, ob man diese "sichern" möchte, wenn ja, die Jobs irgendwo abspeichern und beim nächsten Start erkennen, dass da welche anliegen und fragen, ob man sie wieder in die Queue aufnehmen wolle.
So könnte der traurige User zumindest einen Neustart probieren, wenn der wieder in die Hose geht, kann er dann beim übernächsten Start verfügen, dass alles zu entsorgen sei.So hat mans wenigstens einmal im Guten probiert und spart sich die Stunden der Taskgenerierung...
Ich habs im Tracker erfasst: Link
Hab dir ne Mail geschickt konnte hier nix anhängen
Ich konnte im Log nicht wirklich was erkennen. War das [definition='1','0']log[/definition] komplett?
CSV Dateien solltest du hier im Forum einfach anhängen können.
Sollte ich es mal mit dem Movie Set Artwork Automater versuchen?
Ich würde eher mal check, ob Ember schreibrechte für den Filmset Artwork Ordner hat.
Gesendet von meinem Nexus 5 mit Tapatalk
Ach, das Tutorial sollte eigentlich noch gar nicht sichtbar sein, ist ja noch nicht mal richtig angefangen... ich werde das Tut wohl demnächst mal entfernen und erstmal lokal fertigmachen.
Aber nun zu deiner Frage:
Im Zusammenhang mit dem KI ist es nötig, dass die Filme bereits in der endgültigen Quelle liegen und die Quelle auch in Kodi eingerichtet ist. Zum Syncen der Daten braucht das KI die ID des Filmes aus der Kodi-Datenbank. Die ID wird anhand des Pfades und Dateinamens ermittelt. Wenn Kodi keinen Eintrag mit diesem Pfad/Dateinamen findet, dann startet das KI in Kodi ein Datenbankupdate. Dabei wird nicht ein komplettes DB-Update durchgeführt oder die Quelle durchsucht, sondern nur der Ordner durchsucht, in dem die Datei liegt. Damit Kodi die Datei in die eigene DB aufnimmt muss der Pfad natürlich in einer bereits angelegten Quelle liegen, die mit Inhalt "Filme" eingestellt ist. Wenn der Suchlauf in Kodi durch ist fragt das KI nochmals die Kodi-DB ab und sollte dann die nötige ID erhalten, um den Sync auszuführen.
danke hatte bei Filmsets "gesucht" Soll ich die Filme jetzt nochmal scrapen damit es in die NFO gesetzt wird?
Im Prinzip reicht es, wenn du nun alle Sets scrapst. Dabei wird immer die Film NFO neu gespeichert. Leider liest Kodi die Info nur beim ersten Mal einlesen aus und das Kodi Interface kann den Filmset Plot auch nicht übertragen, da dafür immer noch der Teil in Kodis JSON Interface fehlt. Die Info wird aber zumindest vom Standartskin immer noch nicht angezeigt.
Gesendet von meinem Nexus 5 mit Tapatalk
Finde die einstellung "erweiterten Set Infos" nicht?
Einstellungen - Filme - Scraper Daten - irgendwo rechts unten
Gesendet von meinem Nexus 5 mit Tapatalk
So PC hat sich aufgehängt
Hab jetzt mal per Filmset Editieren die Pictures selbst ausgewählt dabei ist mir aufgefallen das keine NFO Datei erstellt wird ist das so bei Filmsets?
Auch ist mir aufgefallen das die Filmset-Bilder nicht in Seperate Ordner gepackt wurden sondern alle zumsammen in den von mir gewählten.
NFO wird nur erstellt, wenn du das in den Dateiname-Expertsettings manuell angibst. Macht aber nicht viel Sinn. Was sinn macht ist das aktivieren der "erweiterten Set Infos" für die Film NFO, damit dort der Filmset Plot auch geschrieben wird.
Dass alle Bilder direkt im Ordner gespeichert wird ist korrekt.
Gesendet von meinem Nexus 5 mit Tapatalk
Sorry, ist gerade schwierig auf dem Mobiltelefon zu lesen. Könnte aber auch einfach ein Fehler sein. Versuch mal Ember abzuschiessen und dann nochmal was zu scrapen.
Gesendet von meinem Nexus 5 mit Tapatalk
