Ember Media Manager 1.4.8.0 Alpha - Diskussionsthread

Zitat von mam

Kann es sein, dass die beiden Folgen nacheinander abgefragt werden und thetvdb die ersten Frage brav beantwortet und beim zweiten Male schmollt?

Ja, die Episoden werden nacheinander einzeln gescrapt. Nein, das ist kein Problem und TVDB schmollt deswegen auch nicht.
Beim DB-Update wird jeder Serienordner einzeln nach neuen Files durchsucht. Die einzelnen Files werden dann erst durch die Regex gejagt, damit die Staffel- und Episodennummern ermittelt werden können. Das hat zumindest funktioniert, denn das zweite File hat ja die richtigen Nummern gekriegt. Danach werden die Episoden nacheinander gescrapt. Ist aber wie gesagt kein Problem, ich füge nahezu täglich mehrere neue Episoden zu einer Serie hinzu (gleichzeitig). Deshalb die Frage, ob da im Log beim zweiten File irgendwas spezielles steht.

Zitat von mam

Auf das "Schmollen" komme ich, weil thetvdb nun wirklich sehr oft und sehr ausdauernd arge Serverprobleme hat. Zu manchen Tageszeiten kann man es schlichtweg vergessen, irgendeine Abfrage zu starten oder gar neue Daten einpflegen zu wollen. Dazu benutzen sie auch noch Cloudflare, das genaue Gegenteil von Cache, was sie eigentlich brauchen. Sehr kontraproduktiv.
Ich brauche abends manchmal 10 Versuche und 30Minuten nur um einen Screenshot hochzuladen...

Jas, das ist echt bitter zur Zeit. Ich werde demnächst nochmals versuchen ein wenig mit TMDB zu quatschen. Die sollen sich mal Gedanken über eine vernünftige Serien-API machen, die ist ja zur Zeit auch nur beschränkt zu gebrauchen. TVDB ist zwar schnell, aber der automatische Fallback auf Englisch und die teilweise immer noch sehr niedrig aufgelösten Bilder stören mich doch langsam sehr.

Zitat von Kodi_Newcomer

Vllt könnte man auch nur den Start der Aktualisierung und das Ende durch eine Meldung in Kodi mitteilen ? EMM Aktualisierung gestartet / EMM Aktualisierung beendet.

Ich könnte sowas in der Art machen. Alle Sync-Aufgaben werden ja an einen "Task-Manager" im Kodi Interface gesendet. Der arbeitet dann alle Tasks nacheinander ab. Ich könnte vor dem ersten Task und nach dem letzten jeweils eine Meldung absenden, das würde gehen. Ein Problem wird's erst dann, wenn der Task-Manager schneller ist, als z.B. ein grosser Scrapevorgang. Wenn man z.B. 40 Filme scrapt, dann wird ein einzelne Sync-Task fertig sein, bevor der nächste Film gescrapt und ein weiterer Sync-Task hinzugefügt worden ist. Somit würde dann das KI bei jedem Film 3 bzw. 2 Meldungen an Kodi senden:
- Sync Beginn
- Avatar gesynct (nur wenn Meldungen allg. aktiviert)
- Sync Ende

Ich denke in den meisten Fällen würde so eine Lösung die Anzahl Meldungen eher verdoppeln bis verdreifachen...

Zitat von Kodi_Newcomer

Speichert Kodi die Grafiken nicht auf seinem eigenen System ?

Kodi cached alle Bilder. Im Normalfall macht das Kodi in Ruhezeiten im Hintergrund, spätestens aber dann, wenn der Skin ein Bild anzeigen will.

Zitat von Kodi_Newcomer

Oder hat das vllt was mit einem Sync zu tun das alle Bilder neu gecached werden ?

Beim Sync werden die für den Film/Serie usw. bereits gecachten Bilder durch das KI gelöscht. Nur so werden geänderte Bilder auch sofort in Kodi angezeigt. Ansonsten würden es bis zu 24h gehen, bis Kodi den Cache checkt und die Änderungen bemerkt.

Zitat von Kodi_Newcomer

Und noch mals eine Frage zu der langen Zeit die EMM braucht. Z.b. gehe ich auf fehlende alle das dauert einen halben Tag bis er fertig ist. Es sind aber nur einige Sachen die fehlen. Ich meine auch allgemein, wenn ich eine einzelne Serie neu scrapen, dauert das Minuten, er macht doch eig nichts anderes als die internen Kodi Mittel das tun auf tvdb die Infos und Bilder holen den Rest von fanart.tv Kodi macht ja mit seinem scraper und dem ad auch nichts anderes.

Kommt auf die verwendeten Scrape und Einstellungen an. Was bei Serien extrem wichtig ist: Einstellungen => Scraper-Bilder => Bilder Cache aktivieren. Ist diese Funktion deaktiviert, dann lädt Ember bei jeder Episode die Actor Thumbs erneut herunter. Wenn du nur TVDB und Fanart.tv nutzt und die komplette Serie neu scrapst, dann sind das eingentlich nur 3 API Calls, die schnell erledigt sein müssten.

Ein Vergleich mit der Serie TBBT (10 Staffeln mit total 229 Episoden):

TVDB & Fanart.tv, jeweils alles aktiviert: 8 Sekunden
1 API Call bei TVDB für die Daten der Serie und aller Episoden
1 API Call bei TVDB für die Bilder der Serie und aller Episoden
1 API Call bei Fanart.tv für die Bilder der Serie und aller Staffeln

TVDB, TMDB & Fanart.tv, jeweils alles aktiviert: 144 Sekunden
1 API Call bei TVDB für die Daten der Serie und aller Episoden
1 API Call bei TMDB für die Daten der Serie
10 API Calls bei TMDB für die Daten aller Staffeln
229 API Calls bei TMDB für Daten aller Episoden
1 API Call bei TVDB für die Bilder der Serie und aller Episoden
1 API Call bei Fanart.tv für die Bilder der Serie und aller Staffeln
1 API Call bei TMDB für die Bilder der Serie
10 API Calls für die Bilder der Staffeln
229 API Calls für die Bilder aller Episoden

TMDB blockiert/pausiert nach 30 API Calls innert 10 Sekunden das weitere Scrapen für 30 Sekunden.

In der nächsten Alpha kann die Anzahl der API Calls um die Hälfte reduziert werden, da neu Daten und Bilder (und Trailer) zusammen gescrapt und danach entsprechend den Einstellungen sortiert werden. Bei TMDB sind es dann aber immer noch 240 API Calls, um an alle Infos und Bilder zu kommen...

Zitat von Kodi_Newcomer

Und wieso sind die Ergebnisse bei EMM oft besser als intern mit Kodi gescrapt ? Dort kam es schon öfters vor das die Beschreibung Englisch war oder teilweise bei den Episoden keine Bilder und Grafiken vorhanden waren.

TVDB macht einen automatischen Fallback auf englische Inhalten, wenn etwas ein Feld nicht übersetzt worden ist. Das ist aber auch in Ember so, lässt sich leider nicht steuern. TVDB hat nur ein Bild pro Episode, TMDB meistens mehrere. Unterschied zwischen Kodi und Ember ist, dass Ember Daten und Bilder aus unterschiedlichen Quellen nutzen kann. Somit kann eher etwas fehlendes vom nächsten Scraper gefüllt werden.

Zitat von Kodi_Newcomer

Das wird wohl das sein was ich meine. War bisher immer nach einem großen sync. Bei einzelnen Filmen ist das ja nicht der Fall oder löscht der generell immer beim syncen alle Grafiken, egal ob ein Film oder eine Serie ?

Es wird immer nur der Cache des jeweiligen Sync-Objektes gelöscht, nicht der komplette Cache. Wenn du aber regelmässig alles neu syncst dann wird natürlich so gut wie alles im Cache gelöscht.

Zitat von Kodi_Newcomer

Ich werde mal tmdb abschalten, z.b. bei den Bildern, das dürfte Fanart ja alles liefern bei Serien ? Oder hab ich dann große Nachteile ?

Einziger Nachteil sind meiner Meinung nach die Episoden-Thumbs. Die gibt's nur bei TVDB und TMDB, wobei die bei TVDB in einer sehr kleinen Auflösung (400x225 px) sind, bei TMDB hingegen meistens 720/1080/2160p.

Zitat von Kodi_Newcomer

In der neuen ist es aber anders geregelt wenn ich das richtig verstanden habe. Was als erste in der Liste ist wird als Quelle genutzt sollte es damit nicht funktionieren wird der nächste genutzt ?

Es ist aktuell so, dass immer der erste Scraper zur Ermittlung/Suche einer eindeutigen ID (TVDB, IMDB, TMDB) verwendet wird. Ebefalls bereits jetzt ist es so, dass bei mehreren aktivierten Scrapern der Wert für ein Feld vom nächsten Scraper verwendet wird, falls das Feld beim vorherigen Scraper leer war.

In der nächsten Alpha wird es einerseits eigene Einstellungen bzw. Scaper für die Suche geben, andererseit kann dann für jedes Datenfeld individuell eingestellt werden, von welchem Scraper die Daten in welcher Reihenfolge verwendet werden sollen (erkennt man vielleicht anhand des Screenshotes hier: Link). Wichtigste Änderung betreffend Scrapezeit wird aber sein, dass bei jedem Scraper gleich alles in (wenn möglich) einem API Call geholt wird, anstelle getrennt nach Daten, Bilder, Trailer und Themes wie aktuell.

Zitat von Kodi_Newcomer

Würde für tmdb ein eigener api key was bringen ? Oder sind auch dort die Call stops drin ?

Nein, das bringt nichts. Die Pause dient zur Entlastung des Servers, da anscheinend früher schlecht oder absichtlich so programmierte Programme tausenden API Calls nacheinander ausgeführt haben. Leider hat der API-Dev von TMDB immer noch nicht verstanden, wieso man eine ganze Serie scrapen will. Er geht davon aus, dass es immer nur einzelne Episoden sind, für die Informationen benötigt werden. Aus diesem Grund ist die Serien API auch so "zerstückelt" aufgebaut und es benötigt einfach zu viele Calls, bis man alle Daten kriegt.

Zitat von Kodi_Newcomer

Und beeinflusst es die Zeit die er braucht wenn Kodi Interface und realtime Sync aktiviert ist aber Kodi aus ist ? Bremst das EMM auch aus ?

Nein, die KI Tasks laufen alle nebenher in einem eigenen Thread. Einzig beim Scrapen über CommandLine werden die Task synchron ausgeführt. Der Grund dafür ist, dass Ember sich nicht beendet, bevor die Syncs abgeschlossen sind. Das sollte ich aber in der nächsten Alpha auch anderst lösen können.

Wo natürlich ebenfalls auf Antwort von Kodi gewartet wird ist der Playcount/WatchedState Abgeleich. Dort bleibt aber keine andere Wahl als auf die Antwort warten.

Zitat von floodx

Hallo, ich bräuchte noch mal kurz Support zum RegEx, weil ich am verzweifeln bin und den Fehler nicht finde:

Ursprungsdatei: Wilfred.S02E02_02.Happiness.avi

Die _02 muss also heraus gefiltert werden, damit er nicht Wilfred - S02E02E02E02E02E02E02E02E02 - Wilfred S02E02 - Wilfred S02E02 - Wilfred S02E02 - Wilfred S02E02 - Wilfred S02E02 - Wilfred S02E02 - Wilfred S02E02 anlegt. So sieht es bei mir nach dem Scrapen aus, nachdem ich ca. 50 Fehlermeldungen abbrechen muss.

Ich verstehe leider gar nichts bei Regex und das einzige was ich dazu gefunden habe, war eine Alternative zum Kodi Format mit ^[-_ex]+(?!(?:480|720|1080)(?:i|p))([0-9]+(?:(?:[a-i]|\.[1-9])(?![0-9]))?). Muss ich dann alle anderen Regex löschen?

Wieso heisst denn die Datei überhaupt so? Manchmal sollte man die Daten vor dem Scannen säubern, gerade bei solch eigenartigen Dateinamen, auf die die Standard-Regex anschlägt.

Die Regex müsstest du so anpassen (hab in der ersten Gruppe das Zeichen _ entfernt):

^[-ex]+(?!(?:480|720|1080)(?:i|p))([0-9]+(?:(?:[a-i]|\.[1-9])(?![0-9]))?)

Diese Regex kann aber nur bei TV Show Multi Part Matching eingetragen werden! D.h. die anderen oben müssen auf jeden Fall bleiben!

Wichtig ist nun noch, dass du die NFO dieser Episode löschst, die Datei wieder richtig benennst und die Einträge in der DB entfernst. Danach nochmals ein DB Update machen, dann sollte es klappen.
Alternativ kannst du auch bei der Epiosode in Ember Kontextmenü => Episode wechseln nutzen und dann dort die richtige Episode auswählen.

Edit: und Danke für deine Spende!

Zitat von Kodi_Newcomer

Hm was ich immer noch nicht so ganz kapiere. Beispiel 85 Serien bei gefühlten 15 fehlen z.b. Clear Logos. So nun gehe ich auf Scrapen, fehlende bester treffer automatisch, clear logo.

Sollte das nicht sehr schnell durchlaufen ? Der muss doch nur schauen, ob die Serie schon ein clear logo hat oder nicht und zur nächsten weiter. Der hängt schon ewig an der ersten Serie rum, downloaded und speichert irgendwas in die DB, die Task springen schon auf über 226. Das leuchtet mir nicht ganz ein, es geht hier um ein Clearlogo, das sieht so aus wie wenn der die Serie komplett neu scrapt mit allem drum und dran.

Da komme ich nicht mit.

Danke für den Hinweis, das sollte in der Tat nicht so sein.

Es gibt hier gleich zwei "Fehler":
Es werden auch Serien in die Scrapeliste ausgenommen, bei denen z.B. in deinem Fall das ClearLogo bereits vorhanden ist. Es wird dann zwar nichts gescrapt, jedoch die komplette Serie erneut abgespeichert, inkl. Episoden. Dabei wird bei aktiviertem RealTimeSync nactürlich auch alles erneut gesynct.
Eigentlich sollte da wirklich nur die Serien (im Falle von ClearArt auch ohne Episoden) durchlaufen, bei denen das ClearArt fehlt. Ich werde das so schnell wie möglich fixen und dann doch noch 'ne neue Alpha 23.1 vor der nächsten Alpha 24 veröffentlichen.

Zitat von Kodi_Newcomer

Allgemein sollte doch nur das gescrapt werden was auch fehlt und nicht immer alles komplett. Z.B. wenn man auf fehlend -> automatisch -> alles, das ist wie neu scrapen.

Aber nun leuchtet mir das auch ein. Wenn da was nicht stimmt und der fängt von vorne an. Sonst ist die Funktion bestimmt super, wenn er wirklich nur schaut aha, bei der Serie fehlt nichts nächste, bei der Fehlt nur Logo, also ab nach dem Logo schauen, bei der nächsten fehlt Schauspieler, also Schauspieler besorgen, speichern und nur diese Info an Kodi. Eben das was gefehlt hat und nicht alles. Bin ich mal gespannt.

Das funktioniert jetzt schon. Es werden nur fehlende Sachen gescrapt, aber eben trotzdem jede Serie geladen und ohne Änderung wieder abgespeichert.

Zitat von Kodi_Newcomer

Hm wenn alles fertig ist, oben und unten in den Ecken steht nichts mehr, keine Tasks und ich drücke Beenden, kommt alle Prozesse werden abgebrochen. Muss mich das beunruhigen ?

Ist eher eine unglückliche Wortwahl. Es werden beim Beenden alle interenen Prozesse wie "lade Bilder für die Infoanzeige" usw. beendet. Falls noch relevante Prozesse am laufen sind frägt Ember nach, ob du nicht warten willst. Dies betrifft aber eingentlich nur das KI.

Zitat von Kodi_Newcomer

So jetzt habe ich mal Testhalber Ember über Ausführen so gestartet :: -updatemovies -scrapemovies -newauto -all -updatetvshows, danach kam das Ember Statlogo und unten lief der grüne Blaken, irgendwas mit Medien werden geladen, dann popten die Kodi Sync Kästchen unten auf und fertig, ich denke der hat einwandfrei die neuen Folgen aufgenommen, verarbeitet und in Kodi hinzugefügt. Nun starte ich EMM und die Serie mit den neuen Folgen ist grün markiert, das stimmt so, oder wurde hier nichts gescrapt ? Weil wenn ich jetzt auf nur neue Scrape gehe, würde er doch bestimmt die Serie oder die neuen Folgen noch mals scrapen ?

Nochmals: die Syntax ist falsch! Hab ich dir aber schonmal gesagt, siehe hier: Link

Die Episoden sind grün, auch wenn sie bereits beim Hinzufügen zur DB gescrapt wurden. Grundsätzlich hat New nichts damit zu tun, ob etwas gescrapt worden ist oder nicht.
-scrapetvshows newauto all würde auch keine neuen Episoden scrapen sondern nur neue Serien (inkl. Episoden).

Zitat von Kodi_Newcomer

Hm oder meinst du die- bei -newauto und -all die hatte ich mit dazu dachte die hätte man vllt vergessen.

Nein, die hat man nicht vergessen. Die dürfen seit der Alpha nicht mehr vorhanden sein.

Zitat von Kodi_Newcomer

Ich würde gern auf alles prüfen und scrapen lassen neue Episoden und auch wenn mal hinzukommt neue Serien. Gibts dafür einen Befehl der beides abdeckt.

Das geht so. Neue Episoden bekannter Serien werden bei -updatetvshows gescrapt, neue Serien danach mit -scrapetvshows newauto all.

-updatemovies -scrapemovies newauto all -updatetvshows -scrapetvshows newauto all

Zitat von Kodi_Newcomer

Aber hier steht schon doch auch so

Ja mag sein, aber der Beitrag ist ja mehr als ein halbes Jahr alt und galt noch für 1.4.7.x.
Oben steht ganz genau, wo und wie sich die Commands bei 1.4.7.x und 1.4.8.x unterscheiden.

Zitat von Kodi_Newcomer

Und wegen dem löschen aus der Kodi DB. EMM müsste doch bei einem DB Upadet sehen das eine Medienfile fehlty könnte man das nicht nutzen und Fragen soll der Ordner gelöscht werden ? Er merkt ja auch wenn ein Ordner oder ein File nicht da ist und fragt danach.

Nicht beim DB-Update, nur beim beim DB-Cleanup.
Man könnte durchaus sowas einbauen. Der Cleanup-Vorgang würde dann aber um einiges länger dauern. Ich könnte das als optionale Funktion noch einbauen. Feature Request: Link