Datenbank aktualisieren ->Nur Filme dauert Stunden

tklein

Hallo,
ich benutze Ember 1.4.8. Fast alles funktioniert prima.
Einzig, wenn ich auf den Knopf "Datenbank aktualisieren-> Filme ->Nur Video aktualisieren" klicke braucht Ember fast eine Stunde.
Wohlgemerkt, ist das nur die Funktion, um neue File auf der Platte zu entdecken und nicht um sie zu scrapen.
Es funktioniert zwar, und er kommt auch zum Ende und findet neue Filme, die er einzeln in der Statuszeile am unteren Fensterrand auflistet, aber das dauerte bein den vorigen Versionen 1.3.x nicht so lange.
Interessanter Weise geht es bei den Serien schnell. Da findet Ember neue Teile oder ganze Serien bereits nach wenigen Sekunden.
Ember nutzt die eigene Datenbank, die ich bereits auch schon mal gelöscht und neu erstellt habe, aber das ändert nichts. (Datenbank neu erstellen dauert ungefähr genau so lange, wie das anschließende aktualisieren.)
Das Scrapen der neu gefundenen Filme geht auch sehr schnell (Sekunden, Bilder auswählen und ein paar Sekunden, bis danach die Datenbank aktualisiert ist).

Die Einstellungen habe ich anhand des Tutorial durchgeführt. Evtl. muß ich etwas korrigieren? Dazu habe ich Screenshots der Einstellungen als als zip angefügt. und die Versionsnummern als txt
Hat jemand einen Tipp für mich?
Gruß
tklein

grieche47

Nicht böse gemeint..... Aber glaubst du jemand lädt bei einem neuen User eine zip Datei runter?!?

SkyBird1980

Ist schon in Ordnung, da sind nur Bilder drin.
Davon abgesehen ist eine ZIP kein Virenproblem. Windows User die die Datei-Erweiterungen aus haben sind es.

grieche47

Ja das stimmt schon.... Aber es gibt mit Sicherheit nicht wenige die es so haben.

Aber danke für das Testen.

DanCooper

Das Log eines DB Updates währe eher relevant, da sehe ich die einzelnen Zeitabstände. Ich scanne bei mir aktuell 1500 Verzeichnisse über's Netzwerk in 1-2 min.

tklein · 2017-12-23.csv

Hallo,
vielen Dank für die Rückmeldungen. Gebt mir bitte noch einen kleinen Tipp, wie ich das Log des DB Updates erstelle?
Oder ist es die .csv Datei im Verzeichnis Log.
Die habe ich mal angefügt. Ohne sie zu zippen
Gruß
tklein

Coolzero82

Also wenn ich meine Filme „neu“ einlese in Ember, dann dauert dies auch ca 3-4 Stunden, sind ca 1600 Filme

Gesendet von iPhone mit Tapatalk

grieche47

Nur das einlesen, also Daten vorhanden bzw.initial scan dauert bei mir bei 1500 Filmen 10 - 15 Minuten. Alle Filme scrapen dauert in etwa 2 Stunden mit Trailern etc.

Coolzero82

Also unter initial Scan verstehe ich jetzt, Ember ist jungfreulich, und ich binde das erste Film Verzeichnis ein!? Wenn wir da das gleiche verstehen dann dauert das Bei mir 3-4 Stunden

Gesendet von iPhone mit Tapatalk

tklein

Hallo,
Ich habe das neu aufbauen der Datenbank (File löschen, Config einstellen, Quell Laufwerk angeben, go) nicht exakt gemessen. Dies kann bei mit auch 2-3 stunden dauern.
Aber das Problem, das ich habe ist: Wenn ich bei fertig gefüllter Filmliste in der Datenbank einen Film hinzufüge und dann auf den Knopf drücke "Datenbank aktualisieren", sollte er auf der Platte nur nach neuen Filmen in den Unterverzeichnissen schauen und diese in die Filmliste aufnehmen - noch nicht scrapen.
Dies dauert bei mir seit Version 1.4 aber mehr als eine Stunde nur für die Filme. Wenn ich die Funktion für die Serien auswähle, dauert es nur ein paar Sekunden.
Filme(1622)
Sets (68)
Serien:(136/3638)
Serien und Filme liegen auf dem gleichen Netzlaufwerk, jedoch in getrennten Unterverzeichnissen. Ember und auch die Datenbank ist auf einer SSD installiert und dürfte keine grundsätzlichen Performance Probleme haben.
Gegen ein paar Minuten Wartezeit hätte ich nichts einzuwenden. Aber mehr als eine Stunde ist schon etwas einschränkend.
Ha, habe gerade entdeckt, dass ich die Ember Version 1.3 auch noch auf meiner Platte habe. Dies nutzt den gleichen Quell Pfad und wenn ich dort den "Datenbank aktualisieren" dauert es bei den Filmen nur 17 Sekunden und bereinigt sogar noch die Datenbank innerhalb dieser Zeit.
Hat jemand eine Idee?
Ich danke sehr.
Gruß
tklein

macxs

Wenn der Scanner Metainformationen aus den Filmen extrahiert, könnte das die sehr lange Scanzeit erklären. Schalte das mal aus (Einstellungen -> Filme -> Scraper-Daten, Metadaten). Dort steht z. B. auch "Benutze Spielzeit als Länge" - auch das könnte der Grund.
Außerdem könntest Du den Frame Extractor deaktivieren (Module), denn der Scraper müsste dort hin seeken. Der Index eines Filmes steht typischerweise am Ende der Datei. Wenn der fehlt, weil die Datei unvollständig kopiert wurde, dann braucht das Seeken zur gewünschten Stelle sehr sehr lange. Das sollte aber eigentlich erst beim Scrapen passieren, noch nicht beim Scan.

tklein

Hallo macxs,
vielen Dank für die Tipps. Ich habe alle drei Einstellungen geändert, trotzdem braucht der Datenbank aktualisieren immer noch 1,5h. (heute um 6:13 gestartet. Ende um 7:47).
Gibt es noch etwas, das ich ausprobieren könnte?
Im Log taucht oft die Meldung
[Sanner] [IsValidDir] [NotValidDirIs] Path "\\micro\data\Video\Filmname (Jahr)\.actors" has been skipped (path name is ".actors")
oder
[Sanner] [IsValidDir] [NotValidDirIs] Path "\\micro\data\Video\Filmname (Jahr)\extrathumbs" has been skipped (path name is "extrathumbs")
auf. Diese Unterverzeichnisse existieren dann auch tatsächlich nicht. Braucht die Version 1.4. von Ember diese Unterverzeichnisse vielleicht unbedingt und sucht sie daher immer bis zu einem Timeout?
Gruß
tklein

DanCooper

Zitat von macxs

Wenn der Scanner Metainformationen aus den Filmen extrahiert, könnte das die sehr lange Scanzeit erklären.

Der wird grundsätzlich nur beim Scrapen ausgeführt.

Zitat von macxs

Außerdem könntest Du den Frame Extractor deaktivieren (Module), denn der Scraper müsste dort hin seeken. Der Index eines Filmes steht typischerweise am Ende der Datei. Wenn der fehlt, weil die Datei unvollständig kopiert wurde, dann braucht das Seeken zur gewünschten Stelle sehr sehr lange. Das sollte aber eigentlich erst beim Scrapen passieren, noch nicht beim Scan.

Genau, das wird auch nur beim Scrapen ausgeführt.

Zitat von tklein

[Sanner] [IsValidDir] [NotValidDirIs] Path "\\micro\data\Video\Filmname (Jahr)\extrathumbs" has been skipped (path name is "extrathumbs")
auf. Diese Unterverzeichnisse existieren dann auch tatsächlich nicht.

Doch, die Verzeichnisse existieren, der Scanner hat die ja wie beschrieben gefunden. Er überspringt sie aber, da in diesen Ordnern keine Videodateien zu erwarten sind.

Da du ja eigentlich schon alle Filme mehr oder weniger in der DB hast kann es nicht am einlesen selbst liegen. Das einzige, was beim DB-Update eine Zeitersparnis bringt ist das weblassen der anschliessenden DB-Bereinigung. Diese scheinst du aber bereits deaktiviert zu haben.

Wenn ich mir dein Log ansehe fällt auf, da der "Durchsatz" beim Scannen bei nur etwa 6 Ordnern pro Minute liegt, was natürlich viel zu wenig ist. Hast du irgendeine Software am laufen, die den Netzwerktraffic reguliert? Gibt ja bei neuen Mainboards so tolle Programme für Netzwerkkarten, die z.B. Netflix oder Games vor anderen Programmen priorisieren. Hatte letzthin das selbe Problem beim JDownloader bei einem Freund.

tklein · 2018-01-09.csv

Hallo DanCooper,
richtig. Die Verzeichnisse existieren. Durch den Punkt am Anfang zeigt Linux die bei einem normalen ls nicht an.
Nein, ich habe keine Software für TrafficShaping o.ä. am Laufen. Ich habe auch nur den Windows10 Virenschutz Defender drauf. Und gegen diese Vermutung spricht, dass Ember bei den Serien rasend schnell ist. Bei den Serien findet es nicht nur neue Teile sehr schnell, neue Seasons incl. Episoden werden bei "Datenbank aktualisieren"->Nur Serien schon fertig gescraped -- Innerhalb von 20 Sekunden alles zusammen.
Auch wenn es vielleicht mit 136 Serien und 3644 Episoden nicht die allergrößte Sammlung ist, ist der Zeitunterschied 20 Sekunden zu 1,5h nicht plausibel.
Auch spricht dagegen, dass ich auf dem gleichen Rechner, der gleichen SSD noch die Version 1.3 habe, die für die Filme (die gleichen Filme auf dem gleichen Netzwerkshare) auch nur 20 Sekunden braucht.
Ich bin sehr angetan von den neuen Funktionen der 1.4.8er Version, daher könnte es vielleicht helfen, wenn ich noch weitere Informationen liefere?
Anbei nochmal ein Log. heute Morgen das Suchen nach neuen Filmen um 6:13 bis 7:47 und gerade der klick auf Serien um 19:02.
Gruß tklein

DanCooper

Im Installationsordner gibts die Datei NLog.config. Bitte mal mit Notepad++ öffnen und ganz unten im Bereich <rules> den Logger so umstellen, dass er nur noch Fehler loggt. Dazu müssen alle minlevel="Trace" in minlevel"Error" geändert werden. Somit können wir mal ausschliessen, dass das Loggen zu einem Problem führt... ist aber eh höchst unwarscheinlich. Bitte die Datei vorher irgendwo sichern!

Code

<rules>
    <!-- final="true" means that the other loggers will not be invoked. Used to avoid to [definition='1','0']log[/definition] all strings to debugger-->
    <logger name="LanguageString" minlevel="Error" writeTo="AWf_lang" final="true" />
    <logger name="HelpString" minlevel="Error" writeTo="AWf_help" final="true"/>
    <!-- all non-error LanguageString and HelpString will be ignored-->
    <logger name="LanguageString" minlevel="Error" final="true" />
    <logger name="HelpString" minlevel="Error" final="true"/>
    <!-- Removed as we use VSDebugger
    <logger name="*" minlevel="Error" writeTo="ImmediateWindow" />
    -->
    <logger name="*" minlevel="Error" writeTo="AWf" />
    <logger name="*" minlevel="Error" writeTo="VSDebugger" />
  </rules>
</nlog>

Alles anzeigen

tklein · 2018-01-10.csv

Hallo DanCooper,
an der Dauer hat sich nichts geändert und im Log steht nur noch ein Eintrag, der anscheinend direkt zu Beginn eingetragen wurde.

[SENDToTrakt] Error during Request!

time	logger	callsite	threadid	level	message	exception
10.01.2018 05:58	Trakttv.TrakttvAPI	Trakttv.TrakttvAPI.SENDToTrakt	7	ERROR

Kann ich persönlich nicht deuten.

Mmmm, ob es etwas damit zu tun hat, dass ich Ember in meinem Documents Ordner abgelegt habe? Windows sollte es doch egal sein, wenn der Prozess die Rechte in diesem Unterverzeichnis hat.
C:\Users\tklein\Documents\Ember\Ember Media Manager BETA\
Die Version 1.3 habe ich zumindest damals dort abgelegt:
C:\Program Files (x86)\Ember_1.3.0.20\
Ich könnte es heute Nachmittag einmal im c:\progamm files (x86) testen?
Gruß tklein

nadkp

Es wurde in der Vergangenheit immer empfohlen Ember nicht in Windows Verzeichnissen zu nutzen. Das könnte ein Hinweis sein, erklärt aber nicht, warum die Serien normal schnell eingelesen werden.

Ich schätze mal, der Fehler ist vom Trakt Modul, das mit der Trakt.tv Webseite deine Sammlung abgleichen kann, auch um in Kodi den "Gesehen Status" zu synchronisieren. Evtl. hast du da ne Einstellung die nicht korrekt arbeitet.

DanCooper

Zitat von nadkp

Ich schätze mal, der Fehler ist vom Trakt Modul

Der Fehler taucht immer auf beim Start, wenn man keinen Login angegeben hat oder aktuell, weil das Trakt Modul defekt ist. Daran liegt es nicht.
Du hast aber betreffend "geschützer" Verzeichnisse wie Programme usw. recht, diese sollte man nicht benutzen. Grund dafür ist, dass Ember aktuell alle Einstellungen im Installationsordner speichert, was bei C:\Programme nur im Admin-Modul möglich ist.

tklein

Hallo,
hatte Ember im Documents Ordner testweise als Administrator ausführen gestartet: Kein Unterschied.
Danach habe ich mal Ember in C:\temp\Ember abgelegt, die Einstellungen wie oben in den zip-Files gemacht und den Erst Scan laufen lassen. Überraschend hat dies schon mal nur ziemlich genau eine Stunde gedauert. (18:14 bis 19:14)
Das anschließende "Datenbank aktualisieren" läuft jetzt auch schon wieder 7 Minuten und scheint nicht schneller als zuvor. "Bereite vor (Sammle Daten)..." Werde abwarten müssen und später berichten.
Evtl. probiere ich auch noch die x86er Ember Version aus. Hatte, glaube ich, bisher immer die 64Bit Version genommen. (Habe Windows10 64Bit mit 16GB Ram)
Gruß tklein

DanCooper

Zitat von tklein

"Bereite vor (Sammle Daten)..."

Das steht auch da, wenn er bereits am Scannen ist und wird erst ersetzt, wenn der erste neue Film gefunden worden ist. Ich werd das nun so anpassen, dass sich der Text beim Scannen ändert.

Datenbank aktualisieren ->Nur Filme dauert Stunden

Jetzt mitmachen!

Benutzer online in diesem Thema