Ember hat ca. 52 Filme gescrapt in ungefähr 2 bis 3 Stunden, das scheint mir sehr langee zu sein. Können da falsche Einstellungen ursächlich für sein? Falls ja, was müßte ich ändern?
Scrapen dauert sehr lange - falsche Einstellungen?
-
Biff -
13. November 2014 um 22:42 -
Erledigt
-
-
Nei, eigentlich nicht.
Das Downloaden der Trailer dauert je nach Quelle etwas länger. Öfters ist auch der TMDB-Server überlastet. Ich überprüfe den Status jeweils hier: http://www.isitdownrightnow.com/themoviedb.org.htmlIch würde mal den Benutzerdefinierten Scraper benutzen, da das Trailer-Scrapen deaktivieren und vergleichen. Den Benutzerdefinierten Scraper findest du unter Medien Scrapen in der Hauptansicht.
-
-
Vielen Dank DanCooper,
glaube, das Laden der Trailer habe ich abgestellt.
Dankesehr für den Link.
ZitatIch würde mal den Benutzerdefinierten Scraper benutzen, da das Trailer-Scrapen deaktivieren und vergleichen. Den Benutzerdefinierten Scraper findest du unter Medien Scrapen in der Hauptansicht.
Gut, werde ich mal ausprobieren.Vielen Dank
-
Ember hat ca. 52 Filme gescrapt in ungefähr 2 bis 3 Stunden, das scheint mir sehr langee zu sein. Können da falsche Einstellungen ursächlich für sein? Falls ja, was müßte ich ändern?
Hast du im Hintergrund noch Downlaods /Downloadmanager laufen? Wenn neben Ember parallel noch gedownloadet wird, dann dauert das Scrapen bei mir auch sehhhhr lange
-
-
Ja, habe ich immer, aber so lange wie bei diesen Filmen hat es glaube ich noch nie gedauert. Glaube, die Downloads haben auch nicht die volle Brandbreite genutzt, so daß für Ember noch genug hätte da sein müssen.
-
Gibt es da nicht noch irgendeine Möglichkeit, es zu beschleunigen? In einer Stunde sind vielleicht gerade mal 20 Filme gescrapt. Das heißt, bei vielleicht 3500 Filmen würde ich dann ja vielleicht über eine Woche brauchen (vorausgesetzt der Scraper liefe 24 Stunden täglich, ohne Unterbrechung), das wäre also nicht (sinnvoll) machbar.
-
-
Mir ist in letzter Zeit aufgefallen, dass die TMDB oder Fanart.tv API Server zwischendurch extrem langsam waren. Da lässt sich in Ember leider nichts ändern.
Was etwas bringen würde, wäre die anderen Bilder-Scraper zu deaktivieren... falls Du die überhaupt aktiviert hast. Denn nur TMDB und Fanart.tv haben eine API, bei allen anderen werden die Links und Infos von den Websiten geparst, was mehr Zeit benötigt.Ich habe in den Datenscrapern Moviepilot und OFDB für das nächste Release einiges angepasst, die sind dann auch deutlich schneller. Die scheinen bei dir aber eh nicht in Verwendung zu sein.
-
Gut, verstehe. Vielen Dank.
Bei mir sieht es momentan so aus: http://i.imgur.com/vMXA75a.png
Dann habe ich das jetzt so geändert, daß es schneller gehen können sollte: http://i.imgur.com/eH3ucuQ.pngKann ich eigentlich ablesen - anhand etwa einer Zahl - wieviel Filme schon korrekt gesrapt sind?
Läßt sich eigentlich vermeiden, daß das / die Fenster bei jedem neuen Öffnen mit den Schaltflächen unter die System Tray kommen: http://i.imgur.com/pgfrqXt.png
Und, wenn ich nur die ungesprapten Filme spcrapen will, wie mache ich das? "Unvollständige Dat.-Sätze" wohl nicht. "Neue Filme" vielleicht klicken? Nein, das scheint nicht zu funktionieren. "Alle markierten" zu scrapen, kriege ich auch nicht zum Funktionieren, es erscheint ganz kurz der Hinweis "Scrapen abbrechen", dann passiert nichts, obwohl über 2000 Filme markiert sind.
Vielen Dank nochmals.
-
-
Bilder sieht gut aus.
Was ich jedoch nixht verstehe, und sicher auch zur längeren Scraptdauer beiträgt, warum du alle Datenscraper aktiviert hast. Nutzt du da überhaupt Felder, die nicht beriets vom ersten Scraper gefüllt werden?
Vielleicht hast du das nicht richtig verstanden, aber das ganze funktioniert folgendermassen:
Der oberste Scraper hat höchste Priorität, die nachfolgenden werden als Fallback genutzt, falls ein Feld nicht von einem vorherigen Scraper gefüllt wird. Die einzigen Scraper, die Filme suchen können sind TMDB und IMDB. Da TMDB eine API hat werden Suchergebnisse schneller gefunden als bei IMDB. Bei IMDB muss die Seite geparst werden, was länger dauert. Deshalb würde ich TMDB an erste Stelle verschieben. OFDB würde ich komplett deaktivieren, da erstens die Plots nicht gerade sehr gut sind und dich die Website blockiert, wenn zu viele Abfragen innerhalb zu kurzer Zeit (nach ca. 80 Filmen mit dem automatischen Scraper) getätigt werden. Bei IMDB würde ich nur die Bewertung und Stimmen holen, da diese meiner Meinung nach repräsentativer sind als jene von TMDB, ausserdem sind die restlichen Inhalte von IMDB alle englisch. Bei Moviepilot hole ich nur die Freigaben, falls diese bei TMDB nicht vorhanden sind.Wenn du die Scraper auf das nötigste reduzierst wird der Vorgang sicher um einiges schneller gehen. MPAA kannst du übrigens in den globalen Einstellungen komplett deaktivieren wenn Du FSK verwenden willst. Dazu musst du nur die Altersfreigabe auf Germany setzen, die Option Verwende Altersfreigabe für MPAA" aktivieren und bei mindestens einem Scraper auch die Altersfreigaben aktiviert haben.
-
Auch ja, die Grösse des Einstellungen-Fensters wird ab nächstem Release auch gefixt sein.
-
-
Zitat
Was ich jedoch nixht verstehe, und sicher auch zur längeren Scraptdauer beiträgt, warum du alle Datenscraper aktiviert hast. Nutzt du da überhaupt Felder, die nicht beriets vom ersten Scraper gefüllt werden?
Ja, bestimmt, aber ich dachte, wenn es für bestimmte Felder keine Informationen gibt, werden die Felder automatisch vom nächsten Scraper erfaßt.ZitatDer oberste Scraper hat höchste Priorität, die nachfolgenden werden als Fallback genutzt, falls ein Feld nicht von einem vorherigen Scraper gefüllt wird.
Ah ja, das meinte ich. Wird auch auf andere Scraper zurückgegriffen, wenn keine Daten beim Ersten gefunden werden, wenn bei den Folgescrapern nichts aktiviert ist, also keine Kästchen angekreuzt sind?ZitatBei IMDB muss die Seite geparst werden, was länger dauert.
Also, die ganze Seite muß durchsucht werden von Ember.ZitatDeshalb würde ich TMDB an erste Stelle verschieben.
Aber wie mache ich das? Ach da, Pfeile, hatte ich nicht gesehen.Dann müßte das so in Ordnung sein, oder:
http://i.imgur.com/gX0SwmR.png?
http://i.imgur.com/nKjZQOG.png
http://i.imgur.com/ZvAWlbY.png
http://i.imgur.com/RWhfUy4.png und so geändert: http://i.imgur.com/2OCK64y.pngDas hatte ich auch nocht geschrieben:
Kann ich eigentlich ablesen - anhand etwa einer Zahl - wieviel Filme schon korrekt gesrapt sind?Und, wenn ich nur die ungesprapten Filme spcrapen will, wie mache ich das? "Unvollständige Dat.-Sätze" wohl nicht. "Neue Filme" vielleicht klicken? Nein, das scheint nicht zu funktionieren. "Alle markierten" zu scrapen, kriege ich auch nicht zum Funktionieren, es erscheint ganz kurz der Hinweis "Scrapen abbrechen", dann passiert nichts, obwohl über 2000 Filme markiert sind.
Herzlichen Dank.
-
Ich muss leider gerade weg und bin erst gegen Abend wieder online, trotzdem hier noch kurz das wichtigste:
- im TMDB Scraper musst Du noch die Sprache auf "de" wechseln
- bei den globalen Einstellungen noch "Original Titel" und "Benutze Altersfreigabe für MPAA (XBMC)" aktivieren
-
-
Ja, natürlich.
Ach ja, die Sprache. Danke. Sollte ich "Auf Englisch zurückgreifen" ankreuzen? Bedeutet wohl, daß wenn eine Informaiton nicht in deutsch vorhanden ist, wird die englische dafür genommen. Oder würde damit unterbunden werden, daß die Information vom IMDB nicht geholt wird?
Zitatbei den globalen Einstellungen noch "Original Titel" und "Benutze Altersfreigabe für MPAA (XBMC)" aktivieren
Habe ich gemacht.Herzlichen Dank.
-
Ja, parsen bedeutet die Webseite aufrufen wie im Browser, HTML auslesen und benötigte Daten rausfiltern.
"Auf Englisch zurückgreifen" bei TMDB bedeutet, dass die englischen Infos verwendet werden, falls ein im aktiviertes Feld auf TMDB nicht übersetzt worden ist. Da dies eine Scraper Einstellung ist, wirkt sie auch nur bei diesem Scraper, d.h. die Info wird nicht von IMDB oder einem nachfolgenden Scraper verwendet, sonder die Info wird bei TMDB auf englisch abgefragt. Ich verwende das nicht, denn so lässt sich per Filter überprüfen, ob bei einem Film ein Inhalt beim scrapen noch nicht verfügbar war. Ich will ja nicht deutsche und englische Inhalte mischen.
Hier noch ein paar Infos zur Funktionsweise der Scraper:
- Ein Scraper wird nur verwendet, wenn er aktiviert ist (aktivierte Scraper haben einen grünen Hacken). Das ist unabhängig davon, ob beim Scraper einzelne Felder aktiviert sind oder nicht.
- Felder, die in den globalen Einstellungen deaktiviert sind, werden nicht gescraped, unabhängig davon, ob sie bei einzelnen Scrapern aktiviert sind oder nicht.
- Die Scraper werden von oben nach unten durchgearbeitet. Wenn ein Feld bei mehreren Scrapern aktiviert ist wird die Info von dem Scraper benutzt, der das Feld als erstes füllen kann. Es macht also keinen Sinn, bei allen Scrapern alle Felder zu aktivieren. Im Gegenteil, das würde den Scrapevorgang erheblich verlängern, da bei Scrapern ohne API jedes Feld geparst werden würde, egal ob es später verwendet wird oder nicht. Es werden nämlich erst alle Scraper ausgeführt, erst danach wird das "Scrapeergebnis" aus den Ergebnissen der einzelnen Scrapern erstellt.
Alle Felder zu aktivieren würde nur Sinn machen, wenn man die Option "Zeige Scrape-Resultate in detailierter Ansicht" aktiviert und wirklich von Hand (also nicht mit Autoscraper) die Ergebnisse der einzelnen Scraper aussuchen will.
Zu deinen anderen Fragen:
Nein, man sieht zur Zeit noch nicht, welche Filme bereits korrekt gescrapt sind. Es stellt sich natürlich die Frage, was "korrekt" gescraped beudeuten soll (?). Es gibt in der Datenbank aber bereits ein Feld, in dem der letzte Scrape-Zeitpunkt gespeichert wird. Dieses Feld wird zur zeit aber noch nicht in GUI für irgendwelche Funktionen genutzt. Ich hab da ein paar Ideen wie z.B. die Wiederaufnahme eines abgebrochenen Scrape-Vorgangs nach einem Absturz von Ember osä..."Unvollständige Datensätze" bedeutet:
Es werden z.B. alle Filme gescrapt, bei denen noch kein Poster vorhanden ist (grüner Hacken in der Filmliste fehlt).
Jenachdem, was Du im Menü auswählst, wird das bei den Filmen gescrapt, bei denen der Content fehlt. Es gibt da zwar ein Menüpunkt "Nur NFO", damit werden aber nur die Filme gescrapt, die noch GAR KEINE NFO haben. Deshalb war warscheinlich bei Dir der Vorgang nach wenigen Sekunden abgeschlossen."Neue Filme" bedeutet:
Neue Filme sind die, welche einen grünen Text haben. Die Filme sind nur nach einem DB-Update neu. Sobald Du ein weiteres Mal die DB aktualisierst, werden alle zuvor als "Neu" markierte Filme erstmal "demarkiert". Falls Du möchtest, dass die Filme markiert bleiben, kannst Du in den "Einstellungen -> Filme -> Allgemein -> Neue Filme fest markieren" aktivieren. Damit werden neue Filme rot markiert, was dem normalen Markieren mit CTRL+M bzw. "rechter Maustaste -> Markieren" oder dem Button "Alle markieren" entspricht. Diese Filme reagieren dann auf das Autoscrape-Menü "Markierte Filme".
Rot markierte Filme müssen manuell "demarkiert" werden.Ab dem nächsten Relese wird es dann übrigens wieder getrennte Einstellungen für MPAA und Altersfreigaben geben. Die jetzige Lösung mit der Kombinierten Einstellung verwirrt zu sehr. Denn MPAA sind nur die amerikanischen Altersfreigaben, und nur der IMDB Scraper kann diese ermitteln. Alle anderen Scraper liefern nur Certifications (Altersfreigaben).
Ich hoffe das schafft ein wenig Klarheit, ansonsten nochmals melden.
-
-
Ah, schon zurück. Vielen Dank.
Gut, das habe ich alles verstanden, glaube ich, ist ja super erklärt, vielen Dank.
Also, völlig ungesprapte Filme, für die noch überhaupt keine Informationen geladen worden sind, können nicht einfach so in einem Vorgang automatisch gescrapt werden, die müßten dann eben einfach markiert werden, wohl am besten, indem man auf die nfo-Spalte klickt, so daß die Filme geordnet werden in der Liste und sich dann alle Filme einfach markieren lassen, die ohne nfo sind.
Was ich noch nicht verstehe, ist, warum so die markierten Filme nicht gescapt werden: http://i.imgur.com/dES5PPT.png
Aber so geht es: http://i.imgur.com/MFVmzPY.pngAber das Scrapen dauert immer noch lange wie zuvor, obwohl es das ja eigentlich wohl gar nicht mehr kann, da ich ja die Einstellungen geändert habe, komisch.
Herzlichen Dank nochmals.
-
Was ich noch nicht verstehe, ist, warum so die markierten Filme nicht gescapt werden: http://i.imgur.com/dES5PPT.png
Aber so geht es: http://i.imgur.com/MFVmzPY.png
Das ist ganz einfach - die Filme hast Du nur ausgewählt und nicht markiert. Markiert sind die Filme nur, wenn sie in der Liste rot sind.
Deswegen klappt es im ersten Fall bei Dir nicht und im zweiten Fall klappt es. -
-
Das ist ganz einfach - die Filme hast Du nur ausgewählt und nicht markiert. Markiert sind die Filme nur, wenn sie in der Liste rot sind.
Deswegen klappt es im ersten Fall bei Dir nicht und im zweiten Fall klappt es.
Genau.
Das eine ist "selektiert" bzw. "ausgewählt", das andere ist "markiert" (CTRL+M oder über Context-Menü).
Selektiert bzw. ausgewählt geht nur über das Context-Menü. -
Gut, verstehe, vielen Dank.
Hmmm, die Markierungen sehen mindestens ganz schön ähnlich aus. Aber ist ja einfach zu handhaben, schätze ich.
Vielen Dank nochmals.
-
Jetzt mitmachen!
Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!