Scrapen unter Krypton extrem langsam....

Ich musste feststellen, dass das scrapen der lokal liegenden Daten (Grafiken, NFO) extrem langsam von staten geht.

Versuch 1: scrapen mit lokalen Daten und lokaler DB 10x länger als in Jarvis (paralleler Vergleich)
Versuch 2: scrapen mit lokalen Daten und MySQL DB nicht möglich zu scrapen (dauert schon mal 20Minuten, bis der einlese Zyklus startet (MariaDB .14/.16)

Getestet unter Windows 10 Alpha 3 und Libreelec 7.90.xxx.004

Ist dies nur bei mir so?

Fehler gefunden, (zumindest bei mir) wenn ich anstelle Nfo only einen Scraper für Serien und Filme auswähle und dann die Daten einlese (lokla hat ja immer prio) dann gehts ohne Verzögerung bei lokaler DB und MySQL. Denke die ist noch ein Fehler in Krypton, war unter Isengard schonmal so...

Zur Info unter Krypton Beta in Zusammenspiel mit MariaDB 10.1.17 läuft wieder alles wie geschmiert auch die "only NFO" scraperei geht wieder ohne probleme

Denke es war Kodi, da war der Unterschied zwischen nfo only und einem xbeliebigen Scraper extrem, jetzt gehen wieder beide Varianten und dies extrem schnell. 3000 Filme und 10000 Episoden binnen 15Minuten via nfo only eingelesen. Das ist echt schnell.

Zitat von tosa1965

Wie machst Du (man) eigentlich das Update? Einfach drüber bügeln?

Da ich nur einmal je neuer Version die MariaDb Update nutze ich dies gleich dazu um alles komplett neu zu machen, ich schleppe keine Altlasten mehr von vErsion zu Version. D.H. ich lösche die alte Maria DB Version inkl aller Daten, Installiere die neue Version und scrappe alles neu (ist ja ein klacks) mit den Nfo's.

Nein die 10.1.18 nutze ich noch nicht. Bin noch auf der 16er

Zitat von tosa1965

Is dass dann nur die "my.ini"

Ja die nutze ich immer weiter resp ist seit eh und je die selbe

Zitat von tosa1965

Und Backups der DB machst Du in der Nacht auch nicht mehr?

Nein macht aus meiner Sicht keinen sinn, da wie beschrieben das scrapen so schnell geht, dass es sich einfach keinen Vorteil gietet eine Backup einzuspielen

Zitat von tosa1965

hast Du bitte noch mal den Link zur MariaDB HOW-TO?

Du meinst die Kodi install Anleitung oder wie ich es mache mit Cache, usw aktivieren?

• MariaDB installieren, wenn möglich die 64bit Version
• MariaDB für Kodi einrichten mittels

CREATE USER 'kodi' IDENTIFIED BY 'kodi';
GRANT ALL ON *.* TO 'kodi';
flush privileges;

• Cache abfragen

show variables like '%cache%';

• my.ini anpassen (mit deinen Werten) einfach die fehlenden Zeilen ergänzen query_Cach_size, query_cache_Typ und query_cache_limit

[mysqld]
skip-name-resolve
datadir=C:/Program Files/MariaDB 10.0/data
port=3306
sql_mode="STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION"
default_storage_engine=innodb
innodb_buffer_pool_size=951M
innodb_log_file_size=50M
character-set-server=utf8
query_cache_size = 15728640
query_cache_type=1
query_cache_limit=1048576
[client]
port=3306

• My SQL Dienst neu starten
• Cache abfragen und mit der ersten Abfrage vergleichen

Hier noch ein nützlicher Link http://forum.kodi.tv/showthread.php?tid=222156