Howto Docker Webgrab+ für TVHeadend

C0mmanda

Zitat von DeBaschdi

Guten morgen, ich hab die änderungen durchgetestet, und sie funktionieren.
zu erwähnen wäre allerdings das das ein dirty workaround ist, das behebt nicht den bug selbst.
in dieser Konstellation würde das inkrementale grabbing nur funktionieren wenn die culture info auf de_DE gesetzt ist.
schöner wäre es wenn wir die Internationale horizon wider splitten, like : horizon_tv_de.ini.
https://github.com/DeBaschdi/webg…939bc93e7bbfcc2

Ja das ist richtig.
Aktuell wird es empfohlen für jede Länderkennung (cultureinfo) eine eigene ini zu benutzen, Hoffnung auf fixen dieses Bugs besteht wohl nicht da er schon ewig vorhanden/bekannt ist und bisher nichts passiert ist.

Um das Problem kurz zu beschreiben:

Ohne den von mir geposteten Fix wird beim scannen hinter jedem Titel eine Länderkennung gesetzt (lang=de).
Beim Update wird der Titel jedoch ohne Länderkennung ausgelesen (ist ja klar), somit ist der Titel anders und es endet im oben genannten Problem.
Der Fix verhindert das setzen dieser Länderkennung im Titel.

Für mich ist das jetzt kein Problem, lieber mehrere ini's als 24/7 das EPG zu aktualisieren

grtz

DeBaschdi

zumindest lässt sich de at und ch so benutzen.
Da diese auf lang=de gemappt werden.

Ruschi

ich habe da eh keinen Plan von..
Kann aber sagen das alles wie gewohnt funktioniert..
Bei mir dauerte ein inkrementelles Update von 35 Sendern 22min.

sveni_lee

Hallo,

ich versuche grad webgrab++ auf meinem Linux Server ans laufen zubringen. Installation hat wie auf der Webside beschrieben auch funktioniert.
Also habe ich eine eigene config angelegt.
Leider bekomme ich kein guid.xml erstellt.

der [definition='1','0']log[/definition] zeigt folgendes:

Code

Job started at 03/02/2019 12:52:08
found: /home/svenilee/.wg++/siteini.pack/Germany/tvdigital.de.ini -- Revision 01
found: /home/svenilee/.wg++/siteini.pack/Switzerland/teleclub.ch.ini -- Revision 00
found: /home/svenilee/.wg++/siteini.pack/Germany/sky.de.ini -- Revision 02
processing /home/svenilee/.wg++/guide.xml ...
Found existing channel (xmltv_id=RTL Crime) in the config file
Found existing channel (xmltv_id=ProSieben Fun) in the config file
Found existing channel (xmltv_id=Puls 4) in the config file
Found existing channel (xmltv_id=Silverline) in the config file
Found existing channel (xmltv_id=kabel eins classics) in the config file
Found existing channel (xmltv_id=SRF 1) in the config file
Found existing channel (xmltv_id=SRF 2) in the config file
Found existing channel (xmltv_id=Fix&Foxi) in the config file
Found existing channel (xmltv_id=Animal Planet) in the config file
Found existing channel (xmltv_id=Planet) in the config file
Found existing channel (xmltv_id=Spiegel TV Wissen) in the config file
Found existing channel (xmltv_id=BonGusto) in the config file
Found existing channel (xmltv_id=Geo Television) in the config file
Found existing channel (xmltv_id=Teleclub Cinema HD) in the config file
Found existing channel (xmltv_id=Teleclub Star HD) in the config file
Found existing channel (xmltv_id=Teleclub Prime HD) in the config file
Found existing channel (xmltv_id=Teleclub Sport 1 HD) in the config file
Found existing channel (xmltv_id=Teleclub Sport 2 HD / Sky Sport 2 HD) in the config file
Found existing channel (xmltv_id=RTL Passion) in the config file
Found existing channel (xmltv_id=RTL Living) in the config file
......................




      i=index  .=same  c=change  g=gab  r=replace  n=new




Group (0) :
update requested for - 20 - out of - 20 - channels for 1 day(s)
(   1/20  ) TVDIGITAL.DE -- chan. (xmltv_id=RTL Crime) -- mode Force
i
Unable to update channel RTL Crime
See [definition='1','0']log[/definition] file for details
Exception.Message: Object reference not set to an instance of an object
Exception.StackTrace:   at WGconsole.Scrub.ExpandElement (System.String name) <0x409c5000 + 0x017c7> in <filename unknown>:0
  at WGconsole.Scrub.Compose (System.String s, Boolean addenter) <0x409c3370 + 0x002a7> in <filename unknown>:0
  at WGconsole.Scrub.Edit (System.String element, System.String[] operation, System.String condition) <0x409bf200 + 0x00c47> in <filename unknown>:0
  at WGconsole.Scrub.ScrubOperations (System.Collections.Generic.Dictionary`2 operations, System.String type, Boolean channelfile, Boolean next) <0x409b8dd0 + 0x03297> in <filename unknown>:0
  at WGconsole.Scrub.ScrubIndexShowDetails (System.String indexshow, WGconsole.SiteIni scrubstrings, Boolean next) <0x409c95b0 + 0x00cab> in <filename unknown>:0
  at WGconsole.Program.UpdateChannel (System.String strIndex, WGconsole.ChannelToUpdate Chan, WGconsole.XmlTarget xTarget) <0x409a3000 + 0x00dcf> in <filename unknown>:0
  at WGconsole.Program.ConsoleApplication (System.String[] args) <0x418bd000 + 0x05737> in <filename unknown>:0
Existing guide data restored!

Alles anzeigen

hat jemand eine idee, wo ich mit der Fehlersuche starten könnte?

DeBaschdi

schau mal hier, ich gehe davon aus das du nicht mit docker arbeitest.
https://takealug.de/wordpress/2019/01/18/webgrabplus/

sveni_lee

Das scheint jetzt entgültig etwas zerschossen zuhaben...

Code

svenilee@Gotham-City:~/Neuer Ordner$ mc


svenilee@Gotham-City:~/Neuer Ordner$ ~/.wg++/run.sh


             WebGrab+Plus/w MDB & REX Postprocess -- version V2.1.5


                                Jan van Straaten
                             Francis De Paemeleere


            thanks to Paul Weterings and all the contributing users
--------------------------------------------------------------------------------


Job started at 03/02/2019 16:16:17
Job finished at 03/02/2019 16:16:17 done in 0s
Unhandled Exception


Method 'Array.Empty' not found.


  at WGconsole.Program.ConsoleApplication (System.String[] args) <0x4144f000 + 0x0750f> in <filename unknown>:0
  at WGconsole.Program.Main (System.String[] args) <0x41446f60 + 0x00087> in <filename unknown>:0
For detailed info, see [definition='1','0']log[/definition] file /home/svenilee/.wg++/WebGrab++.[definition='1','0']log[/definition].txt
Execution stopped

Alles anzeigen

DeBaschdi

Du solltest dich schon an die Anleitung halten.

sveni_lee

der unterschied ist, ich habe eine andere Ordnerstrucktur...
das heist dann meine Daten liegen an einer anderen stelle... das dürfte aber nicht den unterschied machen.

apt-get install mono-complete
- erledigtwget

http://www.webgrabplus.com/sites/default/files/download/SW/V2.1.0/WebGrabPlus_V2.1_install.tar.gz

tar -xvf WebGrabPlus_V2.1_install.tar.gz
cd .wg++./install.sh
- erledigt

wget http://webgrabplus.com/sites/default/files/download/SW/V2.1.5/WebGrabPlus_V2.1.5_beta_install.tar.gz

tar -xvf WebGrabPlus_V2.1.5_beta_install.tar.gz
- erledigtgit

clone https://github.com/DeBaschdi/webgrabplus-siteinipack.git

cp -R webgrabplus-siteinipack/siteini.pack/ siteini.pack
cp http://siteini.pack/International/horizon.tv.* siteini.user/
- erledigt

wo wg++ installiert oder ob der Ordner .wg++ oder wg++ darf keinen unterschied machen.
Ich bin bin Linux kein Neuling... Es gibt einen Grund warum ich nichts in var installiere

DeBaschdi

Wenn du dich so gut mit linux auskennst, ist dir bestimmt bewusst das in /var serverdienste rein gehören, aber ja, das ist sicherlich nicht der Grund für die fehlfunktion.
Vllt hast du falsch interpretiert ?
Ob Ubuntu 18, oder 16 macht in dem fall kein Unterschied. Die Anleitung ist vielfach getestet und als funktionierend befunden worden. Hilft dir jetut aber auch nicht weiter

Zeig mir mal deine webgrab config, vllt fangen wir dort an um dein fehler zu lokalisieren.

sveni_lee

naja, mein TVH und auch die senderlisten liegen nicht in var

XML

<?xml version="1.0"?>
<settings>


  <!-- for detailed info about the settings see http://webgrabplus.com/documentation/configuration/webgrabconfigxml -->


  <filename>guide.xml</filename>
  <mode>nomark</mode>
  <postprocess grab="y" run="n">mdb</postprocess>
  <user-agent>Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0</user-agent>
  <logging>on</logging>
  <retry time-out="5">5</retry>
  <timespan>7</timespan>
  <update>f</update>


  <!--
            Replace the next dummy channel entry with the channels you want.
                        You can look into the installed siteini.pack folder on your computer


            For the latest version,
            see http://webgrabplus.com/epg-channels for the available sites/channels
  -->




  <channel update="i" site="tvdigital.de" site_id="rtlcrime" xmltv_id="RTL Crime">RTL Crime</channel>
  <channel update="i" site="tvdigital.de" site_id="prosiebenfun" xmltv_id="ProSieben Fun">ProSieben Fun</channel>
  <channel update="i" site="tvdigital.de" site_id="puls4" xmltv_id="Puls 4">Puls 4</channel>
  <channel update="i" site="tvdigital.de" site_id="silverline" xmltv_id="Silverline">Silverline</channel>
  <channel update="i" site="tvdigital.de" site_id="kabeleinsclassics" xmltv_id="kabel eins classics">kabel eins classics</channel>
  <channel update="i" site="tvdigital.de" site_id="srf1" xmltv_id="SRF 1">SRF 1</channel>
  <channel update="i" site="tvdigital.de" site_id="srf2" xmltv_id="SRF 2">SRF 2</channel>
  <channel update="i" site="tvdigital.de" site_id="fixundfoxi" xmltv_id="Fix&Foxi">Fix&Foxi</channel>
  <channel update="i" site="tvdigital.de" site_id="animalplanet" xmltv_id="Animal Planet">Animal Planet</channel>
  <channel update="i" site="tvdigital.de" site_id="planet" xmltv_id="Planet">Planet</channel>
  <channel update="i" site="tvdigital.de" site_id="spiegeltvwissen" xmltv_id="Spiegel TV Wissen">Spiegel TV Wissen</channel>
  <channel update="i" site="tvdigital.de" site_id="bongusto" xmltv_id="BonGusto">BonGusto</channel>
  <channel update="i" site="tvdigital.de" site_id="geotelevision" xmltv_id="Geo Television">Geo Television</channel>
  <channel update="i" site="teleclub.ch" site_id="78" xmltv_id="Teleclub Cinema HD">Teleclub Cinema HD</channel>
  <channel update="i" site="teleclub.ch" site_id="79" xmltv_id="Teleclub Star HD">Teleclub Star HD</channel>
  <channel update="i" site="teleclub.ch" site_id="145" xmltv_id="Teleclub Prime HD">Teleclub Prime HD</channel>
  <channel update="i" site="teleclub.ch" site_id="45" xmltv_id="Teleclub Sport 1 HD">Teleclub Sport 1 HD</channel>
  <channel update="i" site="teleclub.ch" site_id="46" xmltv_id="Teleclub Sport 2 HD / Sky Sport 2 HD">Teleclub Sport 2 HD / Sky Sport 2 HD</channel>
  <channel update="i" site="sky.de" site_id="11" xmltv_id="RTL Passion">RTL Passion</channel>
  <channel update="i" site="sky.de" site_id="10" xmltv_id="RTL Living">RTL Living</channel>


</settings>

Alles anzeigen

DeBaschdi

In deinem siteini.user ordner, liegt dort denn auch deine
Tvdigital und teleclub . Ini datei?
Mein howto bezog sich auf horizon, und nach dem howto wird die horizon ini in den siteini.user kopiert.
(Nur .inis in diesem ordner sind "aktiv")

Und was auch möglich wäre ist das tvdigital und teleclub ini nicht mehr funktioniert.
Was ich aber sicher sageb kann ist das die horizon.ini funktioniert.

sveni_lee

ja, sind auch drin...
ich werd wohl noch mal alles löschen müssen...

irgendwie ergibt es nicht viel Sinn

_______________________________________________________________________________________

selber Fehler auch nach Neu-Installation

DeBaschdi

absofort gibt es auch eine fertige xml zum download :

https://www.kodinerds.net/index.php/Thread/64901-
Howto-Fertiges-Deutsches-XML-EPG/

Nirvana777

Dumme Frage: wann landen denn die hier besprochenen Änderungen mal im Container in der horizon.tv.ini und channels.xml? Der Container wurde schon mehrfach upgedated,aber die Files sind immer noch die alten. Muss man noch irgend etwas tun?

DeBaschdi

ja, leider akzeptiert silentbueto nicht meine pull requests, ich habs aufgegeben....
(die wollen das ganze streng geheim halten, um donators zu bekommen, diese wiederrum bekommen aktuelle siteinis)
bleibt wohl nur die community

Nirvana777

...das schreit doch wohl nach einem Fork für das Kodinerds Board oder?

DeBaschdi

ne das liegt an den webgrab+ entwicklern, diese haben ein "standard" siteini.pack welches wir(ihr) in den dockern habt. wenn der docker bauer stattdessen z.b mein siteini repo nimmt, könnte das mit einfließen.

**edit
ihr könnt auch meine fertige xml testen, ich warte noch auf feedback ;D

Nirvana777

Zitat von DeBaschdi

ja, leider akzeptiert silentbueto nicht meine pull requests, ich habs aufgegeben....
(die wollen das ganze streng geheim halten, um donators zu bekommen, diese wiederrum bekommen aktuelle siteinis)
bleibt wohl nur die community

Hab's mir angesehen. Was für ein absurdes Verständnis von Open Source und Community. Leider gibt es das immer wieder. Siehe dd-wrt (ein Vorläufer von Openwrt) und Aeon MQ Skins bei Kodi. So etwas sollte man nicht unterstützen auch wenn die dort inzwischen sogar einen Scraper für Entertain EPG haben *seufz*
Hoffentlich liest das der Container Entwickler.
Danke Baschdi auf alleFälle für Arbeit und Antworten. Dein Script werde ich mal testen, aber besser wäre ein Container. Ich will nicht mehr zig Scripte haben. Das ist mir zu unübersichtlich

DeBaschdi

ich les mich mal in die docker welt ein und baue ein eigenen webgrab+docker ist ja kein hexenwerk...

Zum Thema opensource stimme ich dir voll und ganz zu, nur leider ist webgrab+ closed source..

Was entertain ?hrr hrr ich schau mal ob ichs auch zum laufen bekomme, die haben auch ein klasse epg
++ edit
Entertain hat aber keine filmbildchen...
Uninteressant ;p

Nirvana777

Hier meinte ich:
http://www.webgrabplus.com/content/request-telekom-entertain

Heisst zwar jetzt MagentaTV aber bitte.

Jetzt mitmachen!