scraper2vdr howto ?

hotzenplotz5 · Dec 1st 2015

EDIT : bevor man alles aufs neue versucht reicht vielleicht das zu lesen:
https://dl.dropboxusercontent.…llation_und_konfiguration

http://wiki.easy-vdr.de/index.php?title=Epgd

Ich hab das Plugin aus dem yavdr Repo installiert. Zuerst fehlte mir mysql (liegt am Paket der Distribution) also kein Fehler des Plugins.
Dann noch vdr-epg-daemon installiert und dachte ein 'restart vdr' sollte reichen ?
Ziel ist erstmal die Aufnahmen mit "Bildern" zu bestücken.
Leider passiert erstmal nichts ? Das heisst man sieht keine Bilder

Was genau muss ich machen damit eben das passiert ?

Im OSD hab ich "Videoverzeichnis nach neuen Aufnahmen scanen" durchgeführt.
Passiert nur nichts.

Was braucht es an Infos ?

/etc/epgd/epgd.conf

Code

...
GetEPGImages = 1
EpgImageSize = 2
MaxImagesPerEvent = 1
SeriesEnabled = 1
SeriesPort = 2006
SeriesStoreToFs = 0
SeriesUrl = eplists.constabel.net
.....usw.

Display More

Quote

mysqlcheck -c epg2vdr -u epg2vdr -p
Enter password:
epg2vdr.events OK
epg2vdr.movie OK
epg2vdr.movie_actor OK
epg2vdr.movie_actors OK
epg2vdr.movie_media OK
epg2vdr.recordinglist OK
epg2vdr.recordings OK
epg2vdr.series OK
epg2vdr.series_actor OK
epg2vdr.series_episode OK
epg2vdr.series_media OK
epg2vdr.vdrs OK

Display More

syslog:

Code

Dec 1 21:36:29 lianli vdr: scraper2vdr: Loading Image content from Database...
Dec 1 21:36:29 lianli vdr: scraper2vdr: Loaded 0 new/updated Images (found 0 not available images) in 0s from Database
Dec 1 21:39:29 lianli vdr: scraper2vdr: Loading Movies information from Database...
Dec 1 21:39:29 lianli vdr: scraper2vdr: Loaded 0 new/updated Movies in 0s from Database (new max scrsp: 0)
Dec 1 21:39:29 lianli vdr: scraper2vdr: Loading Movies content from Database...
Dec 1 21:39:29 lianli vdr: scraper2vdr: Loaded 0 new/updated Image information in 0s from Database
Dec 1 21:39:29 lianli vdr: scraper2vdr: Loading Series information from Database...
Dec 1 21:39:29 lianli vdr: scraper2vdr: Loaded 0 new/updated Series in 0s from Database (new max scrsp: 0)
Dec 1 21:39:29 lianli vdr: scraper2vdr: Loading Series content from Database...
Dec 1 21:39:29 lianli vdr: scraper2vdr: Loaded 0 new/updated Episodes and 0 new/updated Image information (including 0 possible not available season poster) in 0s from Database
Dec 1 21:39:29 lianli vdr: scraper2vdr: Loading Image content from Database...
Dec 1 21:39:29 lianli vdr: scraper2vdr: Loaded 0 new/updated Images (found 0 not available images) in 0s from Database

Display More

Code

epgd-tool -show
--------------
SELECT User,Host,Db FROM mysql.db
--------------
User Host Db
epg2vdr % epg2vdr
epg2vdr localhost epg2vdr
--------------
SHOW GRANTS FOR epg2vdr
--------------
Grants for epg2vdr@%
GRANT USAGE ON *.* TO 'epg2vdr'@'%' IDENTIFIED BY PASSWORD '*E7BF5C9ED75ZEBRASCHEISSE9F558AD65A94CA6'
GRANT ALL PRIVILEGES ON `epg2vdr`.* TO 'epg2vdr'@'%'
--------------
SHOW DATABASES
--------------
Database
information_schema
epg2vdr
mysql
performance_schema
--------------
SHOW TABLES
--------------
Tables_in_epg2vdr
events
movie
movie_actor
movie_actors
movie_media
recordinglist
recordings
series
series_actor
series_episode
series_media
vdrs

Display More

Code

epgd-tool -check-pic
--------------
SELECT count(1) FROM images WHERE image IS NOT NULL
--------------
ERROR 1146 (42S02) at line 1: Table 'epg2vdr.images' doesn't exist

was fehlt ?

louis · Dec 1st 2015

Moin,

wenn ich das richtig sehe, willst du nur Aufnahmen scrapen und den EPG Teil von epgd / epg2vdr gar nicht? Ich habe das zwar noch nie so getestet, sollte aber eigentlich auch funktionieren

Generell läuft das so, dass du am VDR im scraper2vdr Plugin erst mal deine Aufnahmen scannen musst. Dabei werden alle Aufnahmen in die Datenbank geschrieben. Der epgd prüft regelmäßig (ich meine einmal pro Minute), ob neue Aufnahmen in der DB sind und scrapt die dann. Das müsstest du im Log sehen, wenn du mal nach "epgd" suchst. Wohlgemerkt macht das der epgd, nicht das Plugin. Prüfe doch mal, ob in der Tabelle "Recordings" Aufnahmen vorhanden sind. Die zugehörigen Mediadaten und Bilder sollten dann in den Tabellen series_* und movies_* landen.

Das scraper2vdr Plugin wiederum prüft regelmäßig (oder du veranlasst es per OSD), ob in der DB Daten für die Aufnahmen vorhanden sind und holt die sich dann...das kann wiederum bis zu einer Minute dauern. Danach sollten die Bilder in einem Skin, der scraper2vdr unterstützt, "eigentlich" angezeigt werden

Ciao Louis

louis · Dec 1st 2015

PS: um "frisch" anzufangen einfach die Datenbank mit dem eogd-dropall script killen und den epgd neu starten.

hotzenplotz5 · Dec 1st 2015

Quote

willst du nur Aufnahmen scrapen und den EPG Teil von epgd / epg2vdr gar nicht?

doch doch ! aber erstmal mit den Aufnahmen beginnen

Quote

PS: um "frisch" anzufangen einfach die Datenbank mit dem eogd-dropall script killen und den epgd neu starten.

teste ich gleich mal, danke !

Quote

Prüfe doch mal, ob in der Tabelle "Recordings" Aufnahmen vorhanden sind

uii
ich weiss nicht ob das so richtig ist ?

Quote

mysqlcheck -c epg2vdr Recordings -u epg2vdr -p
Enter password:
epg2vdr.Recordings
Error : Table 'epg2vdr.Recordings' doesn't exist
status : Operation failed

warschenlich nicht

hotzenplotz5 · Dec 1st 2015

Quote

Dec 1 23:33:00 lianli kernel: [24281.102165] epgd[11270]: segfault at 8 ip 000000000043cd0c sp 00007ffdd8132810 error 4 in epgd[400000+8f000]
Dec 1 23:33:00 lianli kernel: [24281.107988] init: epgd main process (11270) killed by SEGV signal

hab ich übersehen ... hmpf

seahawk1986 · Dec 1st 2015

Was hat der da gerade gemacht?

hotzenplotz5 · Dec 1st 2015

start epgd, weil ich merkte, daß es nichtmal läuft ?

hotzenplotz5 · Dec 1st 2015

nach "drop-all" und nochmaligen epgd start :

Code

Dec 1 23:50:18 lianli epgd: create index idxchannelid on snapshot(channelid);
Dec 1 23:50:18 lianli epgd: create index idxstarttimeSource on snapshot(starttime, source);
Dec 1 23:50:18 lianli epgd: Loading '/etc/epgd/channelmap.conf'
Dec 1 23:50:18 lianli epgd: 26 channel mappings read.
Dec 1 23:50:18 lianli epgd: Creating procedure 'mergeepg'
Dec 1 23:50:18 lianli epgd: Creating procedure 'reverseepg'
Dec 1 23:50:18 lianli epgd: Creating function 'getupdflg'
Dec 1 23:50:18 lianli epgd: Creating function 'getcrosslvr'
Dec 1 23:50:18 lianli epgd: Creating function 'getlvrmin'
Dec 1 23:50:18 lianli epgd: Creating view 'eventsview' using definition in '/etc/epgd/eventsview.sql'
Dec 1 23:50:18 lianli epgd: Creating view 'eventsviewplain' using definition in '/etc/epgd/eventsviewplain.sql'
Dec 1 23:50:18 lianli epgd: Creating view 'thetvdbview' using definition in '/etc/epgd/thetvdbview.sql'
Dec 1 23:50:18 lianli epgd: No external events on database, force initial check!
Dec 1 23:50:18 lianli epgd: using scrapping language de
Dec 1 23:50:18 lianli epgd: tvdb scraper connected
Dec 1 23:50:18 lianli epgd: moviedb scraper connected
Dec 1 23:50:18 lianli epgd: Scheduled next update in 10 second(s)
Dec 1 23:50:18 lianli epgd: State now 'standby'

Display More

hotzenplotz5 · Dec 1st 2015

kaum macht man es richtig, geht es

Code

Dec 1 23:51:49 lianli epgd: found new recording "Brügge sehen ... und sterben?"
Dec 1 23:51:49 lianli epgd: searching "Brügge sehen ... und sterben?" as series in db
Dec 1 23:51:49 lianli epgd: searching "Brügge sehen ... und sterben?" as movie in db
Dec 1 23:51:49 lianli epgd: nothing found in db, searching "Brügge sehen ... und sterben?" as movie online
Dec 1 23:51:56 lianli epgd: found "Brügge sehen ... und sterben?" as movie online, movieId 8321
Dec 1 23:51:56 lianli epgd: successfully scraped recording "Brügge sehen ... und sterben?"
Dec 1 23:51:56 lianli epgd: -------------------------------------------------------

usw. usw.

das drop-all und danach epgd starten war das entscheidende danke louis

hotzenplotz5 · Dec 1st 2015

ok das ganze "scant" noch das videodir
aber das hier kommt zwischendurch im syslog:

Code

vdr: scraper2vdr: SQL-Error in 'execute(stmt_execute)' - Unknown column 'videodir' in 'field list' (1054) 'Unknown column 'videodir' in 'field list'' [select dbapi, inssp, ip, lastupd, master, name, nextupd, state, updsp, uuid, version, videodir, videofree, videototal from vdrs where uuid = ?;]
Dec 2 00:43:59 lianli vdr: scraper2vdr: SQL-Error in 'find()' - Unknown column 'videodir' in 'field list' (1054)

hat nichts zu bedeuten ? Ich lass das jetzt mal weiterscanen ...

seahawk1986 · Dec 2nd 2015

hotzenplotz5 wrote:

aber das hier kommt zwischendurch im syslog:

Ich dachte, das hätten wir schon im August ausgeräumt: Scraper2VDR mysql Error seit heute
Hast du eventuell mehrere unterschiedliche Versionen der Plugins im Einsatz?

louis · Dec 2nd 2015

Moin,

seahawk1986 wrote:

Hast du eventuell mehrere unterschiedliche Versionen der Plugins im Einsatz?

jo die Versionen müssen passen, da haben wir aktuell ein kleines Kuddelmuddel

epgd aus Git (master branch oder http branch) und scraper2vdr aus horchis git (https://github.com/horchi/scraper2vdr) auch entsprechend master oder http branch.

Ciao Louis

seahawk1986 · Dec 2nd 2015

Ich habe die aktuellste Version aus dem master-Zweig von epgd auf meinem Cubietruck und ansonsten die Plugins aus testing-vdr für trusty - da das gut zusammenspielt, bin ich davon ausgegangen, dass es passt - seit August hat sich im master-Zweig von epgd nichts mehr am eigentlichen Programmcode geändert.

hotzenplotz5 · Dec 2nd 2015

seahawk1986 sehr "frische" testiso ohne Änderungen in der sources.list

Code

vdr-epg-daemon:
Installiert: 1:0.2.2.git20150810.1431-0yavdr0~trusty
Installationskandidat: 1:0.2.2.git20150810.1431-0yavdr0~trusty
Versionstabelle:
*** 1:0.2.2.git20150810.1431-0yavdr0~trusty 0
500 http://ppa.launchpad.net/yavdr/main/ubuntu/ trusty/main amd64 Packages
100 /var/lib/dpkg/status

Code

vdr-plugin-scraper2vdr:
Installiert: 0.1.14-0yavdr0~trusty
Installationskandidat: 0.1.14-0yavdr0~trusty
Versionstabelle:
*** 0.1.14-0yavdr0~trusty 0
500 http://ppa.launchpad.net/yavdr/testing-vdr/ubuntu/ trusty/main amd64 Packages
100 /var/lib/dpkg/status

utiltiy · Dec 2nd 2015

louis wrote:

jo die Versionen müssen passen, da haben wir aktuell ein kleines Kuddelmuddel

Zum Glück hat das noch keiner angemerkt....

hotzenplotz5 · Dec 2nd 2015

Scraper2vdr

erstmal hab ich das plugin aktualisiert aus dem repo:

https://github.com/horchi/scraper2vdr/commits/master

seahawk1986
in testing ist das plugin nicht aktuell, d.h. vom 12.10 ohne die Änderungen bis 20.10

epgd ist von August ? Wenn ich mir das ansehe :
http://projects.vdr-developer.…s/vdr-epg-daemon/activity

ist da einiges gelaufen ?
seahawk1986 ich kann das im Moment nicht aktualisieren im Repo, muss mir den ganzen Kram für Launchpad neu einrichten .... ich weiss ja nicht ob Frodo oder du Zeit hätten ?
ich teste das jetzt noch mit aktuellem epgd weil im Moment das hier kommt:

Code

scraper2vdr: Warning: Can't find plugin epg2vdr to query uuid, retrying in 10 seconds

TheChief · Dec 2nd 2015

Laut der Meldung musst Du das epg2vdr Plugin installieren.

Momentan scheint es mit dem Versionen ein grosses Durcheinander zu sein. Würde Dir empfehlen, epgd und epg2vdr aus dem http-Branch zu installieren (da wird aktiv entwickelt), sowie das scraper2vdr Plugin aus horchis git, ebenso den http-Branch

hotzenplotz5 · Dec 2nd 2015

wer entwickelt wo ? Jetzt bin ich durcheinander ....

scraper2vdr hab ich von hier aktualisiert : https://github.com/horchi/scraper2vdr/commits/master
epgd will ich von da : http://projects.vdr-developer.…vdr-epg-daemon/repository

stimmt das dann ?

seahawk1986 · Dec 2nd 2015

hotzenplotz5 wrote:

in testing ist das plugin nicht aktuell, d.h. vom 12.10 ohne die Änderungen bis 20.10

epgd ist von August ? Wenn ich mir das ansehe :
http://projects.vdr-developer.org/projec…daemon/activity

ist da einiges gelaufen ?

Ja, in den Entwicklungs-Zweigen war einiges los - im master-Zweig waren das soweit ich gesehen habe nur kosmetische Anpassungen: http://projects.vdr-developer.…t/vdr-epg-daemon.git/log/

Ich kann heute Abend mal wieder die Pakete aktualisieren, aber ich wundere mich, warum das bei mir mit dem gleichen Plugin-Stand problemlos funktioniert. Dann setze ich am besten auch noch eine VM für epgd unter Ubuntu auf. Vielleicht kann man ja gleich noch Meta-Pakete basteln, damit man wahlweise epgd mit einem MySQL-Server auf einem anderen Rechner oder alles auf einer Maschine betreiben kann.

TheChief · Dec 2nd 2015

Am aktuellsten sind die http-Branches:

https://github.com/horchi/scraper2vdr/commits/http
http://projects.vdr-developer.…/repository/show?rev=http
http://projects.vdr-developer.…/repository/show?rev=http

Es handelt sich aber um die Entwicklerzweige, die nicht zwangsläufog stabil sind.

Ansonsten müssten auch die jeweiligen master-Branches funktionieren.

https://github.com/horchi/scraper2vdr/commits/master
http://projects.vdr-developer.…pg-daemon/repository/show
http://projects.vdr-developer.…g-epg2vdr/repository/show

Mischen beider Zweige geht nicht, da die Datanbanken voneinander abweichen.

Share