[Announce] epgd-0.1.4 / epg2vdr-0.1.3 - Advent, Advent...

Tratonis · 20. März 2014

Code

root@yavdrserver:/etc/epgd# grep epgdata.pin /etc/epgd/epgd.conf |awk '{print $3 }' |wc -c
41

MegaX · 20. März 2014

Hehe, da hat noch einer Angst das 3PO nix mehr hostet.

MegaX

Lapheus · 20. März 2014

Hi zusammen,

ich finde es nicht...

Also habe auf dem vdr das plugin in Version epg2vdr (0.1.7) - epg2vdr plugin.
Auf meinem Server habe ich den epgd aus dem yavdr repository, mit dem Patch von 3PO.

Der vdr schickt sein EPG an den Server, dort lädt der epgd auch Dateien runter.

Aber zurück klappt nicht. Das EPG auf dem vdr ist leer.

Ich habe es jetzt schon mehrer male neu installiert, immer das gleiche Problem.

vdr Log Eintäge

Code

Mar 20 20:49:42 esprimo-vdr vdr: EPG2VDR: Updated changes since '20.03.2014 20:46:11'; 85 channels, 6 events (0 deletions) in 0.187 seconds
Mar 20 20:50:42 esprimo-vdr vdr: EPG2VDR: Updated changes since '20.03.2014 20:49:42'; 85 channels, 3 events (0 deletions) in 0.203 seconds

Server log-Einträge

Code

Mar 20 20:58:34 microserver epgd: Loading plugin: /usr/lib/epgd/plugins/libepgd-epgdata.so
Mar 20 20:58:34 microserver epgd: Read 23 option from /etc/epgd/epgd.conf
Mar 20 20:58:34 microserver epgd: Info: Stylesheet '/etc/epgd/tvmovie-utf-8.xsl' loaded
Mar 20 20:58:34 microserver epgd: Info: Stylesheet '/etc/epgd/epgdata-utf-8.xsl' loaded
Mar 20 20:58:34 microserver epgd: SQL client character now 'utf8'
Mar 20 20:58:34 microserver epgd: State now 'init'
Mar 20 20:58:34 microserver epgd: Loading '/etc/epgd/channelmap.conf'
Mar 20 20:58:34 microserver epgd: 86 channel mappings read.
Mar 20 20:58:34 microserver epgd: Scheduled next update in 12 hour(s)
Mar 20 20:58:34 microserver epgd: State now 'standby'
Mar 20 20:58:48 microserver epgd: 7012 DVB pending, mergeepg done after 1.574 seconds

Alles anzeigen

Code

server:~$ epgd-showmerge
+---------------+--------+
| count(source) | source |
+---------------+--------+
|       	582 | tvm	|
|      	7014 | vdr	|
+---------------+--------+
+----------+--------+--------+
| count(*) | source | updflg |
+----------+--------+--------+
|  	544 | tvm	| A  	|
|   	53 | vdr	| D  	|
| 	5868 | vdr	| I  	|
|   	15 | vdr	| R  	|
+----------+--------+--------+

Alles anzeigen

Was mir aufgefallen ist:
in der Datenbank steht next update = null

SQL

mysql> SELECT * FROM epg2vdr.vdrs;
+--------------------------------------+------------+------------+-------------+--------------------------------------+-------+------------+------------+----------+--------+--------------+
| uuid                             	| inssp  	| updsp  	| name    	| version                          	| dbapi | lastupd	| nextupd	| state	| master | ip       	|
+--------------------------------------+------------+------------+-------------+--------------------------------------+-------+------------+------------+----------+--------+--------------+
| 2A67509C-54BA-47AC-8FB5-7A84A8B05CC0 | 1395267963 | 1395346515 | esprimo-vdr | vdr 2.0.3 epg2vdr 0.1.7 (17.03.2014) | 	4 | 1395337361 |   	NULL | att

Datenbank auch schon mehrere male gelöscht. funzt nicht.
Wenn noch was an Infos fehlt liefere ich gerne.

Wo ist mein Fehler?

Gruß
Lapheus

TEDDYXXL · 20. März 2014

Beim Download von epgdata gibt es Probleme:

2014-03-20T21:26:36.797905+01:00 notebook epgd: Updating 'epgdata' day today+0 now
2014-03-20T21:26:37.934285+01:00 notebook epgd: Download header for day (0) at 'http://www.epgdata.com/index.php?action=sendPackage&iOEM=VDR&pin=insert-your-pin-here&dayOffset=0&dataType=xml' failed, aborting, got name '', status was 0
2014-03-20T21:26:37.934786+01:00 notebook epgd: Updating 'tvm' day today+1 now
2014-03-20T21:26:37.935016+01:00 notebook epgd: Skipping day 1 for TVM plugin, since all days ar performed on day 0
2014-03-20T21:26:37.935218+01:00 notebook epgd: Updating 'epgdata' day today+1 now
2014-03-20T21:26:38.440732+01:00 notebook epgd: Download header for day (1) at 'http://www.epgdata.com/index.php?action=sendPackage&iOEM=VDR&pin=insert-your-pin-here&dayOffset=1&dataType=xml' failed, aborting, got name '', status was 0
2014-03-20T21:26:38.441245+01:00 notebook epgd: Updating 'tvm' day today+2 now
2014-03-20T21:26:38.441460+01:00 notebook epgd: Skipping day 2 for TVM plugin, since all days ar performed on day 0
2014-03-20T21:26:38.441666+01:00 notebook epgd: Updating 'epgdata' day today+2 now
2014-03-20T21:26:38.774212+01:00 notebook epgd: Download header for day (2) at 'http://www.epgdata.com/index.php?action=sendPackage&iOEM=VDR&pin=insert-your-pin-here&dayOffset=2&dataType=xml' failed, aborting, got name '', status was 0
2014-03-20T21:26:38.774756+01:00 notebook epgd: Updating 'tvm' day today+3 now
2014-03-20T21:26:38.774961+01:00 notebook epgd: Skipping day 3 for TVM plugin, since all days ar performed on day 0
2014-03-20T21:26:38.775204+01:00 notebook epgd: Updating 'epgdata' day today+3 now
2014-03-20T21:26:39.113059+01:00 notebook epgd: Download header for day (3) at 'http://www.epgdata.com/index.php?action=sendPackage&iOEM=VDR&pin=insert-your-pin-here&dayOffset=3&dataType=xml' failed, aborting, got name '', status was 0
2014-03-20T21:26:39.113549+01:00 notebook epgd: Updating 'tvm' day today+4 now
2014-03-20T21:26:39.113763+01:00 notebook epgd: Skipping day 4 for TVM plugin, since all days ar performed on day 0
2014-03-20T21:26:39.113944+01:00 notebook epgd: Updating 'epgdata' day today+4 now
2014-03-20T21:26:39.440715+01:00 notebook epgd: Download header for day (4) at 'http://www.epgdata.com/index.php?action=sendPackage&iOEM=VDR&pin=insert-your-pin-here&dayOffset=4&dataType=xml' failed, aborting, got name '', status was 0
2014-03-20T21:26:39.441178+01:00 notebook epgd: Updating 'tvm' day today+5 now
2014-03-20T21:26:39.441358+01:00 notebook epgd: Skipping day 5 for TVM plugin, since all days ar performed on day 0
2014-03-20T21:26:39.441554+01:00 notebook epgd: Updating 'epgdata' day today+5 now
2014-03-20T21:26:39.744203+01:00 notebook epgd: Download header for day (5) at 'http://www.epgdata.com/index.php?action=sendPackage&iOEM=VDR&pin=insert-your-pin-here&dayOffset=5&dataType=xml' failed, aborting, got name '', status was 0
2014-03-20T21:26:39.744597+01:00 notebook epgd: Updating 'tvm' day today+6 now
2014-03-20T21:26:39.744804+01:00 notebook epgd: Skipping day 6 for TVM plugin, since all days ar performed on day 0
2014-03-20T21:26:39.745002+01:00 notebook epgd: Updating 'epgdata' day today+6 now
2014-03-20T21:26:40.060792+01:00 notebook epgd: Download header for day (6) at 'http://www.epgdata.com/index.php?action=sendPackage&iOEM=VDR&pin=insert-your-pin-here&dayOffset=6&dataType=xml' failed, aborting, got name '', status was 0
2014-03-20T21:26:40.061251+01:00 notebook epgd: Updating 'tvm' day today+7 now
2014-03-20T21:26:40.061446+01:00 notebook epgd: Skipping day 7 for TVM plugin, since all days ar performed on day 0
2014-03-20T21:26:40.061679+01:00 notebook epgd: Updating 'epgdata' day today+7 now
2014-03-20T21:26:40.414215+01:00 notebook epgd: Download header for day (7) at 'http://www.epgdata.com/index.php?action=sendPackage&iOEM=VDR&pin=insert-your-pin-here&dayOffset=7&dataType=xml' failed, aborting, got name '', status was 0

Habe nur ich das Problem ?

Grüße,

Dirk

CKone · 20. März 2014

manchmal spinnt deren Server, ich hab alle Dateien die ich erwartet habe bekommen

CKone · 20. März 2014

Zitat von Lapheus

Datenbank auch schon mehrere male gelöscht. funzt nicht.
Wenn noch was an Infos fehlt liefere ich gerne.

warum gibts da keine Zeile vom Daemon?

kannst du auch mal die channelmap posten.

Christian

wolfi.m · 20. März 2014

Hi,

Zitat von TEDDYXXL

Beim Download von epgdata gibt es Probleme:
Habe nur ich das Problem ?

falsche Pin?

Zitat

http://www.epgdata.com/index.p…&dayOffset=7&dataType=xml' failed, aborting, got name '', status was 0

Gruss
Wolfgang

TEDDYXXL · 20. März 2014

Nö.

Gestern war noch alles ok und ich habe nix am Konfigfile gemacht.

Grüße,

Dirk

Lapheus · 20. März 2014

Zitat von CKone

kannst du auch mal die channelmap posten.

Christian

klar:

Code

tvm:001 = S19.2E-1-1101-28106,S19.2E-1-1019-10301   	//  	Das Erste,Das Erste HD
tvm:002 = S19.2E-1-1079-28006,S19.2E-1-1011-11110   	//  	ZDF,ZDF HD
tvm:028 = S19.2E-1-1201-28307,S19.2E-1-1201-28327   	//  	WDR Dortmund,WDR Dortmund HD
tvm:004 = S19.2E-1-1089-12003,S19.2E-1-1057-61200   	//  	RTL Television,RTL HD
tvm:005 = S19.2E-1-1107-17500,S19.2E-1-1017-61300   	//  	SAT.1,SAT.1 HD
tvm:009 = S19.2E-1-1089-12020,S19.2E-1-1057-61205   	//  	RTL2,RTL2 HD

Zitat von CKone

warum gibts da keine Zeile vom Daemon?

Hatte den log vom Server doch mit eingefügt... oder was meinst Du genau?

Code

Mar 20 22:08:40 microserver epgd: Set locale to 'de_DE.UTF-8'
Mar 20 22:08:40 microserver epgd: detected UTF-8
Mar 20 22:08:40 microserver epgd: Loading plugin: /usr/lib/epgd/plugins/libepgd-tvm.so
Mar 20 22:08:40 microserver epgd: Loading plugin: /usr/lib/epgd/plugins/libepgd-epgdata.so
Mar 20 22:08:40 microserver epgd: Read 23 option from /etc/epgd/epgd.conf
Mar 20 22:08:40 microserver epgd: Info: Stylesheet '/etc/epgd/tvmovie-utf-8.xsl' loaded
Mar 20 22:08:40 microserver epgd: Info: Stylesheet '/etc/epgd/epgdata-utf-8.xsl' loaded
Mar 20 22:08:40 microserver epgd: SQL client character now 'utf8'
Mar 20 22:08:40 microserver epgd: State now 'init'
Mar 20 22:08:40 microserver epgd: Loading '/etc/epgd/channelmap.conf'
Mar 20 22:08:41 microserver epgd: 86 channel mappings read.
Mar 20 22:08:41 microserver epgd: Scheduled next update in 12 hour(s)
Mar 20 22:08:41 microserver epgd: State now 'standby'
Mar 20 22:08:54 microserver epgd: 7046 DVB pending, mergeepg done after 1.558 seconds

Alles anzeigen

Gruss

TheChief · 20. März 2014

Die Channelmap ist falsch und outdated. Nimm die beiliegende des Plugins.

BTW: Glaub bei den ChannelIDs von ARD HD und EinsPlusHD in der channelmap only fehlen am Ende jeweils eine Zahl. Hab ich damals übersehen.

cactus-online · 20. März 2014

Zitat von Lapheus

Also habe auf dem vdr das plugin in Version epg2vdr (0.1.7) - epg2vdr plugin.
Auf meinem Server habe ich den epgd aus dem yavdr repository, mit dem Patch von 3PO.

Der vdr schickt sein EPG an den Server, dort lädt der epgd auch Dateien runter.

Aber zurück klappt nicht. Das EPG auf dem vdr ist leer.

Ich habe es jetzt schon mehrer male neu installiert, immer das gleiche Problem.

Alles anzeigen

Bei läuft es auch noch nicht wie gewünscht. Erst dachte ich auch, da kommt gar nichts. Aber nach dem Löschen der epg.data füllt es sich so langsam. Allerdings sehe ich nur dvb/epgdata als Quelle. Geladen ist aber auch von TVM alles.

Code

root@pinguin-pvr:/var/lib/vdr# sudo epgd-tool -check-events
--------------
SELECT count(1),source FROM events group by source
--------------


count(1)	source
46588	epgdata
29705	tvm
4580	vdr
root@pinguin-pvr:/var/lib/vdr# sudo epgd-tool -check-pic
--------------
SELECT count(1) FROM images WHERE image IS NOT NULL
--------------


count(1)
17146

Alles anzeigen

Meine channels.map sieht so aus:

Code

//
// get this channels from TVM
//
//
vdr:000 = S19.2E-1-1066-28656 // VH1
vdr:000 = S19.2E-133-6-267 // Sky Bundesliga HD 2
vdr:000 = S19.2E-133-13-277 // Sky Bundesliga HD 3
vdr:000 = S19.2E-133-6-268 // Sky Sport HD 3
vdr:000 = S19.2E-133-10-102 // Sky HD FanZone
vdr:000 = S19.2E-133-2-262 // Sky Bundesliga 1
vdr:000 = S19.2E-133-3-272 // Spieldaten
vdr:000 = S19.2E-133-3-282 // Sky Bundesliga 3


...
tvm:001 = S19.2E-1-1019-10301	//	Das Erste HD
epgdata:71:2 = S19.2E-1-1019-10301	//	Das Erste HD
//
tvm:002 = S19.2E-1-1011-11110	//	ZDF HD
epgdata:37:2 = S19.2E-1-1011-11110	//	ZDF HD


tvm:004 = S19.2E-1-1057-61200	//	RTL HD
epgdata:38:2 = S19.2E-1-1057-61200	//	RTL HD

Alles anzeigen

Bin für jeden helfenden Hinweis sehr dankbar.

utiltiy · 20. März 2014

Zitat von TheChief

BTW: Glaub bei den ChannelIDs von ARD HD und EinsPlusHD in der channelmap only fehlen am Ende jeweils eine Zahl. Hab ich damals übersehen.

Bei EinsPlus fehlt die "7", ARD ist i.O.

TheChief · 20. März 2014

~~Der normale Discovery Channel hat ausserdem keine Daten (Dateil wohl leer) und muss auf Discovery HD gemappt werden.~~

Anscheinend gibts für Discovery grad keine Daten.

Imsadi · 21. März 2014

Moin,

bei mir fährt der VDR nach der Installation von epg2vdr nach dem Aufwecken und Aufnehmen eines
gesetzten Timers nicht mehr herunter. Im Log ist nicht viel brauchbares zu sehen.

Hat jemand noch dieses Problem ?

mamomoz · 21. März 2014

Moin und danke für das coole Plugin/Deamon.

Ich habe mal zwei Fragen.

1. eventsview.sql:
Wenn die Tabellen schon aufgebaut sind:
Kann man den eventsview dann noch wechseln, oder müssen dann alle Tabellen neu augebaut werden.
Zu welchem Zeitpunkt wird der eventsview.sql verwendet ?

2. Habe bei mir eingestellt DaysInAdvance = 4
Nach dem initialen Aufbau der Tabellen habe ich allerdings EPG über den 01.04 hinaus.
Liegt das am neuen Dateiformat von tvm ?

Danke

TheChief · 21. März 2014

Zitat von mamomoz

1. eventsview.sql:
Wenn die Tabellen schon aufgebaut sind:
Kann man den eventsview dann noch wechseln, oder müssen dann alle Tabellen neu augebaut werden.
Zu welchem Zeitpunkt wird der eventsview.sql verwendet ?

Welchen View man verwenden möchte, kann man in der config vom epgd einstellen. Tabellen müssen nicht neu aufgebaut werden, da es sich ja nur um einen View handelt.

Bin mir allerdings jetzt nicht sicher, ob man den View löschen muss, wenn man was ändert, oder einfach nur den epgd neustarten muss. Falls ersteres, muss Du auf dem Mysql-Kommandozeile
ein drop view eventsview; ausführen und den epgd neu starten.

EDIT: Habs mal geprüft. Wenn Du im SQL-File des Views was änderst und den epgd neustartest, wird der View in der DB aktualisiert.

Zitat von mamomoz

2. Habe bei mir eingestellt DaysInAdvance = 4
Nach dem initialen Aufbau der Tabellen habe ich allerdings EPG über den 01.04 hinaus.
Liegt das am neuen Dateiformat von tvm ?

Ich glaub, das ist momentan garnicht vorgesehen, das es nur noch eine Datei pro Sender mit 14 Tagen Programm gibt. Muss mal schauen, ob man das umsetzen kann.

TheChief · 21. März 2014

Zitat von cactus-online

Bin für jeden helfenden Hinweis sehr dankbar.

Woher hast Du denn die channelmap? IDs mit 001, also führenden Nullen, gibts bei tvm nicht mehr. Nimm die channelmap-merge.conf, die beiliegt und pass sie dir an.

mamomoz · 21. März 2014

Zitat von TheChief

EDIT: Habs mal geprüft. Wenn Du im SQL-File des Views was änderst und den epgd neustartest, wird der View in der DB aktualisiert.

Ok super danke Dir, dann muss ich also folgendes machen:
EPGD stoppen
in der epgd.conf das richtige eventsview. sql einstellen.
danach den epgd wieder starten
die tabelle eventsview wird danach automatisch aktualisiert.

Richtig so ?

Gruß
moz

TheChief · 21. März 2014

Genau

Code

Mar 21 09:59:21 homeserver epgd: Drop view 'eventsview'
Mar 21 09:59:21 homeserver epgd: Creating view 'eventsview' using definition in '/etc/epgd/eventsview.sql'
Mar 21 09:59:21 homeserver epgd: DEBUG: Storing 'eventsview.md5' with value '5d4b1d62cabe90f9607b000f917d6a9e' (32)
Mar 21 09:59:21 homeserver epgd: Scheduled next update in 6 hour(s)

CKone · 21. März 2014

auf ein paar Worte...

- wir bauen dieses Gefrickel nicht ein, da es einerseits keine Ursachen sonden nur Symptome bekämpft, zum anderen sicher nur temporärer Natur ist.
- das was wir gestern mit dem Chief getestet haben funktioniert tadellos, ist aber sehr teuer und wird leider sehr häufig aufgerufen und führt daher auf schwächeren System zu Problemen
- dazu passt der Schlüssel nicht 100% zu unserer episodes Tabelle und wir können doppelte epg Einträge im VDR nicht komplett aussschließen
- es gibt noch einen weiteren Grund warum wir es lieber mögen die Information direkt auf der Datenbank zu haben

deshalb findet ihr im git eine aktualisierte Version des Daemon mit dem man nach dem dem Laden, und vor dem Verarbeiten der Daten einen Userexit triggern kann. Dieser kann uA benutzt werden um krude Daten zu manipulieren, in diesem Fall den subtitle.

Er ist solange aktiviert wie eine Datei userexit.sql im Verzeichnis /etc/epgd liegt, diese Datei könnte bespielsweise wie im Anhang ausschauen - wenn nicht mehr benötigt einfach Datei löschen und epgd neu starten.

Die beiden vom Chief geposteten Indices schaden natürlich nicht:

Code

create index idxnameseasonpart on episodes(compname,season,part);
create index idxtitelshorttext on events(comptitle,compshorttext);

andere wie die gestern geposteten Manipulationen an den Views sind dagegen obsolete.

Christian

[Announce] epgd-0.1.4 / epg2vdr-0.1.3 - Advent, Advent...

Jetzt mitmachen!

Teilen