[solved][epgd/epg2vdr] Verdoppelung von Events

nobanzai · July 7, 2024 at 11:13 AM

Hi,

hat Jemand eine Idee, warum sich bei der Kombination EPGD/epg2vdr immer wieder die Events und damit auch die aus Suchtimern erstellten Timer vervielfachen?

Korrektur: Besseres Beispiel eingefügt.

SQL

SELECT    FROM_UNIXTIME( inssp  )
        , e.title
        , e.shorttext 
        , e.channelid
        , e.masterid 
        , e.eventid
FROM    events e
WHERE    e.title like '%eureka%'
ORDER BY
        e.eventid
DESC

Display More

gibt aktuell

Code

FROM_UNIXTIME( inssp  )|title                     |shorttext                                                                        |channelid          |masterid|eventid          |
-----------------------+--------------------------+---------------------------------------------------------------------------------+-------------------+--------+-----------------+
    2024-07-07 06:20:57|EUReKA - Die geheime Stadt|Ein Schiff kommt selten allein                                                   |S19.2E-1-1107-17505| 4200889|65279160359057761|
    2024-07-06 23:22:16|EUReKA - Die geheime Stadt|Es ist nicht leicht, grün zu sein                                                |S19.2E-1-1107-17505| 4165638|        193606619|
    2024-07-06 23:22:16|EUReKA - Die geheime Stadt|Die fünfte Dimension                                                             |S19.2E-1-1107-17505| 4165637|        193606618|
    2024-07-06 23:21:56|EUReKA - Die geheime Stadt|Reprise                                                                          |S19.2E-1-1107-17501| 4151715|        193054043|
    2024-07-06 23:22:16|EUReKA - Die geheime Stadt|Ein Schiff kommt selten allein                                                   |S19.2E-1-1107-17505| 4165927|        192252277|
    2024-07-06 23:22:16|EUReKA - Die geheime Stadt|Wenn ihr gebaut habt, kommen sie                                                 |S19.2E-1-1107-17505| 4165926|        192252276|
    2024-07-06 23:22:16|EUReKA - Die geheime Stadt|Ein Schiff kommt selten allein                                                   |S19.2E-1-1107-17505| 4165919|        192252269|
    2024-07-06 23:22:16|EUReKA - Die geheime Stadt|Wenn ihr gebaut habt, kommen sie                                                 |S19.2E-1-1107-17505| 4165918|        192252268|
    2024-07-06 23:21:56|EUReKA - Die geheime Stadt|Abgehoben                                                                        |S19.2E-1-1107-17501| 4151509|        192151190|
    2024-07-06 23:21:56|EUReKA - Die geheime Stadt|Abgehoben                                                                        |S19.2E-1-1107-17501| 4151481|        192151188|
    2024-07-06 23:21:45|EUReKA - Die geheime Stadt|Es ist nicht leicht, grün zu sein Science-Fiction, USA 2009 Altersfreigabe: ab 12|S19.2E-1-1107-17505| 4149324|              234|
    2024-07-06 23:21:45|EUReKA - Die geheime Stadt|Die fünfte Dimension Science-Fiction, USA 2009 Altersfreigabe: ab 12             |S19.2E-1-1107-17505| 4149323|              233|

Display More

VPS ist aus.

kfb77 · July 7, 2024 at 11:27 AM

Hast du was an der channelmap.conf geändert ?

nobanzai · July 7, 2024 at 12:14 PM

Quote from kfb77

Hast du was an der channelmap.conf geändert ?

Nein.

Ich habe sogar schon epgd und vdr gestoppt, events, useevents, timers und timersdone truncatet, epg.data gelöscht, vdr gestartet, gewartet bis das epg wieder da war und dann epgd wieder gestartet - und die Verdoppelung kommt immer wieder.

minixjr · July 7, 2024 at 3:06 PM

Ich bin mir nicht sicher ob "events" die richtige Tabelle ist um das zu prüfen.
In meinem Verständnis werden die "events" in "useevents" zusammengefasst, wenn hier doppelte vorhanden sind, dann stimmt was nicht.
Was zeigt denn:

SQL

SELECT FROM_UNIXTIME( cnt_starttime  )
        , u.sub_title
        , u.sub_shorttext 
        , u.cnt_channelid
        , u.cnt_masterid 
        , u.cnt_eventid
FROM    useevents u
WHERE    u.sub_title like '%eureka%'
ORDER BY
        u.cnt_starttime ASC, u.cnt_channelid 
ASC;

Display More

In Deinem Suchtimer ist "Wiederholungen vermeiden" aktiv?
Wenn bei mir mal was durcheinander kommt, lösche ich auch die timers.conf auf den Systemen und dann auch aus der epgd History.

nobanzai · July 7, 2024 at 3:36 PM

Quote from minixjr

Ich bin mir nicht sicher ob "events" die richtige Tabelle ist um das zu prüfen.
In meinem Verständnis werden die "events" in "useevents" zusammengefasst, wenn hier doppelte vorhanden sind, dann stimmt was nicht.[...]
In Deinem Suchtimer ist "Wiederholungen vermeiden" aktiv?
Wenn bei mir mal was durcheinander kommt, lösche ich auch die timers.conf auf den Systemen und dann auch aus der epgd History.

Es geht mir an der Stelle noch nicht um die Timer. Mich wundert schon, dass die EPG-Einträge mehrfach da sind, also dieselbe Sendung immer zweimal hintereinander auftaucht.

Aber useevents habe ich ja auch gelöscht und es hilft nix.

minixjr · July 7, 2024 at 4:00 PM

OK, alles klar.
Vielleicht liegt es an der Quelle.
Füg mal Deiner Selektion ", e.source" hinzu.

nobanzai · July 7, 2024 at 8:02 PM

Quelle ist bei vielen TVSP und VDR, aber nicht hier bei "Eureka", da isses bei beiden nur VDR.

01:07 - 01:48 (0:41)	EUReKA - Die geheime Stadt Die fünfte Dimension Science-Fiction, USA 2009 Altersfreigabe: ab 12
01:07 - 01:48 (0:41)	EUReKA - Die geheime Stadt Die fünfte Dimension Science-Fiction, USA 2009 Altersfreigabe: ab 12
01:48 - 02:30 (0:41)	EUReKA - Die geheime Stadt Es ist nicht leicht, grün zu sein Science-Fiction, USA 2009 Altersfreigabe: ab...
01:48 - 02:30 (0:41)	EUReKA - Die geheime Stadt Es ist nicht leicht, grün zu sein Science-Fiction, USA 2009 Altersfreigabe: ab...

Queryresult aber:

-------------------------------+--------------------------+----------+---------------------------------------------------------------------------------+-------------------+------------+-----------+

2024-07-09 01:07:36|EUReKA - Die geheime Stadt|vdr |Die fünfte Dimension Science-Fiction, USA 2009 Altersfreigabe: ab 12 |S19.2E-1-1107-17505| 4260577| 233|

2024-07-09 01:48:59|EUReKA - Die geheime Stadt|vdr |Es ist nicht leicht, grün zu sein Science-Fiction, USA 2009 Altersfreigabe: ab 12|S19.2E-1-1107-17505| 4260578| 234|

nobanzai · July 7, 2024 at 11:48 PM

Irgendwie sieht es fast so aus, als würde EPGD die VDR-Events nicht mit denen aus TVM/TVSP matchen können, weil auch keinerlei Daten aus TVM/TVSP im EPG zu sehen sind.

Ich bin echt ratlos 8-<

theonlychriss · **Stand: 17 Nov. 2024**

Quote from kfb77

Hast du was an der channelmap.conf geändert ?

Quote from nobanzai

Irgendwie sieht es fast so aus, als würde EPGD die VDR-Events nicht mit denen aus TVM/TVSP matchen können, weil auch keinerlei Daten aus TVM/TVSP im EPG zu sehen sind.
Ich bin echt ratlos 8-<

Wie sehen denn die Einträge (bzw. der Eintrag) in der channelmap.conf aus (jetzt mal nur konkret für den Eureka-Fall?). Vielleicht ist ja schon dort irgendetwas erkennbar?
Habe dies aber auch öfters - wenn ich mich nicht irre, nur bei Sendern, die gemerged werden sollen, also wo VDR-EPG und das Externe eigentlich zusammenkommen sollen ...

nobanzai · July 8, 2024 at 11:48 AM

Quote from theonlychriss

Wie sehen denn die Einträge (bzw. der Eintrag) in der channelmap.conf aus (jetzt mal nur konkret für den Eureka-Fall?). Vielleicht ist ja schon dort irgendetwas erkennbar?
Habe dies aber auch öfters - wenn ich mich nicht irre, nur bei Sendern, die gemerged werden sollen, also wo VDR-EPG und das Externe eigentlich zusammenkommen sollen ...

Code

tvsp:PRO7M:1:0 = S19.2E-1-1107-17505 // Pro7 MAXX
tvm:436:2:0 = S19.2E-1-1107-17505 // Pro7 MAXX

Das hat sich allerdings seit langem nicht mehr geändert.

Generell könnte ich auch die EPG-Datenbank löschen und neu aufbauen lassen, allerdings verliere ich dabei wieder mal meine 100 Searchtimer. Außerdem möchte ich endlich mal die Zusammenhänge *vollständig* verstehen.

Danke für deine Unterstützung!

wmautner · July 8, 2024 at 12:37 PM

Die tvm- und tvsp-Plugins für epgd sind aber installiert?

nobanzai · July 8, 2024 at 12:44 PM

Quote from wmautner

Die tvm- und tvsp-Plugins für epgd sind aber installiert?

Ja und die tun auch was lt. Log.

wmautner · July 8, 2024 at 1:01 PM

Laden die auch was runter (grep epgd: *ownload* /var/log/syslog) und ist in epgd.conf etwa sowas

Code

CheckInitial = 1
DaysInAdvance = 7
DaysToUpdate = 7
UpdateTime = 6
UpdateThreshold = 7000

gesetzt?

mysql/mariadb läuft?

nobanzai · July 8, 2024 at 1:15 PM

Quote from wmautner
Laden die auch was runter (grep epgd: *ownload* /var/log/syslog) und ist in epgd.conf etwa sowas
Code
CheckInitial = 1
DaysInAdvance = 7
DaysToUpdate = 7
UpdateTime = 6
UpdateThreshold = 7000
gesetzt?
mysql/mariadb läuft?

Ja und ja.

Wie geschrieben, hat sich an den Settings nix geändert - und die haben bis letzte Woche auch funktioniert. Dann ist ein Fehler passiert, der dazu geführt hat, dass die TVSP-Daten nicht mehr verarbeitet werden konnten. Und danach fing das Chaos an.

Ich habe dann die o.a. Tabellen geleert, aber auch das hat nix geholfen.

Jetzt werde ich halt doch mal wieder die ganze DB löschen und neu anlegen lassen.

Wenn das dann funktioniert, würde ich aber weiter schauen wollen, welche Tabelle dafür verantwortlich ist/war, dass es nicht ging.

Ich bin jetzt so vorgegangen:

systemctl stop vdruser epgd epghttpd
epgd-tool -del-db/new-db
rm /home/vdr/epg.data /etc/vdr/timers.conf
systemctl start epgd
warten, bis epgd fertig ist
systemctl stop epgd
systemctl start vdruser (ohne epg2vdr/scraper2vdr Plugins)
warten bis der VDR das EPG wieder komplett geholt hat
systemctl stop vdruser
systemctl start epgd epghttpd
systemctl start vdruser (mit epg2vdr/scraper2vdr Plugins)

Ich hoffe, das ist die korrekte Reihenfolge.

nobanzai · July 8, 2024 at 1:45 PM

Ok, nachdem EPGD fertig ist, sieht das so aus:

SQL

SELECT    FROM_UNIXTIME( e.starttime ) as 'starttime'
        , e.eventid
        , e.source 
        , e.channelid
        , e.shorttext 
FROM    events e
 WHERE    e.title like '%eureka%'
ORDER BY
        e.starttime 
DESC
;

Display More

Code

starttime          |eventid           |source|channelid          |title                     |shorttext                        |
-------------------+------------------+------+-------------------+--------------------------+---------------------------------+
2024-07-22 22:55:03|         193126154|tvm   |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Wer ist Jack?                    |
2024-07-22 22:00:03|         193126153|tvm   |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Wasser Marsch!                   |
2024-07-20 08:10:03|         193054043|tvm   |S19.2E-1-1107-17501|EUReKA - Die geheime Stadt|Reprise                          |
2024-07-16 04:35:03|         192252277|tvm   |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Ein Schiff kommt selten allein   |
2024-07-16 04:35:00| 65279160359057761|tvsp  |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Ein Schiff kommt selten allein   |
2024-07-16 03:50:03|         192252276|tvm   |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Wenn ihr gebaut habt, kommen sie |
2024-07-16 03:50:00| 65279160359055683|tvsp  |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Wenn ihr gebaut habt, kommen sie |
2024-07-15 22:55:03|         192252269|tvm   |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Ein Schiff kommt selten allein   |
2024-07-15 22:55:00| 65279160359049630|tvsp  |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Ein Schiff kommt selten allein   |
2024-07-15 22:00:03|         192252268|tvm   |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Wenn ihr gebaut habt, kommen sie |
2024-07-15 22:00:00| 65279160359048271|tvsp  |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Wenn ihr gebaut habt, kommen sie |
2024-07-14 07:25:03|         192151190|tvm   |S19.2E-1-1107-17501|EUReKA - Die geheime Stadt|Abgehoben                        |
2024-07-14 07:25:00|399041869975779414|tvsp  |S19.2E-1-1107-17501|EUReKA - Die geheime Stadt|Abgehoben                        |
2024-07-13 09:20:03|         192151188|tvm   |S19.2E-1-1107-17501|EUReKA - Die geheime Stadt|Abgehoben                        |
2024-07-13 09:20:00|399041869975717168|tvsp  |S19.2E-1-1107-17501|EUReKA - Die geheime Stadt|Abgehoben                        |
2024-07-09 01:50:03|         193606619|tvm   |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Es ist nicht leicht, grün zu sein|
2024-07-09 01:50:00|328091329691887240|tvsp  |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Es ist nicht leicht, grün zu sein|
2024-07-09 01:05:03|         193606618|tvm   |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Die fünfte Dimension             |
2024-07-09 01:05:00|328091329691887234|tvsp  |S19.2E-1-1107-17505|EUReKA - Die geheime Stadt|Die fünfte Dimension             |

Display More

Es sind also sowohl Daten von TVM als auch von TVSP in events vorhanden.

Wenn ich es richtig verstehe, bildet useevents dann das Merge-Ergebnis zwischen allen Quellen ab.

Dort sieht es so aus:

SQL

SELECT FROM_UNIXTIME( cnt_starttime ) as 'starttime'
        , u.cnt_eventid
        , u.cnt_source
        , u.cnt_channelid
        , u.sub_shorttext 
FROM    useevents u
WHERE    u.sub_title like '%eureka%'
ORDER BY
        u.cnt_starttime ASC, u.cnt_channelid 
ASC
;

Display More

Code

starttime          |cnt_eventid       |cnt_source|cnt_channelid      |sub_shorttext                    |
-------------------+------------------+----------+-------------------+---------------------------------+
2024-07-09 01:05:00|328091329691887234|tvsp      |S19.2E-1-1107-17505|Die fünfte Dimension             |
2024-07-09 01:50:00|328091329691887240|tvsp      |S19.2E-1-1107-17505|Es ist nicht leicht, grün zu sein|
2024-07-13 09:20:00|399041869975717168|tvsp      |S19.2E-1-1107-17501|Abgehoben                        |
2024-07-14 07:25:00|399041869975779414|tvsp      |S19.2E-1-1107-17501|Abgehoben                        |
2024-07-15 22:00:00| 65279160359048271|tvsp      |S19.2E-1-1107-17505|Wenn ihr gebaut habt, kommen sie |
2024-07-15 22:55:00| 65279160359049630|tvsp      |S19.2E-1-1107-17505|Ein Schiff kommt selten allein   |
2024-07-16 03:50:00| 65279160359055683|tvsp      |S19.2E-1-1107-17505|Wenn ihr gebaut habt, kommen sie |
2024-07-16 04:35:00| 65279160359057761|tvsp      |S19.2E-1-1107-17505|Ein Schiff kommt selten allein   |

Es bleiben also nur noch die Events von TVSP übrig, was zu

Code

tvsp:PRO7M:1:0 = S19.2E-1-1107-17505 // Pro7 MAXX
tvm:436:2:0 = S19.2E-1-1107-17505 // Pro7 MAXX

in der channelmaps.conf passt.

Somit wäre diesbzgl. die EPGD-Datenbank korrekt - richtig?

minixjr · July 8, 2024 at 1:54 PM

Ja, das ist was ich auch erwarten würde.

nobanzai · July 8, 2024 at 1:57 PM

Quote from minixjr

Ja, das ist was ich auch erwarten würde.

Gut, dann schauen wir mal, was in den nächsten Steps passiert

theonlychriss · **Stand: 17 Nov. 2024**

Quote from nobanzai

allerdings verliere ich dabei wieder mal meine 100 Searchtimer

Ich hoffe, du exportierst die dir mit SQL-Mitteln vorher und importierst sie danach wieder.
Sonst wirst' ja rammdösig

nobanzai · July 8, 2024 at 2:11 PM

Quote from theonlychriss

Ich hoffe, du exportierst die dir mit SQL-Mitteln vorher und importierst sie danach wieder.
Sonst wirst' ja rammdösig

Ja, hab ich.

Ich habe auch Komplett-Backups - meinereiner ist da eher paranoid

nobanzai · July 8, 2024 at 3:06 PM

Tja, und da sind wieder alle Einträge doppelt im EPG 8-(

Die Datenbank sieht immer noch so aus wie oben geschrieben, aber in der EPG-Anzeige im VDR (oder Live oder VDRAdmin) sind alle doppelt.

Der eine hat den Eintrag "Quelle: TVSP" mit entsprechenden längeren Texten und Bildern, der andere sieht aus wie der Original-EPG-Eintrag des VDR, allerdings haben auch davon einige jetzt Bilder zugeordnet.

Und - wie geschrieben: Das ist auf einer komplett neuen EPGD-Datenbank und einer komplett neuen epg.data!

[solved][epgd/epg2vdr] Verdoppelung von Events

Participate now!

Users Viewing This Thread