Manchmal muss man nur sauber durchstarten. Nachdem ich die DB bereinigt und das xml um diverse "Missing definitions" erleichtert habe,
lässt sich die Datei sauber importieren und ich habe wieder Daten im epgd! 
Zabrimus
falls du die Kategorien im Plugin ausnehmen möchtest: bei mir waren es unter channel <icon> sowie unter programme <star-rating>, <new> und <live>.
Momentan filtere ich die mit einem Skript aus der Quelldatei, eingebunden via xmltv.getdata.
Danke & cheers,
Ole
falls du die Kategorien im Plugin ausnehmen möchtest: bei mir waren es unter channel <icon> sowie unter programme <star-rating>, <new> und <live>.
Das xsl Script wurde entsprechend angepasst, die genannten Elemente werden jetzt auch entfernt. Danke für den Hinweis.
Moin, und danke für das neue epg-plugin.
Habs eingerichtet und klappt soweit.
Serien werden auch gescrapt, allerdings keine Filme. In der Tabelle "events" werden Serien im Feld category mit "Serie" geklariert. In allen anderen Zeilen steht bei mir im Feld category null. Dann findet der Scraper für Filme natürlich nichts.
Kann man das noch irgendwie anpassen?
In allen anderen Zeilen steht bei mir im Feld category null. Dann findet der Scraper für Filme natürlich nichts.
Kann man das noch irgendwie anpassen?
Wie werden denn Filme identifiziert? Im XML habe ich soweit kein eindeutiges Merkmal gefunden, wobei auch bei Serien gibt es da nichts wirklich sinnvolles. Es gibt eine 'Category', aber für Werte wie Drama oder Krimi kann man keine wirkliche Zuordnung zu Serie/Film treffen.
Es sieht wohl so aus, als ob für Serien wesentlich mehr Information (auch Bilder) vorhanden sind, als für Filme. Aber wie der epg Daemon da arbeitet, weiß ich nicht.
select count(*), category from events where scrmovieid is not null group by category ;in category sollte auf der events Tabelle "Spielfilm" stehen damit der scraper losläuft
in category sollte auf der events Tabelle "Spielfilm" stehen damit der scraper losläuft
Jetzt nur noch die spannende Frage, wie ich Spielfilme identifizieren kann.
Wirklich zuverlässig wird das wohl mit den vorhandenen XML-Daten nichts werden 
Aber man könnte ja evtl. eine Kombination (mit Gewichtung?) aus folgenden Prüfungen durchführen:
Ist sicher noch verbesserungswürdig, aber könnte das ein Ansatz sein?
Oder gibts für den Scraper ohnehin nur "Serie" und "Spielfilm"? Dann könnte man ja einfach statt null/leer (siehe #23 ) immer hart "Spielfilm" reinschreiben. Aber dann muss die Serienerkennung 99%ig sein 
Moin,
mit diesem Patch konnte ich den Scraper zumindest mal wieder zum "arbeiten" bewegen.
Zuerst läuft ja der Scraper für Serien und setzt category auf "Serie".
Danach bleibt ja der Rest auf null stehen. Diese Zeilen werden dann vom scraper für Filme beachtet.
Kann man ja mal ausprobieren.
Hiho,
ich bastle derzeit an einem tvs-scraper bei dem ich versucht habe mich an die XMLTV-Vorgaben zu halten.
Die erstellte tvs_xmltv.zip ist valide (laut 'tv_validate_file') aber das epgd-plugin-xmltv ignoriert den Inhalt komplett:
XML File 'ARD.tvs-2025-05-31-' processed, updated 0 eventsIn der 'channelmap.conf' habe ich, unter anderem:
xmltv:ARD.tvs:1 = S19.2E-1-1019-10301 // Das Erste HDBis jetzt habe ich versucht die IDs alle in Großschreibung anzugeben und die start/stop zeiten in GMT+2 umzurechnen, beides ohne Erfolg.
Hat noch wer ne Idee wo der Fehler in der XMLTV Datei sein könnte?
Das Plugin durchläuft alle <programme>und prüft, ob das Attribut channel="XXX"in der channelmap.conf konfiguriert wurde. Bei dir müsste es 'ARD.tvs' (im XML ist es aber ard.tvs) sein.
Wenn ich meine channelmap.conf entsprechend anpasse, dann erhalte ich
Codexmltv:ard.tvs:2 = C-1-1051-10301 XML File 'ard.tvs-2025-05-31-' processed, updated 1 eventsIch habe nur eines deiner Events in mein xml eingefügt.
Ich musste die epgd Tabellen "events" und "fileref" von allem was mit xmltv Plugin zu tun hat befreien und jetzt läuft es soweit 
Scheinbar wurde da der wechsel zwischen Groß- und Kleinschreibung ignoriert.
Aktuell scheint es bei mir noch Unstimmigkeiten zu geben was die Zeitzone anbelangt. Da muss ich aber noch ein bissen rumprobieren.
Hallo lapicidae,
ich habe Dein Script getestet. Super Arbeit!
Konntest Du das Problem mit der Zeitzone schon lösen.?
Aktuell trägt er bei mir die events mit Zeitzone UTC ein.
Also das Event beginnt eigentlich um 14 Uhr (steht so in der xml Datei vom Scraper), dann wird es in der Tabelle events mit 12 Uhr eingetragen.
Gruß
Hi mamomoz,
danke für das Lob 
Es sind überarbeitete Versionen des tvs-scraper Skripts sowie, falls benötigt, des run-scraper Wrappers verfügbar. Hier sollte alles ausreichend erläutert sein.
Für die Nutzung mit epgd-plugin-xmltv ist es allerdings äußerst sinnvoll, die xmltv.xsl im epgd config Verzeichnis durch meine zu ersetzen (optional auch noch die xmltv-category.xml).
Evtl müssen die Tabellen "events" und "fileref" bereinigt werden, damit die neuen Daten dann auch passen (ich habe letztendlich die ganze epg2vdr Datenbank gelöscht)
Aktuell lagert noch alles in meinem Repository des vdr-epg-daemon Docker Containers. Bei Bedarf kann ich auch ein eigenes Repository für den Scraper erstellen.
Bei Bedarf kann ich auch ein eigenes Repository für den Scraper erstellen.
das waere natuerlich super
gruss
beinhart
Aktuell scheint es bei mir noch Unstimmigkeiten zu geben was die Zeitzone anbelangt. Da muss ich aber noch ein bissen rumprobieren.
das problem ist hier noch existent. wie mamomoz schrieb, erfolgen die eintraege in utc.
ansonsten klasse arbeit - funktioniert einwandfrei
gruss
beinhart
das problem ist hier noch existent. wie mamomoz schrieb, erfolgen die eintraege in utc.
Das verstehe ich nicht ganz. Die Einträge werden von UTC nach Unix Epoch gewandelt und in der Datenbank gespeichert. Die Zeitstempel von VDR und dem Plugin sind identisch:
select source, starttime, from_unixtime(starttime), title, shorttext
from events
where channelid = 'C-1-1051-10301'
and starttime = 1750356900;
vdr,1750356900,2025-06-19 20:15:00,Der Bozen-Krimi: Mein ist die Rache,Spielfilm Deutschland 2024
xmltv,1750356900,2025-06-19 20:15:00,Der Bozen-Krimi: Mein ist die Rache,Die Frage wäre, mit welcher Zeitzone die Datenbank arbeitet. Bei mir ist die System TZ z.B. Berlin/Europe (GMT+2).
SELECT @@global.time_zone, @@session.time_zone, @@system_time_zone;
SYSTEM,SYSTEM,CESTIch habe einmal den Fehler gemacht, die Zeitzone zu ändern, nachdem mariadb gestartet wurde und damit habe ich dann die Events Tabelle frittiert, da mariadb die TZ wohl nur einmal bei Start einliest und dann auf immer verwendet. Eingetragen als GMT+1, ausgelesen als GMT+2 und das ging nicht gut (mit der Umwandlung nach Unix Epoch wohlgemerkt).
die zeitzone der datenbank sieht bei mir genau so aus wie bei dir
hab zwei beispiele herausgesucht, die nicht passen, beide auf zdf_neo:
| vdr | 1750696500 | 2025-06-23 18:35:00 | Duell der Gartenprofis | NULL
| xmltv | 1750703700 | 2025-06-23 20:35:00 | Duell der Gartenprofis | NULL
timestamp in der xml-datei: 1750696500
| vdr | 1750699200 | 2025-06-23 19:20:00 | Bares für Rares | Die Trödel mit
| xmltv | 1750706400 | 2025-06-23 21:20:00 | Bares für Rares | NULL
timestamp in der xml-datei: 1750699200bei beiden sendungen ist der timestamp richtig, der eintrag fuer xmltv
mittels run-scraper in die datenbank allerdings ist +2 stunden spaeter
Hmm. Hast du die letzte Version des Plugins. Im letzten Commit musste ich tatsächlich etwas an der Zeitumwandlung/Berechnung ändern: bugfix: wrong calculation of starttime (mktime vs. timegm).
ja, hab den aktuellen git-master. nochmals komplett neu gebaut und die datenbank
komplett ins nirvana geschickt und neu angelegt.
das verhalten aendert sich aber nicht. immer noch zwei stunden hinterher.
werd mal versuchen, die zeitzone fuer den tvs-scraper zu aendern
Don’t have an account yet? Register yourself now and be a part of our community!