[epgd Plugin] Neues Plugin für epgd: epgd-plugin-xmltv

beinhart · June 20, 2025 at 1:51 PM New

Quote from beinhart

werd mal versuchen, die zeitzone fuer den tvs-scraper zu aendern

klappt nicht. er mag die timezone "Europe/Athen" (nur zum testen) nicht

lapicidae · June 20, 2025 at 2:17 PM New

Quote from beinhart

klappt nicht. er mag die timezone "Europe/Athen" (nur zum testen) nicht

Das ist gut möglich, habe ich nicht vernünftig getestet...

Bin allerdings gerade im Urlaub und kann somit die nächsten zwei Wochen nichts machen.

Zabrimus · June 22, 2025 at 10:16 AM New

Quote from beinhart

klappt nicht. er mag die timezone "Europe/Athen" (nur zum testen) nicht

Hast du zufällig einen aktuellen Programmeintrag aus dem XML? Interessieren würden mich gerade die start und stop Attribute. Ich will nur prüfen, ob nicht doch noch etwas im Plugin falsch ist.

beinhart · June 22, 2025 at 11:08 AM New

Zabrimus,

hab ich, schick dir den link zur cloud per pn.

hab zwischenzeitlich einen verdacht. in den heruntergaladenen daten steht

die unix-time korrekt drin. die wird gewandelt in die xml-datei eingetragen.
so weit in ordnung. allerdings steht da dann die richtige uhrzeit , allerdings
mit +2 dahinter versehen.

koennte das der haken sein? falls ja, macht tvs-scraper da in der wandlung
etwas falsch

gruesse
beinhart

Zabrimus · June 22, 2025 at 1:25 PM New

Die Zeitzone ist genau der Haken. Es würde alles funktionieren, wenn UTC drin stünde, aber der Offset +0200 macht Probleme. Allerdings liegen diese Probleme in glibc selbst

Quote

Code

   glibc notes
       For reasons of symmetry, glibc tries to support for strptime() the
       same format characters as for strftime(3).  (In most cases, the
       corresponding fields are parsed, but no field in tm is changed.)

Parsen und ignorieren klingt nach einer gelungenen Lösung. Obwohl das so ganz auch nicht stimmt:

Quote

long int tm_gmtoff
This field describes the time zone that was used to compute this broken-down time value, including any adjustment for daylight saving; it is the number of seconds that you must add to UTC to get local time. You can also think of this as the number of seconds east of UTC. For example, for U.S. Eastern Standard Time, the value is -5*60*60. The tm_gmtoff field is derived from BSD and is a GNU library extension; it is not visible in a strict ISO C environment.

Mit tm_gmtoff kann ich die Berechnung der Zeit anpassen. Das würde aber in strict ISO C environment wohl wieder nicht funktionieren. Ich werde das Plugin trotzdem anpassen.

Zabrimus · June 22, 2025 at 2:16 PM New

Die geänderte Version ist jetzt im Repository verfügbar. Damit sollte - hoffentlich - alles funktionieren.

massi · June 22, 2025 at 7:04 PM New

Hallo,

ich habe as jetzt auch am Laufen, zumindest fast. Beim grabben bekomme ich immer folgende Fehlermeldung, was will mir das sagen?

Code

> grab
> npx tsx scripts/commands/epg/grab.ts --days=14 --channels=/var/epgd/channels.conf --output /var/cache/epgd/xmltv/guide.xml

starting...
config:
  output: /var/cache/epgd/xmltv/guide.xml
  maxConnections: 1
  gzip: false
  days: 14
  channels: /var/epgd/channels.conf
loading channels...
/var/cache/epgd/xmltv/epg/node_modules/sax/lib/sax.js:651
    er = new Error(er)
         ^

<ref *1> Error: Text data outside of root node.
Line: 1599
Column: 56
Char: 0
    at error (/var/cache/epgd/xmltv/epg/node_modules/sax/lib/sax.js:651:10)
    at strictFail (/var/cache/epgd/xmltv/epg/node_modules/sax/lib/sax.js:677:7)
    at SAXParser.write (/var/cache/epgd/xmltv/epg/node_modules/sax/lib/sax.js:1035:15)
    at module.exports [as xml2js] (/var/cache/epgd/xmltv/epg/node_modules/xml-js/lib/xml2js.js:346:12)
    at parseChannels (/var/cache/epgd/xmltv/epg/node_modules/epg-grabber/src/parser.js:10:26)
    at ChannelsParser.parse (/var/cache/epgd/xmltv/epg/scripts/core/channelsParser.ts:19:22)
    at async main (/var/cache/epgd/xmltv/epg/scripts/commands/epg/grab.ts:90:44) {
  note: [Circular *1]
}

Node.js v24.1.0

Display More

Zabrimus · June 22, 2025 at 7:31 PM New

Quote from massi

<ref *1> Error: Text data outside of root node.

Das XML scheint nicht valide zu sein und der Parser bricht ab. Wobei es mir nach einem Problem mit der channels.conf aussieht.

Wobei schon Line: 1599 ziemlich heftig ist. Wieviele Sender hast du denn für den Grabber konfiguriert?

Code

/var/epgd/channels.conf

Kannst du da mal schauen und prüfen, was um die Zeile 1599 so zu finden ist und ob das nach validem XML aussieht?

massi · June 22, 2025 at 9:10 PM New

~~Ich habe das möglicherweise falsch verstanden, ich habe die channels.conf aus dem vdr genommen, das scheint dann wohl nicht richtig zu sein, zumindest sieht mir die nicht wie eine XML Datei aus.~~

Ich habe es falsch verstanden, sorry. Geht jetzt.

Allerdings bleibt noch eine Frage, wie komme ich an den SWR?

Zabrimus · June 23, 2025 at 5:39 AM New

Quote from massi

Allerdings bleibt noch eine Frage, wie komme ich an den SWR?

SWR ist in der Datenbank vorhanden, aber ich frage mich gerade, warum die nicht das richtige Länderkennzeichen haben? Ich dachte, die hätte ich alle geprüft

Code

<channel site="web.magentatv.de" lang="de" xmltv_id="SWRFernsehenRheinlandPfalz.de" site_id="393">SWR Fernsehen RP</channel>
<channel site="web.magentatv.de" lang="de" xmltv_id="SWRFernsehenBadenWurttemberg.de" site_id="398">SWR</channel>

beinhart · June 23, 2025 at 10:02 AM New

Quote from Zabrimus

Die geänderte Version ist jetzt im Repository verfügbar. Damit sollte - hoffentlich - alles funktionieren.

funktioniert - danke

gruss
beinhart

massi · June 23, 2025 at 12:07 PM New

Vielen Dank an Zabrimus, klasse Arbeit!!

Ich habe ein kleines Script gebastelt, mit dem man per cron die iptv-datenbank herunterladen lassen kann, aber nur, wenn sie neuer als die bereits vorhandene DB ist.

Vielleicht kann es ja jemand brauchen.

Das Script "iptv-db-load.sh" (die Variablen den eigenen Gegebenheiten anpassen):

Code

# !/bin/bash

DB_FILE="eismann.db/iptv-database.db.1"
DB_PATH="eismann.db/"
DB_URL="https://github.com/Zabrimus/iptvdb/releases/download/2025-06-23.1/iptv-database.db"
OPTIONS="-q -N -P"

wget $OPTIONS $DB_PATH  $DB_URL

if [ -f $DB_FILE ]; then
  mv $DB_FILE $DB_PATH/iptv-database.db
fi

Display More

Und der passende CRON Eintrag dazu, es wird nachts um 00:00 geprüft ob eine neue Datenbank vorhanden ist und wenn ja, heruntergeladen.

Code

# iptv-database download, if new
0 0 * * * iptv-db-load.sh > /dev/null

massi · June 24, 2025 at 6:02 PM New

Was ich jetzt gerade nicht so ganz verstehe, warum es keine Bilder mehr im OSD2WEB Display gibt.

massi · July 3, 2025 at 5:59 PM New

Im Script ist ein Blödmannsfehler...

Hier das neue Script

Code

# !/bin/bash

REPO="Zabrimus/iptvdb"
LATEST_JSON=$(curl -s "https://api.github.com/repos/$REPO/releases/latest")
DB_URL=$(echo "$LATEST_JSON" | grep "browser_download_url" | grep "iptv-database.db" | cut -d '"' -f 4)

DB_FILE="/example/iptv-database.db.1"
DB_PATH="/example"
OPTIONS="-q -N -P"

wget $OPTIONS $DB_PATH  $DB_URL

if [ -f $DB_FILE ]; then
  mv $DB_FILE $DB_PATH/iptv-database.db
fi

Display More

massi · July 8, 2025 at 10:33 AM New

Hi,

kann es sein, daß die xmltv EPG Daten bei Filmen keine Infos über Darsteller enthalten oder habe ich da was falsch konfiguriert?

Zabrimus · July 9, 2025 at 6:14 AM New

Quote from massi

kann es sein, daß die xmltv EPG Daten bei Filmen keine Infos über Darsteller enthalten oder habe ich da was falsch konfiguriert?

Viele dieser Zusatzdaten sind im xmltv nicht vorhanden. Aber epgd sollte durch den Scraper einiges hinzufügen, sofern die Sendung als Serie oder Spielfilm erkannt wird.

massi · July 9, 2025 at 10:51 AM New

Ich habe vermutlich noch ein Verständnisproblem beim epg.

Wenn ich z.B. sowas hier eintrage:

Code

// Das Erste HD
xmltv:DasErste.de:0 = S19.2E-1-1019-10301

// Das Erste HD
tvm:1:1 = S19.2E-1-1019-10301

Dann gebe ich doch mit der letzten Stelle, also 0,1,2 an welcher Provider bevorzugt wird. Nun habe ich das so verstanden, daß wenn der Hauptprovider bestimmte Daten nicht bereitstellt, dann werden die des Zweitproviders eingetragen, die EPG Daten also gemischt werden oder ist das anders?

Wenn das so ist, müssten doch, beim EPG, den man im vdr über das Programme Menü aufruft auch die Darsteller zu sehen sein, die zwar im XMLTV fehlen aber im TVM vorhanden sind.

Werden denn die Daten des Scrapers auch im EPG eingetragen oder sind die nur separat abrufbar, beispielsweise mit dem live Plugin.

CKone · July 9, 2025 at 1:28 PM New

ui was hast du da gebaut :o

:0 bedeutet so denke ich das nur xmltv kommt und nicht mit dvb gemischt wird, die Kombination mit :1 mach so keinen Sinn

Grundsätzlich werden keine Inhalte von Events gemischt, es wird also keine redaktionelle Arbeit geleistet

Mischen bedeutet, dass 72h vor der Austrahlung das DVB Event den Container (Sender/Uhrzeit/Dauer) bereitstellt und der mit gesamten Inhalt des "besten" Externen Events verknüpft wird (typischerweise :1 Provider)

Du kannst also nicht Teile von :1 Hauptprovider und :2 Nebenprovider erwarten, gemischt wird immer gegen den Container des DVB Event

massi · July 9, 2025 at 7:21 PM New

O.K., dann habe ich das tatsächlich falsch verstanden, danke für die Aufklärung.

CKone · July 10, 2025 at 12:57 PM New

Ja die Idee des Projektes war seinerzeit den guten Inhalt der externen Daten mit den genauen und aktuellen des DVB Streams zu verknüpfen => wenn die 2 sich einmal 72h vor Ausstrahlung gefunden heben dann lassen die einander nicht mehr los, so dass es auch nichts ausmacht wenn der Sender das Event verschiebt, zB weil er mal wieder einen Brennpunkt vor dem Tatort einschiebt...

Participate now!