Zusammenspiel epgd, epg2vdr, scraper2vdr funktioniert nicht mehr

msv · July 4, 2025 at 7:38 PM New

Hi Leute,

vielleicht kann mir ja jemand helfen.

Ich hatte ja hier schon mal angefangen RE: [epgd tvm] Keine Daten mehr nach 04.07.2025 ?

Aber ich muss mal etwas weiter ausholen. Nachdem ich die vorher schon geschilderten Probleme hatte, habe ich mal alles auf "Start" gesetzt:

epgd gestoppt
epghttpd gestoppt
vdr gestoppt
epgd-tool -drop-all (Bilder behalten)
/video/new/epg.data gelöscht
Alle Dateien unter /var/cache/epgd/tvm/ gelöscht
plugins epg2vdr und scraper2vdr mit "git pull" upgedatet
epgd mit "git pull" upgedatet
epgd und epghttpd neu gestartet und gewartet bis er fertig war mit dem epg update
hier das Journalctl - dazu einiges vom System raus gefiltert (siehe msv1.txt)
VDR restart (siehe msv2.txt)
nach kurzer Zeit epgd wieder beendet um zu verhindern , das das syslog (siehe msv3) voll läuft und mir das system killt

was mir auffällt sind viele SQL Errors, dann die YEAR problem und viele zu kurze AUX felder. Außerdem frage ich mich natürlich warum mariadb alle Daten nochmal ins Journal und ins syslog und ins daemon.log schreibt. Ist denn die Datenbank nicht genug? ich muss allerdings sagen, dass ich mich um die Konfiguration des mariadb servers nicht groß gekümmert habe. Kann man da am log noch was drehen? So ist das Ganze etwas sinnlos, da es mein System überfordert. Ich hab zwar im Normalfall auf der Rootpartition genügend Platz (300GB). Aber bei solch intensivem logging reicht es dann doch irgendwann nicht.

Gruß
msv

msv1.txt

msv2.txt

msv3.txt

beinhart · July 5, 2025 at 9:01 AM New

msv zwischen den schritten git pull und epgd neu starten hast
du aber schon compiliert und installiert?

msv · July 5, 2025 at 9:49 AM New

Ja, sorry, hab ich vergessen zu erwähnen. VDR und epgd sind auch neu compiliert und epgd ist auch mit "make install" installiert worden.

Zabrimus · July 5, 2025 at 10:43 AM New

Das Jahr ist tatsächlich zu lang. Im File findet sich z.B. so etwas:

Code

<Herstellungsjahr>2015 / 2018</Herstellungsjahr>

Die einfachste Lösung wäre es, das Jahr zu kürzen. Dazu muss das tvmovie.xsl geändert werden.

Diff

diff --git a/configs/tvmovie.xsl b/configs/tvmovie.xsl
index b3cfd4f..f6d1ccd 100644
--- a/configs/tvmovie.xsl
+++ b/configs/tvmovie.xsl
@@ -38,7 +38,7 @@

        <xsl:if test="string-length(Originaltitel)"><shorttext><xsl:value-of select="Originaltitel"/></shorttext></xsl:if>

-       <xsl:if test="string-length(Herstellungsjahr)"><year><xsl:value-of select="Herstellungsjahr"/></year></xsl:if>
+       <xsl:if test="string-length(Herstellungsjahr)"><year><xsl:value-of select="substring(Herstellungsjahr,0,4)"/></year></xsl:if>
        <xsl:if test="string-length(Herstellungsland)"><country><xsl:value-of select="Herstellungsland"/></country></xsl:if>

Display More

Das generierte XML hat das Encoding <?xml version="1.0" encoding="ISO-8859-1" ?>. Ich vermute, daß das falsche Stylesheet verwendet wird: tvmovie-utf-8.xsl statt tvmovie-iso-8859-1.xsl. Das ist aber nur eine Vermutung.
In meinem Testsystem gibt es kein Problem, also muss es irgendwie an deinem System liegen.

Code

>file 12.xml  
12.xml: XML 1.0 document, ISO-8859 text, with very long lines (4543)

Was passiert, wenn du tvmovie-iso-8859-1.xsl nach tvmovie-utf-8.xsl kopierst, um die Transformation auszutricksen? Das wäre keine Lösung, sondern nur eine Bestätigung der Vermutung.

msv · July 5, 2025 at 11:09 AM New

Kann es auch mit der Default mariadb configuration zusammenhängen ?

Code

# MySQL/MariaDB default is Latin1, but in Debian we rather default to the full
# utf8 4-byte character set. See also client.cnf
character-set-server  = utf8mb4
collation-server      = utf8mb4_general_ci

(Linux mannitec00 6.1.0-37-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.140-1 (2025-05-22) x86_64 GNU/Linux)

msv · July 5, 2025 at 11:15 AM New

Ich hab übrigens mal die Überflutung meines syslogs gestopt indem ich die Journalctl messages nicht mehr an syslog daemon weitergeben lasse:

/etc/systemd/journald.conf

Code

[Journal]
#Storage=auto
#Compress=yes
#Seal=yes
#SplitMode=uid
#SyncIntervalSec=5m
#RateLimitIntervalSec=30s
#RateLimitBurst=10000
#SystemMaxUse=
#SystemKeepFree=
#SystemMaxFileSize=
#SystemMaxFiles=100
#RuntimeMaxUse=
#RuntimeKeepFree=
#RuntimeMaxFileSize=
#RuntimeMaxFiles=100
#MaxRetentionSec=
#MaxFileSec=1month
#ForwardToSyslog=yes
ForwardToSyslog=no
#ForwardToKMsg=no
#ForwardToConsole=no
#ForwardToWall=yes
#TTYPath=/dev/console
#MaxLevelStore=debug
#MaxLevelSyslog=debug
#MaxLevelKMsg=notice
#MaxLevelConsole=info
#MaxLevelWall=emerg
#LineMax=48K
#ReadKMsg=yes
#Audit=no

Display More

Zabrimus · July 5, 2025 at 11:42 AM New

Quote from msv

Kann es auch mit der Default mariadb configuration zusammenhängen ?

Die sieht bei mir genauso aus. Debian Default. Ich setze nochmal eine ganz neue Installation auf. Ich wüsste nicht, daß ich irgendetwas bewusst geändert habe, mal abgesehen von der Zeitzone und der Locale.

msv · July 5, 2025 at 11:44 AM New

locale sieht bei mir so aus:

Code

root@mannitec00:/var/log# locale
LANG=de_DE.UTF-8
LANGUAGE=
LC_CTYPE="de_DE.UTF-8"
LC_NUMERIC="de_DE.UTF-8"
LC_TIME="de_DE.UTF-8"
LC_COLLATE="de_DE.UTF-8"
LC_MONETARY="de_DE.UTF-8"
LC_MESSAGES="de_DE.UTF-8"
LC_PAPER="de_DE.UTF-8"
LC_NAME="de_DE.UTF-8"
LC_ADDRESS="de_DE.UTF-8"
LC_TELEPHONE="de_DE.UTF-8"
LC_MEASUREMENT="de_DE.UTF-8"
LC_IDENTIFICATION="de_DE.UTF-8"
LC_ALL=

Display More

Zabrimus · July 5, 2025 at 2:56 PM New

Ich habe mal eine ganz neue Umgebung aufgebaut und alles installiert. Die Dokumentation dient auch für mich, damit ich nicht immer neu alles zusammensuchen muss:

Code

# create container
incus launch images:debian/bookworm epgd-installtest
incus shell epgd-installtest

# install packages
apt update
apt install wget curl nano less locales mariadb-server git unzip build-essential \
            libjansson-dev zlib1g-dev libarchive-dev \
            libssl-dev libcurl4-nss-dev libxslt1.1 libxslt1-dev libxml2 libxml2-dev \
            libmariadb-dev mariadb-common libjpeg62-turbo-dev libjpeg62-turbo uuid uuid-dev \
            libjansson4 libjansson-dev libmicrohttpd-dev \
            libimlib2 libimlib2-dev \
            python3 libpython3-dev python3-dev \
            libsystemd-dev

# change locale
sed -e "s/# \(de_DE.UTF-8 UTF-8\)/\\1/" -i /etc/locale.gen
locale-gen
echo "LANG=de_DE.UTF-8" > /etc/default/locale

# change timezone
timedatectl set-timezone Europe/Berlin

# restart container
incus restart epgd-installtest
incus shell epgd-installtest

# get sources
git clone https://github.com/horchi/vdr-epg-daemon.git
cd vdr-epg-daemon/PLUGINS/
git clone https://github.com/3PO/epgd-plugin-tvm.git

# patch for mariadb
wget https://github.com/mariadb-corporation/mariadb-connector-c/commit/d4eec05d00ce77d2bab3848ff49d04acf0ed2cc0.patch -O mariadb.patch
sed -e "s/enum Item_result {/\/\//" -i mariadb.patch
(cd /usr/include/mariadb && patch -p2 < ~/vdr-epg-daemon/mariadb.patch)

# build and install all
make -j && make install

# setup database as commented at https://github.com/horchi/vdr-epg-daemon
mysql -u root
CREATE DATABASE epg2vdr charset utf8;
CREATE USER 'epg2vdr'@'%' IDENTIFIED BY 'epg';
GRANT ALL PRIVILEGES ON epg2vdr.* TO 'epg2vdr'@'%';
GRANT ALL PRIVILEGES ON epg2vdr.* TO 'epg2vdr'@'localhost' IDENTIFIED BY 'epg';
FLUSH PRIVILEGES;

# install epglv
cp /usr/lib/x86_64-linux-gnu/libmariadb3/plugin/mysqlepglv.so /usr/lib/mysql/plugin/mysqlepglv.so
mysql -u root
DROP FUNCTION IF EXISTS epglv;
DROP FUNCTION IF EXISTS epglvr;
CREATE FUNCTION epglv RETURNS INT SONAME 'mysqlepglv.so';
CREATE FUNCTION epglvr RETURNS INT SONAME 'mysqlepglv.so';

# create test channelmap.conf and restart epgd
echo "tvm:122:1 = C-1-1079-11110" > /etc/epgd/channelmap.conf
echo "tvm:12:1 = C-1-1051-10301" >> /etc/epgd/channelmap.conf
systemctl restart epgd
journalctl -xef

Display More

Für die 122 bekomme ich auch die YEAR Fehler, aber Encoding-Probleme tauchen nicht auf.

Code

ul 05 14:51:47 epgd-installtest epgd[21550]: EPG Update started
Jul 05 14:51:47 epgd-installtest epgd[21550]: Updating 'tvm' day today+0 now
Jul 05 14:51:47 epgd-installtest epgd[21550]: Checking tvm id 12
Jul 05 14:51:48 epgd-installtest epgd[21550]: Extracting 'tvdaten-premium-12.cftv'
Jul 05 14:51:48 epgd-installtest epgd[21550]: Creating xml of 12
Jul 05 14:51:48 epgd-installtest epgd[21550]: XML File 'tvdaten-premium-12.cftv' processed, updated 542 events
Jul 05 14:51:48 epgd-installtest epgd[21550]: Checking tvm id 122
Jul 05 14:51:49 epgd-installtest epgd[21550]: Extracting 'tvdaten-premium-122.cftv'
Jul 05 14:51:49 epgd-installtest epgd[21550]: Creating xml of 122
Jul 05 14:51:49 epgd-installtest epgd[21550]: Warning, size of 10 for 'YEAR' exeeded (needed 11) [2015 / 2018]
Jul 05 14:51:49 epgd-installtest epgd[21550]: Warning, size of 10 for 'YEAR' exeeded (needed 11) [2015 / 2018]
Jul 05 14:51:49 epgd-installtest epgd[21550]: Warning, size of 10 for 'YEAR' exeeded (needed 11) [2015 / 2018]
Jul 05 14:51:49 epgd-installtest epgd[21550]: Warning, size of 10 for 'YEAR' exeeded (needed 11) [2015 / 2018]
Jul 05 14:51:49 epgd-installtest epgd[21550]: Warning, size of 10 for 'YEAR' exeeded (needed 11) [2015 / 2018]
Jul 05 14:51:49 epgd-installtest epgd[21550]: Warning, size of 10 for 'YEAR' exeeded (needed 11) [2015 / 2018]
Jul 05 14:51:49 epgd-installtest epgd[21550]: Warning, size of 10 for 'YEAR' exeeded (needed 11) [2015 / 2018]
Jul 05 14:51:49 epgd-installtest epgd[21550]: Warning, size of 10 for 'YEAR' exeeded (needed 11) [2015 / 2018]
Jul 05 14:51:49 epgd-installtest epgd[21550]: Warning, size of 10 for 'YEAR' exeeded (needed 11) [2015 / 2018]
Jul 05 14:51:49 epgd-installtest epgd[21550]: Warning, size of 10 for 'YEAR' exeeded (needed 11) [2015 / 2018]
Jul 05 14:51:49 epgd-installtest epgd[21550]: Warning, size of 10 for 'YEAR' exeeded (needed 11) [2015 / 2018]
Jul 05 14:51:49 epgd-installtest epgd[21550]: Warning, size of 10 for 'YEAR' exeeded (needed 11) [2015 / 2018]
Jul 05 14:51:49 epgd-installtest epgd[21550]: XML File 'tvdaten-premium-122.cftv' processed, updated 434 events
Jul 05 14:51:49 epgd-installtest epgd[21550]: EPG Update finished, loaded 2 files (444.260 KB), 0 non-updates skipped, 0 rejected due to format error.

Display More

msv · July 5, 2025 at 3:56 PM New

Ok, ich hatte meine Datenbank nur geleert und nicht neu aufgebaut. Meine Datenbank stand auf "latin1_swedish_ci". Hab sie jetzt nochmal mit utf8 aufgebaut und steht jetzt auf "utf8mb3_general_ci" und damit kommen die Fehler nicht mehr. Nur noch der YEAR Fehler ist vorhanden.

Ich habe jetzt nur noch das Problem, dass das Webinterface 'Magazin' nur den heutigen Tag bis ca 2:00 Morgen anzeigt. Wie bekomme ich da mehr angezeigt. in der epgd.conf steht:

Code

....
CheckInitial = 1 
DaysInAdvance = 21 
DaysToUpdate = 4 
UpdateTime = 2 
UpdateThreshold = 500 
....

utiltiy · July 5, 2025 at 5:56 PM New

Wirst wahrscheinlich die fileref Tabelle leeren müssen und dann epgd neu starten damit er alle Daten neu holt und einsortiert, wenn noch nicht gemacht bisher.

msv · July 5, 2025 at 6:56 PM New

Evtl hab ich nur nicht lange genug gewartet. Inzwischen ist alles da.

Danke für eure Ideen!

Gruß
msv

CKone · July 6, 2025 at 2:07 PM New

Quote from msv
Ok, ich hatte meine Datenbank nur geleert und nicht neu aufgebaut. Meine Datenbank stand auf "latin1_swedish_ci". Hab sie jetzt nochmal mit utf8 aufgebaut und steht jetzt auf "utf8mb3_general_ci" und damit kommen die Fehler nicht mehr. Nur noch der YEAR Fehler ist vorhanden.
Ich habe jetzt nur noch das Problem, dass das Webinterface 'Magazin' nur den heutigen Tag bis ca 2:00 Morgen anzeigt. Wie bekomme ich da mehr angezeigt. in der epgd.conf steht:
Code
....
CheckInitial = 1 
DaysInAdvance = 21 
DaysToUpdate = 4 
UpdateTime = 2 
UpdateThreshold = 500 
....

horchi hier müssen wir mal schauen das wir die Spalte für Year etwas breiter machen.

utiltiy · July 8, 2025 at 4:29 PM New

Was ist hier für die Zukunft als Lösung angedacht, wird die epg.dat angepasst von 10 auf 11 oder über die tvmovie.xsl das Jahr gekürzt?

CKone · July 9, 2025 at 1:20 PM New

müssen wir auf Jörg warten, der ist wohl in Urlaub: vermute ersteres

Participate now!