[gelöst] [epgd/epg2vdr] EPG leer wg. epgd merge timeout?

  • Seit dem gestrigen Update (ua. auf Kernel 4.15.0-72) haben wir kein EPG mehr.

    In den Logs finde ich diesbezgl. nur, dass 5 Minuten nach dem "Mergen" kommt:

    localhost epgd: Warning: Ending notification thread, timeout reached!


    Frage 1) Temporäre Lösung für WAF-Erhaltung

    Wie kann ich epgd & co temporär deaktivieren, sodass das EPG vom DVB-Stream wieder zum Tragen kommt?

    Das Anlegen einer Datei /etc/init/epgd.override mit Inhalt manual hilft schon mal nicht, epgd wird trotzdem gestartet.


    Frage 2) Fehlersuche

    Ich nutze epgd&co aus Frodos PPA. Zumindest epg2vdr wurde beim Update aktualisiert - soweit ich mich erinnern kann.

    epgd-showmerge zeigt nur einige wenige Einträge vom VDR (also DVB-Stream).

    Ein vereinzelter Sender (Servus TV) zeigt immer noch ein EPG an.

    Im syslog kann ich seit Tagen keinen Download von tvm/tvsp mehr finden.


    Frage 3) Timeout erhöhen

    Ich hab zwar keine Ahnung warum das Mergen jetzt plötzlich > 5 Minuten dauern soll, aber viell. kann man irgendwo das

    Timeout erhöhen? Viell. wirds ja mal fertig und funzt dann wieder?

    Habt ihr keine Probleme mit fehlendem EPG?

    MyVDR: yaVDR-Ansible (Ubuntu 18) - softhddevice-openglosd (ffmpeg 2.8) - epgd/epg2vdr - skindesigner estuary4vdr (adaptiert) - 1920x1080@50 Hz | kodi 18 - inputstream + amazon vod
    Aerocube M40 | 300W | ASRock H61M-GE | Intel G530 | Asus ENGT520 | 2 x TT-budget S2-3200 | ASRock Smart Remote (CIR) | 4 GB RAM | 120 GB SSD | 3 TB HDD

  • Das Anlegen einer Datei /etc/init/epgd.override mit Inhalt manual hilft schon mal nicht, epgd wird trotzdem gestartet.

    yavdr-ansible nutzt kein Upstart mehr, sondern Systemd. Wenn du verhindern willst, dass eine Systemd-Unit gestartet wird, musst du sie deaktvieren (oder ggf. sogar maskieren, wenn sie überhaupt nicht gestartet werden können soll) - für eine kurze Übersicht zu systemctl schau dir mal https://www.yavdr.org/document…ion.html#systemd-services an.


    Also z.B. systemctl disable --now epgd epghttpd, um epgd/epghttpd nicht automatisch starten zu lassen undsudo vdrctl disable epg2vdr, um das vdr-plugin-epg2vdr zu deaktivieren.

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • Ich würde auch mal nachsehen, ob mysqld läuft und/oder Fehlermeldungen zeigt (systemctl status mysqld und "grep mysql /var/log/syslog").

    Hatte auch letztens mal einen Timer, der epgd beim Timer-Conflict-Check immer zum Absturz brachte, mußte diesen tatsächlich löschen.

    --
    vdr User #2022 - hdvdr2: Lenovo SFF M83, Intel(R) Core(TM) i5-4670S, 12 GB Ram, zram-swap/tmp, ubuntu-focal, softhddevice-vdpau
    ddbridge-6.x mit 2xDVB-S2 und (Flex) 2xDVB-C/T Tunern, nvidia-GF720 SFF passiv (nvidia-460.32), System SSD btrfs,

    snapper, 8TB HDD XFS/cow /srv/vdr, yavdr-ansible-2.4.6-patches, vdr-epg-daemon mit Frodo-plugins, Kernel 5.10.7-xfsscrub

    vdradmin-am, live+webstreaming, vdrmanager (Smartphones als FB), ffmpeg-4.3.1-libfdk_aac, vdr-plugin-hbbtv. Folding@home läuft auf CPU.

  • Danke, das hat schon mal geholfen, um wieder das gestreamte EPG an den Start zu kriegen - vielen Dank dafür!


    sudo vdrctl disable epg2vdr

    sudo vdrctl disable scraper2vdr

    sudo systemctl disable --now epgd epghttpd

    MyVDR: yaVDR-Ansible (Ubuntu 18) - softhddevice-openglosd (ffmpeg 2.8) - epgd/epg2vdr - skindesigner estuary4vdr (adaptiert) - 1920x1080@50 Hz | kodi 18 - inputstream + amazon vod
    Aerocube M40 | 300W | ASRock H61M-GE | Intel G530 | Asus ENGT520 | 2 x TT-budget S2-3200 | ASRock Smart Remote (CIR) | 4 GB RAM | 120 GB SSD | 3 TB HDD

  • Beim heutigen Update wurde vdr-epg-daemon in der Version 1.1.149 ausgeliefert.

    Nach Update und Re-Aktivieren (also Schritte von oben in umgekehrter Reihenfolge mit "enable") habe ich zwar immer noch den Timeout, aber gleich danach kommt auch eine Erfolgsmeldung und epg2vdr scheint zum Zug zu kommen:

    Ich werde das weiter beobachten und hier berichten ...

    MyVDR: yaVDR-Ansible (Ubuntu 18) - softhddevice-openglosd (ffmpeg 2.8) - epgd/epg2vdr - skindesigner estuary4vdr (adaptiert) - 1920x1080@50 Hz | kodi 18 - inputstream + amazon vod
    Aerocube M40 | 300W | ASRock H61M-GE | Intel G530 | Asus ENGT520 | 2 x TT-budget S2-3200 | ASRock Smart Remote (CIR) | 4 GB RAM | 120 GB SSD | 3 TB HDD

  • Check mal woher die installierten Pakete kommen.

    Ich vermute mal von yavdr und nicht mehr von frodo.

    Die yavdr Pakete sind gestern upgedatet worden, frodo soweit ich sehe nicht.

    Könnte ggf. ein "Versions-misch-masch" sein.

    Wenn Du nur die Pakete von frodo willst musst Du vielleicht noch ein bisschen am Pining schrauben

    VDR User: 2127
    YaVDR-bionic , Case: HFX Classic, Mainboard: ASUS H97M-E, CPU: Intel Celeron CPU G1840T, GPU: GeForce GT 1030, DVB-S: Digital Devices Cine S2 V6
    YaVDR-bionic (24/7), Case: Akasa, Mainboard: NUC D34010WYB, DVB-S: SkyTV Ultimate VIII, Miscellaneous: epgd, pihole

    YaVDR-bionic (headless), System: HP 260 G2 DM, DVB-S: Sundtek SkyTV Ultimate IV

    YaVDR-focal (TEST), Mainboard: Gigabyte Aorus Pro B450, CPU: Ryzen 5 3400G, IPTV

  • Ihr müsst den update auf epgd und epg2vdr machen, nur das Plugin und es geht nichts mehr...

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5

  • Warum nicht epgd in einer aktuellen Version bauen?


    Ansonsten kann man sich alte Paketversionen von Hand von Launchpad herunterladen - für epgd: https://launchpad.net/~yavdr/+…eded&field.series_filter=

    und für epg2vdr: https://launchpad.net/~yavdr/+…ield.series_filter=bionic

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • Es muss ja eine Ursache geben. Offenbar ist der Update fehlerhaft, vorher war ja alles in Ordnung. Müsste eigentlich alle betreffen, die ansible mit epgd am laufen haben und ein Update gemacht haben.

    Intel NUC 10 NUC10i3FNH, Digital Devices Octopus NET V2 Max M4, 1000 GB Samsung 970 Evo M.2 2280 PCIe 3.0 x4 NVMe

  • Ich nutze nur die yavdr ansible Pakete, bei mir läuft es.
    Zugegebenermaßen baue ich epgd aus den deb-src neu, aber einzige Änderung sind die Plugins.

    Code
    1. dpkg -l | grep epg
    2. hi epgd 1.1.149+git20191215-1-71cd459-0yavdr0~bionic+local1 amd64 a EPG daemon which fetch the EPG data
    3. hi epghttpd 1.1.149+git20191215-1-71cd459-0yavdr0~bionic+local1 amd64 Webinterface for epgd
    4. hi mariadb-plugin-epglv 1.1.149+git20191215-1-71cd459-0yavdr0~bionic+local1 amd64 mariadb plugin epglv (used by epgd)
    5. hi vdr-epg-daemon 1.1.149+git20191215-1-71cd459-0yavdr0~bionic+local1 all Metapackage for epgd
    6. ii vdr-plugin-epg2vdr 1.1.104-0yavdr0~bionic amd64 VDR EPG2VDR Plugin
    7. ii vdr-plugin-epgsearch 2.4.0+git20191202-10-602d66c-0yavdr0~bionic amd64 VDR plugin that provides extensive EPG searching capabilities

    VDR User: 2127
    YaVDR-bionic , Case: HFX Classic, Mainboard: ASUS H97M-E, CPU: Intel Celeron CPU G1840T, GPU: GeForce GT 1030, DVB-S: Digital Devices Cine S2 V6
    YaVDR-bionic (24/7), Case: Akasa, Mainboard: NUC D34010WYB, DVB-S: SkyTV Ultimate VIII, Miscellaneous: epgd, pihole

    YaVDR-bionic (headless), System: HP 260 G2 DM, DVB-S: Sundtek SkyTV Ultimate IV

    YaVDR-focal (TEST), Mainboard: Gigabyte Aorus Pro B450, CPU: Ryzen 5 3400G, IPTV

  • rkp , mit der neuen Version gab es eine Änderung in der Datenbank. LINK

    Schau mal ob Du in der Datei /etc/epgd/epg.dat einen Eintrag für für das Feld _ENDTIME (Unterstrich beachten) hast.
    Wenn nicht, wurde die Datei vermutlich nicht upgedatet, dann müsste es aber eine epg.dat.dpkg-distgeben.

    Die musst Du umbenennen und epgd neustarten. Vorher natürlich ein Backup der alten machen.

    VDR User: 2127
    YaVDR-bionic , Case: HFX Classic, Mainboard: ASUS H97M-E, CPU: Intel Celeron CPU G1840T, GPU: GeForce GT 1030, DVB-S: Digital Devices Cine S2 V6
    YaVDR-bionic (24/7), Case: Akasa, Mainboard: NUC D34010WYB, DVB-S: SkyTV Ultimate VIII, Miscellaneous: epgd, pihole

    YaVDR-bionic (headless), System: HP 260 G2 DM, DVB-S: Sundtek SkyTV Ultimate IV

    YaVDR-focal (TEST), Mainboard: Gigabyte Aorus Pro B450, CPU: Ryzen 5 3400G, IPTV

  • Erstmal vielen Dank für die zahlreichen Rückmeldungen.

    Dann bin ich ja offenbar doch nicht der einzige mit dem Schicksal und wir werden das wohl gemeinsam für alle lösen können ...


    • Also bei mir ist das Feld _ENDTIME in der epg.dat vorhanden und zwar in der Tabelle timers, das ist also schon mal NICHT das Problem.
    • Der Versions-Mischmasch ist sicherlich gegeben, weil das Paket vdr-epg-daemon seit dem Update wirklich nicht mehr aus Frodos PPA kommt:

    Ich hatte aber gestern und vorgestern VOR dem Update noch Frodos Version (148) installiert und da ging es auch schon nicht mehr!

    (Ich krieg das leider nicht vernünftig eingerückt, sorry)


    • Im /var/log/syslog finde ich erfreuliche Meldungen:
      Dec 17 00:12:23 localhost epgd: 836 DVB pending, mergeepg done after 353.271 seconds
      Immerhin scheint epgd in Version 149 wieder einigermaßen sauber zu arbeiten.
    • aber immer noch die Timeouts (und zwar zeitlich vorher):
      Dec 17 00:11:30 localhost epgd: Warning: Ending notification thread, timeout reached!
    • Seit 1.12. wurden bei mir offenbar via tvm bzw. tvsp keine Bilder mehr heruntergeladen. Zumindest sind die jüngsten Dateien in /var/cache/epgd/tvm bzw. /var/cache/epgd/tvsp von diesem Datum.
    • Ich glaube, dass die beiden Plugins für TV-Spielfilm (tvsp) und TV-Movie (tvm) "verloren" gegangen sind.
      Jedenfalls kann ich keine entsprechenden *.so Dateien mehr finden.
      Auch finde ich im syslog schon seit Tagen keinen Download von epg-Daten mehr.

    Kennt eigentlich jemand die genaue Ursache, warum das Mergen länger als 5 Minuten dauert?

    Oder eine Möglichkeit das Timeout zu erhöhen?


    Ich denke, für den Großteil der User hier, ist ein fertiges Paket "von einem Wissenden" die beste Variante für epgd & co *zwinker*


    MyVDR: yaVDR-Ansible (Ubuntu 18) - softhddevice-openglosd (ffmpeg 2.8) - epgd/epg2vdr - skindesigner estuary4vdr (adaptiert) - 1920x1080@50 Hz | kodi 18 - inputstream + amazon vod
    Aerocube M40 | 300W | ASRock H61M-GE | Intel G530 | Asus ENGT520 | 2 x TT-budget S2-3200 | ASRock Smart Remote (CIR) | 4 GB RAM | 120 GB SSD | 3 TB HDD

    The post was edited 1 time, last by davie2000: Korrekturen/Ergänzungen ().

  • Ihr müsst den update auf epgd und epg2vdr machen, nur das Plugin und es geht nichts mehr...

    Wie meinst du das genau, bitte? Hast du noch/wieder EPG von tvm und/oder tvsp?

    MyVDR: yaVDR-Ansible (Ubuntu 18) - softhddevice-openglosd (ffmpeg 2.8) - epgd/epg2vdr - skindesigner estuary4vdr (adaptiert) - 1920x1080@50 Hz | kodi 18 - inputstream + amazon vod
    Aerocube M40 | 300W | ASRock H61M-GE | Intel G530 | Asus ENGT520 | 2 x TT-budget S2-3200 | ASRock Smart Remote (CIR) | 4 GB RAM | 120 GB SSD | 3 TB HDD

  • Also, ich habe auch die Frodo-Version gepinnt, eben wegen der tvsp- und tvm-Plugins :)

    Meine apt policy sieht so aus:

    Und bei mir gibt es die neuen Versionen eben noch nicht und es funktioniert auch.


    Liebe Vorweihnachts-Grüße aus Wien :)

    --
    vdr User #2022 - hdvdr2: Lenovo SFF M83, Intel(R) Core(TM) i5-4670S, 12 GB Ram, zram-swap/tmp, ubuntu-focal, softhddevice-vdpau
    ddbridge-6.x mit 2xDVB-S2 und (Flex) 2xDVB-C/T Tunern, nvidia-GF720 SFF passiv (nvidia-460.32), System SSD btrfs,

    snapper, 8TB HDD XFS/cow /srv/vdr, yavdr-ansible-2.4.6-patches, vdr-epg-daemon mit Frodo-plugins, Kernel 5.10.7-xfsscrub

    vdradmin-am, live+webstreaming, vdrmanager (Smartphones als FB), ffmpeg-4.3.1-libfdk_aac, vdr-plugin-hbbtv. Folding@home läuft auf CPU.

  • davie2000 ,

    ii vdr-epg-daemon 1.1.149+git20191215-1-71cd459-0yavdr0~bionic all Metapackage for epgd
    ii vdr-plugin-epg2vdr 3:1.1.98-8frodo0~bionic amd64 VDR EPG2VDR Plugin

    dann solltest du auch

    Code
    1. vdr-plugin-epg2vdr-1.1.104-0yavdr0~bionic

    installieren.Wird vdr-epg-daemon aus yavdr PPA genutzt,gibt es keine Plugins tvm/tvsp!


    Gruss

    Wolfgang

  • Danke, wmautner und wolfi.m, für eure Antworten!


    Heißt das jetzt konkrekt, um die neueste Version von epgd benutzen zu können, müsste ich auch noch vdr-plugin-epg2vdr-1.1.104-0yavdr0~bionic manuell installieren?


    Bzw. anders herum (präferiert): um wieder einen mit tvm&tvsp funktionierenden (allerdings nicht ganz aktuellen) epgd zu bekommen, muss ich die o.a. Pakete von Frodo pinnen und mit update & dist-upgrade "drüber" installieren?

    (Dann hoffe ich mal, dass Frodo in gewohnter Manier bald nachzieht)


    Stimmt das so (speziell zweiteres)?

    MyVDR: yaVDR-Ansible (Ubuntu 18) - softhddevice-openglosd (ffmpeg 2.8) - epgd/epg2vdr - skindesigner estuary4vdr (adaptiert) - 1920x1080@50 Hz | kodi 18 - inputstream + amazon vod
    Aerocube M40 | 300W | ASRock H61M-GE | Intel G530 | Asus ENGT520 | 2 x TT-budget S2-3200 | ASRock Smart Remote (CIR) | 4 GB RAM | 120 GB SSD | 3 TB HDD

  • Problem gelöst.

    Ich habe einfach vdr-epg-daemon-1.1.146* selber neu kompiliert und dabei natürlich tvm und tvsp mit einfliessen lassen.

    Danach war wieder alles ok.

    Intel NUC 10 NUC10i3FNH, Digital Devices Octopus NET V2 Max M4, 1000 GB Samsung 970 Evo M.2 2280 PCIe 3.0 x4 NVMe

  • Hmmm ... schön, dass es bei dir wieder funzt.

    Aber verstehen tu ich es immer noch nicht: Was hat sich denn nun geändert, dass Frodos 146er-Version nicht mehr funktioniert?


    Und wenn du schon selbst kompilierst, warum dann nicht gleich die neueste Version 149?

    Oder ist diese Version inkompatibel mit tvm/tvsp?


    Bist du so vorgegangen?

    Code
    1. sudo apt-get install build-essential devscripts
    2. sudo apt-get build-dep vdr-epg-daemon
    3. mkdir -p ~/src/epgd
    4. cd ~/src/epgd
    5. apt-get source vdr-epg-daemon
    6. cd vdr-epg-daemon*
    7. git clone https://github.com/3PO/epgd-plugin-tvm PLUGINS/tvm
    8. dch -l local "added plugin tvm"
    9. dpkg-buildpackage -b -us -uc
    10. sudo dpkg -i ../*.deb


    Falls ja, magst du mir bitte noch die Quelle für tvsp-Plugin verraten? Da sind dann die Schritte ab "git clone" zu wiederholen, oder?

    Dann probier ich das mal mit Version 149 selber zu bauen.


    Obwohl das nicht mein präferierter Weg ist, weil dann Paket manuell auf hold müssen usw.

    Lieber wäre mir das würde irgendwie "automatisch" über Ansible funktionieren (oder jemand stellt das wieder in einem PPA zur Verfügung *fg*)

    MyVDR: yaVDR-Ansible (Ubuntu 18) - softhddevice-openglosd (ffmpeg 2.8) - epgd/epg2vdr - skindesigner estuary4vdr (adaptiert) - 1920x1080@50 Hz | kodi 18 - inputstream + amazon vod
    Aerocube M40 | 300W | ASRock H61M-GE | Intel G530 | Asus ENGT520 | 2 x TT-budget S2-3200 | ASRock Smart Remote (CIR) | 4 GB RAM | 120 GB SSD | 3 TB HDD

  • Also, ich habe auch die Frodo-Version gepinnt, eben wegen der tvsp- und tvm-Plugins

    ...

    Ich habe jetzt auch die betroffenen PPAs gepinnt und dann mit sudo apt-get install vdr-epg-daemon=1.1.146-7frodo0~bionic ein Downgrade gemacht,

    auch für epghttpd.

    Mein apt policy ... Ergebnisse schauen jetzt exakt gleich aus wie deine.

    Trotzdem scheinen bei mir nach Reboot immer noch das tvm- und tvsp-Plugin komplett zu fehlen???

    Der Scraper bekommt immer nur ein epgd busy, trying again in 60 seconds ... und der Timeout kommt auch noch.

    Was mach ich falsch?


    Update:

    Und weiß zufällig jemand, was mir die Fehlermeldung sagen will:

    Dec 20 01:18:24 localhost kernel: [ 4022.735402] perf: interrupt took too long (3916 > 3915), lowering kernel.perf_event_max_sample_rate to 51000

    MyVDR: yaVDR-Ansible (Ubuntu 18) - softhddevice-openglosd (ffmpeg 2.8) - epgd/epg2vdr - skindesigner estuary4vdr (adaptiert) - 1920x1080@50 Hz | kodi 18 - inputstream + amazon vod
    Aerocube M40 | 300W | ASRock H61M-GE | Intel G530 | Asus ENGT520 | 2 x TT-budget S2-3200 | ASRock Smart Remote (CIR) | 4 GB RAM | 120 GB SSD | 3 TB HDD