epgd Verarbeitung der Epg-Daten dauert viel zu lange

    Hallo,


    ich habe seit einigen Wochen, kann nicht genau sagen seit wann, das Problem, dass der Epgd ewig lange braucht um die externen EPG-Daten von TVMovie upzudaten. Der Epgd läuft bei mir auf einem BananaPi, die Datenbank liegt auf einer an meinem Router angeschlossenen Festplatte und ist über cifs gemountet.


    Da ich zuerst das Dateisystem auf der SD-Karte des BananaPi in Verdacht hatte, ich bin mir sicher die SD-Karte ist nicht mehr 100% in Ordnung, habe ich das System nun neu aufgesetzt und Epgd neu compiliert aber da gleiche Problem.


    Ich habe den Epgd gestern Abend gestartet und er werkelt jetzt immer noch an den Daten von TVMovie. Es hängt immer bei Checking tvm id XXX teilweise habe ich schon Werte über 10 Minuten gehabt.



    Ich habe den Epgd mal mit einem höheren Loglevel gestartet, das hat aber auch keine weiteren Logausgaben in diesem Bereich gebracht. Wenn ich die Datenbank, in seltenen Fällen, mal komplett neu aufbauen lassen musste war das über Nacht, komplett mit runterladen aller Bilder usw., erledigt,


    Kann mir da jemand helfen und sagen wo ich jetzt ansetzen kann ?


    Gruss


    Stefan

    Server: VDR 2.4.1 mit Ubuntu 19.04 x64 mit vaapidevice, Kernel 5.2.9, ASRock J4105M, 2 x 4096 MB DDR4-RAM, 2 x DD Cine S2, Lirc-Serial mit One4All URC 7960
    Client: VDR 2.4.1 mit Ubuntu 19.04 x64 mit softhddevice-OpenGL oder mit KODI+vnsiserver, Kernel 5.2.5, ASRock H81M, Intel i3-4150, NVIDIA GPU GeForce GT 610 (GF119), 2 x 2048 MB DDR2-RAM, 1 x Technotrend S2-1600, SilverStone Milo ML03, ASRock Smart Remote CIR mit Logitech Harmony 650, Beamer 120'' FullHD-3D

    Ich täte mal den Datenverkehr über cifs ansehen oder auch nur das Log auf dem Server, während/nachdem eine Reihe von Schreib- und Lesevorgängen vom Client aus gestartet werden, und natürlich die Übertragungsrate.

    Ist da vielleicht noch WLAN im Spiel?

    Nein WLAN ist nicht im Spiel. Der BananaPi ist per GBit-Lan direkt mit dem Router verbunden.

    Das spuckt iperf aus, während der Epgd weiterhin rödelt

    Das sieht für die kleine Banane doch OK aus.


    Die CPU-Auslastung ist auch OK, bei der Logmeldung


    Checking tvm id xxx liegt die bei 1-5 %


    lediglich bei


    Extracting 'tvdaten-premium-XXX.cftv'


    und


    Creating xml of XXX


    geht sie mit Prozessen wie mysqld und cifs mal kurzzeitig in die Höhe.


    So sieht das Log jetzt aus, in 3 Stunden nicht wirklich viel geschafft

    Ich kann nicht nachvollziehen, wo es da hängt. Hardwareseitig hat sich bei mir seit längerem nix verändert und so immer funktioniert.


    Kürzlich wurde doch irgendetwas mit einer Lib am Epgd angepasst, kann das damit zusammenhängen ? Das hatte doch aber nur mit dem scrapen von Serien und Filminfos zu tun oder ?

    Server: VDR 2.4.1 mit Ubuntu 19.04 x64 mit vaapidevice, Kernel 5.2.9, ASRock J4105M, 2 x 4096 MB DDR4-RAM, 2 x DD Cine S2, Lirc-Serial mit One4All URC 7960
    Client: VDR 2.4.1 mit Ubuntu 19.04 x64 mit softhddevice-OpenGL oder mit KODI+vnsiserver, Kernel 5.2.5, ASRock H81M, Intel i3-4150, NVIDIA GPU GeForce GT 610 (GF119), 2 x 2048 MB DDR2-RAM, 1 x Technotrend S2-1600, SilverStone Milo ML03, ASRock Smart Remote CIR mit Logitech Harmony 650, Beamer 120'' FullHD-3D

    Das "Checking tvm id ...." ist der größte Zeitdieb.

    Bitte mal mit

    LogLevel = 9

    in der epgd.conf probieren, ob er da meckert ...

    Hi,


    mit höheren Logleveln war da leider auch nichts zu sehen. Ich habe mir daher ein paar Logausgaben ins tvm-plugin eingebaut und gesehen, dass beim entpacken hier in der tvm.c

    die Zeit verbraucht wird. Ich habe dann das Verzeichnis /var/cache/epgd/tvm gelöscht und nun läufts wieder wie gewohnt,


    Vielleicht hilfts mal jemandem mit ähnlichem Problem, was genau zu dem Problem führte kann ich allerdings nicht nachvollziehen. Das Verzeichnis hatte über 3 GB und fast 400.000 Dateien.


    Wenn ich versucht habe eine Datei von der Konsole aus zu entpacken kam sowas. Vielleicht funktioniert das auch so mit dem Password auf der Konsole nicht, bin mir da aber nicht sicher.

    Code
    unzip -o -qq -P ▒▒▒▒▒▒▒ -d /var/cache/epgd/tvm /var/cache/epgd/tvm/tvbilder-premium-273.cftv

error:  invalid compressed data to inflate /var/cache/epgd/tvm/d757b3b0-bfbe-11e7-aee1-9579f3acd8b2-1.jpg


    Gruss


    Stefan

    Server: VDR 2.4.1 mit Ubuntu 19.04 x64 mit vaapidevice, Kernel 5.2.9, ASRock J4105M, 2 x 4096 MB DDR4-RAM, 2 x DD Cine S2, Lirc-Serial mit One4All URC 7960
    Client: VDR 2.4.1 mit Ubuntu 19.04 x64 mit softhddevice-OpenGL oder mit KODI+vnsiserver, Kernel 5.2.5, ASRock H81M, Intel i3-4150, NVIDIA GPU GeForce GT 610 (GF119), 2 x 2048 MB DDR2-RAM, 1 x Technotrend S2-1600, SilverStone Milo ML03, ASRock Smart Remote CIR mit Logitech Harmony 650, Beamer 120'' FullHD-3D

    Die Cache-Dateien sowie die Datenbank liegen auf einer HDD die ich an meinem Router Linksys WRT1900ACS angeschlossen habe. Das Dateisystem ist dort ext4, auf der SD-Karte und dem USB-Stick am BananaPi auch.

    Server: VDR 2.4.1 mit Ubuntu 19.04 x64 mit vaapidevice, Kernel 5.2.9, ASRock J4105M, 2 x 4096 MB DDR4-RAM, 2 x DD Cine S2, Lirc-Serial mit One4All URC 7960
    Client: VDR 2.4.1 mit Ubuntu 19.04 x64 mit softhddevice-OpenGL oder mit KODI+vnsiserver, Kernel 5.2.5, ASRock H81M, Intel i3-4150, NVIDIA GPU GeForce GT 610 (GF119), 2 x 2048 MB DDR2-RAM, 1 x Technotrend S2-1600, SilverStone Milo ML03, ASRock Smart Remote CIR mit Logitech Harmony 650, Beamer 120'' FullHD-3D

    Das hab ich schonmal bemängelt, dass sich unendlich viele Bilder im Cache-Verzeichniss ansammeln (die werden ja in der DB gespeichert). Hab inzwischen einen cronjob, der die regelmäßig löscht.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

    Ja stimmt, den hatte ich auch schon länger, aber irgendwann wieder deaktiviert ... und meine Dateien im /var/cache/epgd/[tvm|tvsp]-Verzeichnis enden genau mit 6. September (die ältesten).

    Auch die Anzahl der Dateien und der Speicherplatz

    900M tvm

    1,2G tvsp

    sind nicht mehr so oag.

    Nach dem Löschen von des Caches kommt jetzt sowas, ist das normal, brauch ich das nicht beachten ?


    und sowas

    die Certifactes hatte ich schonmal neu installiert


    apt-get install --reinstall ca-certificates


    hat aber nichts gebracht. Wenn ich die angemeckerten URL´s in den Browser tippe, werden die Bilder ganz normal angezeigt. Hat da noch einer einen Tip ?

    Server: VDR 2.4.1 mit Ubuntu 19.04 x64 mit vaapidevice, Kernel 5.2.9, ASRock J4105M, 2 x 4096 MB DDR4-RAM, 2 x DD Cine S2, Lirc-Serial mit One4All URC 7960
    Client: VDR 2.4.1 mit Ubuntu 19.04 x64 mit softhddevice-OpenGL oder mit KODI+vnsiserver, Kernel 5.2.5, ASRock H81M, Intel i3-4150, NVIDIA GPU GeForce GT 610 (GF119), 2 x 2048 MB DDR2-RAM, 1 x Technotrend S2-1600, SilverStone Milo ML03, ASRock Smart Remote CIR mit Logitech Harmony 650, Beamer 120'' FullHD-3D

    Hi,


    Zitat von Hollywood

    Hat da noch einer einen Tip ?

    hast du epgd gegen "libcurl4-openssl-dev" gebaut? - 301 Fehler wie

    epgd: Crash nach "Ignoring unexpected season line"


    Gruss

    Wolfgang

    TT S2-6400 - saa716x kompilieren unter 20.04(Focal)

    Danke Wolfgang, das war der richtige Tip ! :) Ich dachte nachdem der Fix im git gelandet war brauchte ich nichts anderes zu machen als ein git pull. :/


    Jetzt brauch ich nurnoch eine Lösung für die angemeckerten fehlenden JPG-Dateien in /var/cache/epgd/tvm. Die Logmeldungen kommen nun 100-fach beim Start von Epgd.


    Gruss


    Stefan

    Server: VDR 2.4.1 mit Ubuntu 19.04 x64 mit vaapidevice, Kernel 5.2.9, ASRock J4105M, 2 x 4096 MB DDR4-RAM, 2 x DD Cine S2, Lirc-Serial mit One4All URC 7960
    Client: VDR 2.4.1 mit Ubuntu 19.04 x64 mit softhddevice-OpenGL oder mit KODI+vnsiserver, Kernel 5.2.5, ASRock H81M, Intel i3-4150, NVIDIA GPU GeForce GT 610 (GF119), 2 x 2048 MB DDR2-RAM, 1 x Technotrend S2-1600, SilverStone Milo ML03, ASRock Smart Remote CIR mit Logitech Harmony 650, Beamer 120'' FullHD-3D

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden