epgd ( 0.3.2 ) scraper will nicht mehr

  • Hallo,
    hoffentlich kann mir jemand helfen.
    Ich habe epgd-Datenbank neu erstellt und den epgd laufen lassen.
    Die Config-Dateien habe ich nicht verändert.
    Nach dem füllen der events findet er nichts mehr zum scrapen für Filme und Serien.
    Im Log steht dies.


    Code
    1. Apr 7 13:22:14 bananapi epgd: Scraping new movies
    2. Apr 7 13:22:14 bananapi epgd: Statement 'select eventid, title, scrsp from events where category = 'Spielfilm' and scrsp is null and updflg in('A','T','C','P')' with (0) in parameters and (3) out bindings prepared
    3. Apr 7 13:22:14 bananapi epgd: 0 new movies to scrap in db
    4. Apr 7 13:22:14 bananapi epgd: 0 movies scraped in 0 s, downloaded 0.000 KB


    Kann mir bitte jemand einen Tipp geben ?
    Danke

  • Hi,
    sorry ich hätte natürlich sagen müssen: Der EPGD läuft auf einem eingenen Rechner, auf diesem läuft kein vdr.
    Ich hab mir die events -Tabelle mal näher angeschaut.
    Sämtliche Einträge haben updflg = I
    Daher kann die select abfrage von oben vom scraper nicht greifen.
    Weißt Du warum auf einmal dort nur I gesetzt wird ?
    Was bedeutet das I ?
    Danke

  • Ja gerne:


  • Hmm,
    weiß nicht ob wir uns gerade mißverstehen.
    Ich habe kein Problem damit mit einem vdr Daten vom epgd-server abzuholen,
    sondern das Aufbauen der Daten auf dem epdg server ist das Problem.
    Er füllt für tvm die events Tabelle aber danach fängt er nicht an zu diesen events
    den scraper-Inhalt zu suchen. d.h die movies tabelle belibt leer.
    Ich habs mal nur mit einem Sender versucht (reiner Filmsender).
    In der events tab sind die eintäge da, in der movies ist kein einziger Eintrag.
    Ich vermute es liegt daran, dass alle Einträge in der events tab mit updflg = I gespeichert wurden.
    Der scraper nimmt aber nur Einträge mit A,T,C,P.

    Code
    1. Statement 'select eventid, title, scrsp from events where category = 'Spielfilm' and scrsp is null and updflg in('A','T','C','P')'


    Ich weiß nur grad nicht wo ich weiter ansetzten soll.

  • Das ist ja auch richtig so, die I sind inaktiv und für die wird nicht gescraped weil sie eh für die vdr unsichtbar sind.


    Ich problem liegt woanders, müssen wir uns ansehen.


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • Wie ich das gerade auf dem BlackBerry hier verfolge fehlen dir die dvb events und daher stehen alle auf I - du bist gut beraten 3POs Hinweisen nachzugehen und zu prüfen ob der vdr auch epgd einlädt...


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • Hallo Christian,
    ja der epdg und der vdr können sich verbinden.
    epdg scrapt dann auch die recordings des vdrs.
    Es werden aber keine Updates zum vdr übertragen, wahlscheinlich wegen upflg = I
    Was ich nocht nicht verstehe: Was heißt "dir fehlen dvb events" ?
    Ich bin bisher immer so vorgegangen:
    epgd gebaut
    datenbank, user usw erstellt.
    epgd daten aufbauen lassen
    wenn fertig die vdrs mit epgd verbunden.
    Klappte immer alles wunderbar.


    Auch seltsam:
    Probier ich das Ganze mit Provider=epgdata funktioniert es.
    Er baut die events auf und scrapt danach die Filme.
    Was hat sich nur geändert bei mir?

  • Hallo zusammen,


    ich hab hier 2 VDRs laufen. Hab seit einiger Zeit keine Updates mehr gemacht.
    VDRs mit tvm gepatchten stable-yavdr epgd der bisher auch immer funktioniert hat (also nix http epgd).
    Gestern war dann kein EPG mehr da. Der scraper2vdr sammelt nichs mehr ein. Die tvm Daten werden geholt und entpackt.
    Hab heute dann auf dem 2. VDR ein
    epgd-dropall
    und neustart vom epgd gemacht.
    Danach auch auf dem 2. VDR kein EPG mehr da. An irgendwelchen Versionen kann es eigentlich nicht liegen, da bei mir nichts geändert wurde in den letzten Wochen (außer automatischer Sommerzeitumstellung ;-)


    Auch hier auf beiden VDRs updflg "I"


    Wenn komplette Datenbank gelöscht wird, werden die Aufnahmen eingelsen und sind in der Datenbank. Da wird auch alles korrekt angezeigt.
    TVM wird dann auch neu geholt und entpackt.



    VG
    Arno

  • Ich vermute, da stimmt an den 'Quelldaten' was nicht. Bei mir geht seit gestern auch nichts mehr in Verbindung mit tvm. Inzwischen auf mehreren Rechnern mit unterschiedlichen Versionsständen von epgd und epg2vdr (master und http) getestet. Hier wohl das gleiche Problem.


    Gruß,
    Tomas

  • Das mit den TVM-Daten ist eigentlich das einzige was Sinn macht, da ich Softwaretechnisch schon länger nichts mehr geändert hab.
    Aufnahmen etc. funzen ja 1A.
    Hat ja auch 2 VDRs gleichzeitig erwischt ohne das was geändert wurde.
    Da müsste der TVM-Patch wohl angepasst werden. Falls sich das Format geändert hat sollte eigentlich ein Blick in die TVM ZIPs reichen.

  • Eventuell reicht es das XSL anzupassen. So sehen Beginn und Dauer jetzt im ZIP aus.


    <Beginn>21.04.2016 00:30:00</Beginn>
    <Dauer>20 min</Dauer>
    <Ende>21.04.2016 00:50:00</Ende>


    Vielleicht hat sich da was im Format geändert. Wenn sich jemand mit XSL auskennt, kann er sich ja mal daran im tvmovie.xsl versuchen. Liegt in /etc/epgd.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • http://www.ewe-software.de/forum.html


    scheinen temporär nicht in Ordnung zu sein die Daten, muss man abwarten.


    Hab nichts bemerkt im Multimerge :)


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5




  • Hallo Christian,


    Mir ist es aufgefallen, dass alle Sender mit epgdate als Fallback nur noch epg bis 3 Tage im voraus haben.
    Die Sender mit epgdate als Hauptprovider sind komplett 14 Tage lang versorgt.


    Sollten nicht auch alle anderen Sender mehr als 3 Tage haben? Bei tvm waren die immer gefüllt.


    Markus

  • nein der Hauptprovider füllt Die Tage > DaysToUpdate, der Nebenprovider greift nur beim Mischen.


    Wir würdest du die Events miteinander abgleichen wollen wenn du nicht zwingend DVB events als Referenz hast - sicher geht das bei einigen wenigen Sendern, viele Senden aber auch nicht viele Tage über den DVB stream


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5