[Announce] epgd 0.2.0, scraper2vdr 0.1.0, Happy Easter Eggs

  • hatte ich mir schon so gedacht - ich selber nutze es nicht ;)


    Es gibt noch einen anderen Grund und zwar das dann unkontrolliert eventids reinlaufen und gfs diese sich mit unseren überschneiden und dann unter Umständen lustige Bilder angezeigt werden.


    Ein anderer Weg wäre das wir demnächst unsere eventids erst bei 100.000 loslaufen lassen, DVB eventids sind immer <= 5 stellig, dann kollidiert da nichts mehr

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5

  • Oder so, aber verzichten auf blacklist = 0 würd ich ungern.


    Was wäre dann eigentlich mit Radiosendern, wenn blacklist = 1? Oder werden die nicht beachtet vom Plugin?

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • Ich nutze blacklist = 0, wäre also dagegen. Sonst müsste ich ja sämtliche Kanäle da rein schreiben, um überhaupt EPG zu bekommen. Gibt genug Kanäle, wo man weder Serieninformationen, noch scraperinfos braucht.


    Siehste, ich nutze blacklist=1 und habe in meiner channels.conf genau nur die Sender drin, welche ich auch gucke bzw. zum Aufnehmen brauche. Neben den Sky Bundesliga & Sport Kanälen ist es eine Handvoll, die ich nur händisch eintragen muss. Und das sind auch nur die, welche kein externes EPG haben. Mit Serieninfos & Scraperinfos hat das nichts zu tun und ich habe gerne die Kontrolle darüber, als "alles mögliche" an Daten in den VDR wandern zu lassen.


    So unterschiedlich ist halt das Nutzerverhalten :D


    Markus

  • Hab ja auch nichts dagegen, aber ich bin dagegen, dass die Option rausfällt. ;) Ich hab in meiner channels.conf auch Sender drin, die ich nicht regelmässig schaue, aber wo ich gern mal zur Belustigung reinschaue. :D Und diese Sender muss ich nicht erst durch die DB schleusen für EPG.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • Hallo,


    danke für die Information.


    Der epgd ist ja erstmal unabhängig vom vdr. Wo/wie holt er sich die EPG-Informationen vom VDR? Liefert das VDR-Plugin ihm die?
    Und noch eine Frage:
    Ich habe einen Autotimer erstellt, der die Aufnahmen nach
    Tipp's~%Category%


    speichern soll, wobei %Category% durch die Kategorie ersetzt werden soll.
    Bei

    Quote

    Shrek the Third
    Genre: Animationsfilm
    Kategorie: Spielfilm
    Land: USA
    Jahr: 2007


    landet die Aufnahme aber in
    Tipp's~%Category%
    statt in
    Tipp's~Spielfilm


    Die Daten oben stammen aus vdr-live. Somit scheinen sie doch auch im epg zu sein, oder? Woran kann es sonst liegen?



    Gruß,
    Hendrik

  • Seit kurzem wird im live epg Castle mit falschen Infos gescraped: statt der Serie mit Stana Katic weren die Infos zu einer (kulturell bestimmt schrecklich wertvollen) Serie über englische Burgen angezeigt... Gibt s für live epg eine ähnliche Möglicheit, wie die scrapinfo Datei für Aufnahmen?

    gentoo (vdr-2.6.0 manuell installierg), Asus Sabertooth FX990, AMD FX8150, 16GB 1833, CineS2(kernel 5.15.x inkl. standard dvb Treiber), USB RC(inputevxd), Asus gt1030, vertex4 ssd (system), mdraid5 9TB



  • wer sollte sich da deiner Meinung nach drum kümmern, der vdr, epgsearch oder aber epg2vdr?


    Wenn epgsearch - ich weiß nciht ob man das damit machen kann - wie sieht dann die usercats aus?


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5

  • Hallo,
    ich habe ein paar Fragen und Wünsch bzgl scraper2vdr:


    1) ich habe da einen Wunsch bzgl. des services interface.
    Mein Problem ist, das es ziemlich aufwendig ist an das cRecording object heranzukommen (für den Netzwerkclient).
    (Hauptgrund ist Threadsicherheit mit dem Hauptvdr).
    Daher fände ich es toll, wenn ich mir nur einmal die movie bzw. seriesid holen müsste
    und auch Poster und PosterBanner nur über die Ids holen kann und nicht über cRecording oder cEvent object.
    Wäre toll wenn das mit eingebaut werden könnte.....


    2) Sehe das richtig das die Infos zu allen gescrapten Filmen und Serien von scraper2vdr im Speicher gehalten werden (ohne Bilder), oder werden die bei Bedarf aus der Datenbank geholt?
    Dann ist der Zugriff ja relativ schnell...


    3) Ich sehe größere Probleme bzgl. thread Sicherheit. Der scrapmanager verwendet vorallem STL maps um die Daten zu halten. Diese sind bzgl. des Lesen thread sicher, solange nicht gleichzeitig geschrieben wird.
    Es könnte also passieren, das während eines Updatevorgangs, die maps verändert werden und die daraufzugreifenden Plugins crashen. Das sollte durch einen locking Mechanismus oder atomische Zähler verhindert werden.


    Marten

    vdr experimental, Femon, vdr live, acpi-wakeup, vompserver, undelete, epgsearch, vdr-burn, Raspberry Pi und Vompserver Windows Client (build from git)

  • Moin,



    Bei Events würde das wohl gehen, aber es gibt leider keine "recording_id". Ich brauche zur Identifizierung einige Werte aus dem recordings Object, deshalb wäre das nicht so leicht umzubauen. Ich greife aber nur lesend auf die übergebenen Objekte zu, ggf. könntest du bzgl. der Threadsicherheit ein kopiertes Objekt übergeben?



    2) Sehe das richtig das die Infos zu allen gescrapten Filmen und Serien von scraper2vdr im Speicher gehalten werden (ohne Bilder), oder werden die bei Bedarf aus der Datenbank geholt?
    Dann ist der Zugriff ja relativ schnell...


    Nein, alle Infos werden beim Start des Plugins in den Speicher geladen.



    3) Ich sehe größere Probleme bzgl. thread Sicherheit. Der scrapmanager verwendet vorallem STL maps um die Daten zu halten. Diese sind bzgl. des Lesen thread sicher, solange nicht gleichzeitig geschrieben wird.
    Es könnte also passieren, das während eines Updatevorgangs, die maps verändert werden und die daraufzugreifenden Plugins crashen. Das sollte durch einen locking Mechanismus oder atomische Zähler verhindert werden.


    Ja das könnte man noch einbauen.


    Ciao Louis

  • Quote

    Bei Events würde das wohl gehen, aber es gibt leider keine "recording_id". Ich brauche zur Identifizierung einige Werte aus dem recordings Object, deshalb wäre das nicht so leicht umzubauen. Ich greife aber nur lesend auf die übergebenen Objekte zu, ggf. könntest du bzgl. der Threadsicherheit ein kopiertes Objekt übergeben?


    Naja, ich habe kein Problem die Movie ID und Serien ID einmalig zu holen. dass kann ich ja ggf. beim lesen der Recordingsliste machen, zu dem Zeitpunkt wartet der User eh, weil ich die cRecordingsobjekte holen muß. Wenn ich den Code in scrapmanger richtig verstehe sollten die seriesid oder movieid doch zur identifizierung reichen oder?
    Ich möchte nur nicht beim scrollen durch das Menü immer wieder die Recordingsliste neu einlesen, dass passiert aus Thread Sicherheitsgründen nämlich bei vomp. (Zwischenspeichern geht aus Speicherplatzgründen nicht).
    Wir würde es auch reichen wenn bei getMovie und getseries auch die thumbs und andere fehlende Bilder dabei wären, ich kann mir nicht vorstellen, das es groß Performance unterschiede zu getposterthumbs gibt.......


    Marten

    vdr experimental, Femon, vdr live, acpi-wakeup, vompserver, undelete, epgsearch, vdr-burn, Raspberry Pi und Vompserver Windows Client (build from git)

  • Hi,


    Naja, ich habe kein Problem die Movie ID und Serien ID einmalig zu holen. dass kann ich ja ggf. beim lesen der Recordingsliste machen, zu dem Zeitpunkt wartet der User eh, weil ich die cRecordingsobjekte holen muß. Wenn ich den Code in scrapmanger richtig verstehe sollten die seriesid oder movieid doch zur identifizierung reichen oder?


    Dann kannst du dir auch direkt die kompletten cSeries bzw. cMovie Objekte über die entsprechende Schnittstelle holen und im Speicher halten, dann kannst du auf diese später beliebig zu greifen.


    Ich möchte nur nicht beim scrollen durch das Menü immer wieder die Recordingsliste neu einlesen, dass passiert aus Thread Sicherheitsgründen nämlich bei vomp. (Zwischenspeichern geht aus Speicherplatzgründen nicht).
    Wir würde es auch reichen wenn bei getMovie und getseries auch die thumbs und andere fehlende Bilder dabei wären, ich kann mir nicht vorstellen, das es groß Performance unterschiede zu getposterthumbs gibt.......


    In den cSeries bzw. cMovie Objekten sind alle Bilder enthalten, die zu der jeweiligen Serie bzw. zum jeweiligen Film vorliegen. Das einzige was fehlt sind die verkleinerten Poster zur Darstellung in den Listen. Du kannst aber alternativ auch das Poster kleiner darstellen. Ist zwar Performancetechnisch nicht so dolle, hat aber den gleichen Inhalt. Ich könnte auch das Thumb mit in das cMovie / cSeries Objekt mit reinnehmen, das würde auch nicht schaden...bis ich das mache kannst du ja den beschriebenen Workaround benutzen ;)


    Ciao Louis

  • Quote

    Das einzige was fehlt sind die verkleinerten Poster zur Darstellung in den Listen. Du kannst aber alternativ auch das Poster kleiner darstellen. Ist zwar Performancetechnisch nicht so dolle, hat aber den gleichen Inhalt. Ich könnte auch das Thumb mit in das cMovie / cSeries Objekt mit reinnehmen, das würde auch nicht schaden...bis ich das mache kannst du ja den beschriebenen Workaround benutzen


    Kann ich vielleicht den Dateinamen von dem Poster nehmen und durch Stringoperationen das Verzeichnis extrahieren und poster_thumb.jpg anfügen?
    Ist nicht besonders schön sollte aber doch gehen als temporärer Workaround, oder???


    Marten

    vdr experimental, Femon, vdr live, acpi-wakeup, vompserver, undelete, epgsearch, vdr-burn, Raspberry Pi und Vompserver Windows Client (build from git)

  • Moin,

    Kann ich vielleicht den Dateinamen von dem Poster nehmen und durch Stringoperationen das Verzeichnis extrahieren und poster_thumb.jpg anfügen?
    Ist nicht besonders schön sollte aber doch gehen als temporärer Workaround, oder???


    Ja das geht...das Thumbnail für das Poster heisst immer "poster_thumb.jpg" und liegt im gleichen Verzeichnis wie alle anderen Bilder für eine Serie bzw. einen Film. Ausserdem gibt es noch Thumbnails zu den Season Postern, da heisst das Thumbnail für die Season x "season_x_thumb.jpg".


    Ciao Louis

  • Quote

    Das ist prinzipiell richtig - es finden aber laufend Aktualisierungen auf dem Aufgenommenen Kanal statt und das scheint der vdr nicht zu mögen, ich meine der VDR setzt selber den EPG scan während laufender Aufnahmen aus. - Wir versuchen da mal was um das in den Griff zu kriegen, sind aber noch am diskutieren wie wir da rangehen und müssen dann auch testen ob der vdr das so verträgt. Genaugenommen ist es ja kein Fehlverhalten des epg2vdr, das epg stimmt ja prinzipiell - Eher die Reaktion des vdr auf die laufenden Änderungen ist das Problem

    Wir konnten das Problem mittlerweile durch einige Test-Aufzeichnungen etwas einkreisen. Die VPS-Aufnahmen laufen problemlos, wenn der EPG-Handler (in den Plugin-Einstellungen von epg2vdr) deaktiviert ist. Sobald man den Handler wieder aktiviert, bricht die Aufnahme bei mir umgehend ab. Im Log steht dann lediglich:



    Code
    1. Jun 12 22:30:34 macmini vdr: epg2vdr: Change handler state to 'active'Jun 12 22:30:35 macmini vdr: [27052] recording thread ended (pid=26176, tid=27052)Jun 12 22:30:35 macmini vdr: [26176] timer 4 (2 2200-2335 VPS 'ZDF WM live') stop


    [size=10]Gruß maz

    Meine VDRs:
    >>>Mac mini 2010 mit 2x Sundtek SkyTV Ultimate III, Logitech Harmony 300i, yavdr-0.5a mit softhddevice<<< >>>ZOTAC D2550 ITX-WIFI Supreme mit DD Cine S2, Gehäuse OrigenAE M10, Logitech Harmony 300i, yavdr-0.5a mit softhddevice<<< >>>Raspberry Pi
    2 mit Sundtek SkyTV Ultimate IV, raspbian, rpihddevice-Plugin, Logitech Harmony 200<<<

  • ich steh' gerade etwas im wald:
    bei mir wird das epg (tvm) nicht mehr upgedatet. von einem auf den anderen tag war das epg weg (die db leer). (ich hab' nix gemacht!)
    die db habe ich daraufhin mal gelöscht (epg-tool -del-db && epg-tool -new-db) und neuangelegt. keine änderung.

    im epg des vdr finden sich nur daten für einige kanäle (tagesschau24), für die nicht tvm als quelle in epgd.conf angegeben ist. für alle anderen kanäle (ard, zdf, usw.) ist das epg leer. die dvb daten werden auch nicht angezeigt.

    yavdr 0.5, AMD Athlon(tm) II X2 240e, MSI 770-C45, 4GB, Cine S2, Terratec Cinergy S2 PCI HD, TechniSat SkyStar2 DVB-S, TechniSat AirStar2 DVB-T

  • channelmap.conf, doch irgendwas aktualisiert, wird das loader Plugin beim Start geladen?


    epgd-tool ist übrigens dafür nicht gemacht, dann musst du auch wieder von scratch scrapen: dafür gibts epgd-dropall.


    Was sagt epgd-showmerge?


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5

  • channelmap.conf, doch irgendwas aktualisiert, wird das loader Plugin beim Start geladen?

    wo steht das mit dem loader?
    an der channelmap.conf habe ich eigentlich nix geändert. die daten kommen seit dem 5. juni nicht mehr. war mir nur nicht aufgefallen.

    epgd-tool ist übrigens dafür nicht gemacht, dann musst du auch wieder von scratch scrapen: dafür gibts epgd-dropall.

    ok. aber die db ist jetzt neu.

    Was sagt epgd-showmerge?

    yavdr 0.5, AMD Athlon(tm) II X2 240e, MSI 770-C45, 4GB, Cine S2, Terratec Cinergy S2 PCI HD, TechniSat SkyStar2 DVB-S, TechniSat AirStar2 DVB-T

  • hast du beim Start des epgd sowas hier im log?

    Code
    1. Oct 23 12:46:25 homeserver epgd: Loading plugin: /usr/local/lib/epgd/plugins/libepgd-epgdata.so
    2. Oct 23 12:46:25 homeserver epgd: Loading plugin: /usr/local/lib/epgd/plugins/libepgd-tvm.so
    3. Oct 23 12:46:25 homeserver epgd: Read 26 option from /etc/epgd/epgd.conf
    4. Oct 23 12:46:25 homeserver epgd: Info: Stylesheet '/etc/epgd/epgdata-utf-8.xsl' loaded
    5. Oct 23 12:46:25 homeserver epgd: Info: Stylesheet '/etc/epgd/tvmovie-utf-8.xsl' loaded



    und danach auch sowas:

    Code
    1. Oct 23 12:46:33 homeserver epgd: Loading '/etc/epgd/channelmap.conf'
    2. Oct 23 12:46:33 homeserver epgd: 162 channel mappings read.


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5

  • danke.
    da hatte sich eine ungepatchte version eingeschlichen. :(
    bei einem der letzten updates muss ich epgd übersehen haben. jetzt geht's wieder.

    yavdr 0.5, AMD Athlon(tm) II X2 240e, MSI 770-C45, 4GB, Cine S2, Terratec Cinergy S2 PCI HD, TechniSat SkyStar2 DVB-S, TechniSat AirStar2 DVB-T

  • So, so. Spanien spielt um den Gruppensieg. Ich glaube, da stimmt schon wieder was nicht mit dem EPG. :wow (SCNR)

    yavdr 0.5, AMD Athlon(tm) II X2 240e, MSI 770-C45, 4GB, Cine S2, Terratec Cinergy S2 PCI HD, TechniSat SkyStar2 DVB-S, TechniSat AirStar2 DVB-T