[Announce] epgd 0.2.0, scraper2vdr 0.1.0, Happy Easter Eggs

  • Hi,


    habe mir hier jetzt alle 44 Seiten am Stück durchgelesen und finde das generell eine interessante Idee... meine Frage wäre aber, hat das schon jemand auf einem "Internet-Server" getestet? Ich habe zuhause nichts dauerhaft laufen und will das nicht mit auf den VDR hauen. Außerdem könnte ich dann gleich drei VDR-Systeme mit versorgen. Zugriff natürlich nur mit VPN, werde den MySQL-Port nicht öffnen. (Wobei eine Rest-API o.ä. in epgd schon was tolles wäre... wenn mehrere Anwendungen direkt über die Datenbank kommunizieren da kriege ich als Webanwendungsentwickler schon etwas Bauchschmerzen ;) )


    Wie wird sich das auf die Performance auswirken? Da hier viele schon von Gigabit-LAN usw schreiben... Entsteht da wirklich so viel und so häufig Traffic? Wenn sich der VDR direkt die "aufbereiteten Daten" laden kann sollte das doch eig. weniger sein als die ganzen Rohdaten quer aus dem Internet zu ziehen oder?

    VDR: AMD A4-3400, 4096 MB RAM, Technisat SkyStar HD2, Technisat Skystar USB HD
    openSUSE 13.1, VDR 2.0.4, vdr-xineliboutput

  • louis :


    Habe gerade epg2vdr und scraper2vdr gupfated, und dabei wieder epgdata und das scraper2vdr Verzeichnis gelöscht. Nach dem ersten vdr Neustart hatte ich wiede genau die von mir beschriebenen Phänomene. Habe dann den vdr gestoppt und gestartet; und - tatata - alles war wieder gut. Verstehe mich nicht falsch: jetzt, wo ich das weiss, ist das ok. Aber vieleicht interessiert es Dich ja. Hier mal drei Logschnipsel (1. Vdrstart nach sleep; 2. Erster Vdrstart nach Löschen von epgdata und scraper-dir; 3. "Mach alles wieder gut"-Vdrrestart):


    Sieht also so aus, als ob scraper2vdr bei einem Start nach dem Löschen von epgdata und scraperdir nur unvollständig die Aufnahmen scrapt. Habe heute leider keine Zeit folgendes zu testen: epgdata und scraperdir löschen, und warten, ob und wann er den scraper-Lauf macht, den der Restart erzwingt. Vieleicht könnte das ja mal jemand, der hier mit liest.


    Louis: Danke für Deine großartigen bunten Plugins, Deinen Support und Deine Geduld!


    Gruß, Ingo


    EDIT: Mist - falsches Forum. Könnte ein Moderator das bitte in den epgd-Thread vrschieben? Sorry & Danke.

    gentoo (vdr-2.6.0 manuell installierg), Asus Sabertooth FX990, AMD FX8150, 16GB 1833, CineS2(kernel 5.15.x inkl. standard dvb Treiber), USB RC(inputevxd), Asus gt1030, vertex4 ssd (system), mdraid5 9TB

  • ich denke das ist nicht wirklich parktikabel wenn es um was anderes als Textbasierte Felder und Informationen geht - spätestems mit Bildercontent wird das merkwürdig, genauso wie der EPG Handler des master vdr der ja sehr schnell seine Daten loswerden muss


    Denke das ist ne blöde Idee...


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5

  • Ab und zu startet der epg2vdr plugin mit latin1 woran liegt das? Richtig wäre eigentlich utf8


    Code
    1. May 17 17:53:47 datenserver epgd: Set locale to 'de_DE.UTF-8'
    2. May 17 17:53:47 datenserver epgd: detected UTF-8
    3. May 17 17:53:47 datenserver epgd: Loading uuid from '/etc/epgd/uuid' succeeded $
    4. May 17 17:53:47 datenserver epgd: Loading plugin: /usr/local/lib/epgd/plugins/l$
    5. May 17 17:53:47 datenserver epgd: Loading plugin: /usr/local/lib/epgd/plugins/l$
    6. May 17 17:53:47 datenserver epgd: Read 28 option from /etc/epgd/epgd.conf
    7. May 17 17:53:47 datenserver epgd: Info: Stylesheet '/etc/epgd/tvmovie-utf-8.xsl$
    8. May 17 17:53:47 datenserver epgd: Info: Stylesheet '/etc/epgd/epgdata-utf-8.xsl$
    9. May 17 17:53:48 datenserver epgd: SQL client character now 'utf8'
    10. May 17 17:53:48 datenserver epgd: State now 'init'



    Code
    1. May 17 18:00:20 [vdr] epg2vdr: Set locale to 'de_DE.UTF-8'
    2. May 17 18:00:20 [vdr] epg2vdr: SQL client character now 'latin1'
    3. May 17 18:00:23 [vdr] epg2vdr: Info: Last update was at '14.05.17 17:26:51'
    4. May 17 18:00:23 [vdr] epg2vdr: Start reading external ids from db
    5. May 17 18:00:23 [vdr] epg2vdr: Finished reading external id's from db, got 245 $

    VDR 3: ASUS AT3IONT-I Deluxe , Cine S2, Atric , Harmony 515 (schon wieder im Umbau)
    VDR 4: AMD Kabini 5310, Asrock AM1H-ITX, Gen2Vdr V6, Cine S2, Atric , Harmony 515 , Streacom ST-F7CB EVO

    The post was edited 2 times, last by rookie1 ().

  • wie startest du den vdr, yavdr oder was nutzt du auf dem Gerät?


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5

  • Ich gehe doch mal stark davon aus, dass Jemand der Gen2vdr in seiner Signatur stehen hat, ganz bestimmt nicht das ya-Zeugs verwendet, ;)


    Na ja, dann hättest du auch sicher gleich die Frage beantworten können, wie denn der epgd nun gestartet wird, oder doch nicht?


    Gerald


    HP Proliant MicroServer Gen8, Xeon E3-1230, 12 GB RAM, 3xWD red 2TB im RAID 5, 2xSundtek MediaTV Home DVB-C/T, L4M TWIN-C/T, Ubuntu Server 14.04.1, Plex Media Server
    Samsung UE55H6470

  • Du Louis, ich muss da mal fragen wie ich am besten hier vorgehe:


    und zwar hatte ich ja aufgrund eines fehlerhaften devel Standes des epgd gestern einen totalen Datengau der epg2vdr- und auch der Scrapertabellen - jetzt hab ich mir gedacht: bist ja ein Fuchs und dropst nicht die DB sondern löscht alle Tabellen bis auf die recordingstabelle, weil das ist ja die Einzige die ich nicht einfach wieder herstellen kann.


    Gesagt getan, alles gut aber er scheint den der recordings Tabelle korrespondierenden Kontent nicht wieder neu runterzuladen. Kann ich das irgendwie austricksen?


    Ansonsten hätte ich morgen eine tagfüllende Aufgabe für jede Aufnahme der letzten 4-6 Wochen (so lange scrapt der scraper glaub ich hier schon) für jede Folge (nicht nur für die ganze Serie, vorher wars ja auch richtig) die entsprechende ID zu suchen und files anzulegen. Geht mir insbesondere nicht um die historischen Altaufnahmen sondern die der letzten Wochen, für die ganz Alten hab ich ja damals schon scrap Files angelegt..


    Hilfe...!!!


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5

  • Gesagt getan, alles gut aber er scheint den der recordings Tabelle korrespondierenden Kontent nicht wieder neu runterzuladen. Kann ich das irgendwie austricksen?


    Musst Du eventuell die scraperids in der recordingstabelle noch nullen?

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB


  • Na ja, dann hättest du auch sicher gleich die Frage beantworten können, wie denn der epgd nun gestartet wird, oder doch nicht?


    Gerald


    hatte er nicht nach epg2vdr gefragt?`- daher war ich am vdr hängengeblieben...


    [Edit] grad noch mal geprüft: ich hab auf 90% aller Aufnahmen eine movie_id oder eine series_id, die Verknüpfung ist also noch sauber, bei den anderen passt das schon das die keine haben [/Edit]


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5

    The post was edited 1 time, last by CKone ().

  • Da ich leider kein Hellseher bin und nicht weiß, was, wie und womit installiert wurde, kann ich das leider nicht.


    Ich wusste nicht, das Gentoo hellseherische Fähigkeiten erfordert, sorry.


    Gerald


    HP Proliant MicroServer Gen8, Xeon E3-1230, 12 GB RAM, 3xWD red 2TB im RAID 5, 2xSundtek MediaTV Home DVB-C/T, L4M TWIN-C/T, Ubuntu Server 14.04.1, Plex Media Server
    Samsung UE55H6470

  • hatte er nicht nach epg2vdr gefragt?`- daher war ich am vdr hängengeblieben...


    Ne, du hattest wohl recht, ich war blind, geht um den VDR, aber dazu muss man ja bei Gentoo hellsehen können.


    Gerald


    HP Proliant MicroServer Gen8, Xeon E3-1230, 12 GB RAM, 3xWD red 2TB im RAID 5, 2xSundtek MediaTV Home DVB-C/T, L4M TWIN-C/T, Ubuntu Server 14.04.1, Plex Media Server
    Samsung UE55H6470

  • Musst Du eventuell die scraperids in der recordingstabelle noch nullen?


    naja vllt, andererseits stehen da ja schon die richtigen Verknüpfungen drin nur das physische Gerödel fehlt auf den series und movie Tabellen - da will ich auch nicht aufs blaue an der Tabelle manipuieren...


    Icht warte lieber was Louis sagt ;)


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5

  • Naja, wenn die IDs da schon drin stehen, geht der scraper davon aus, dass alles schon da ist. Nehme an, es wird nicht jedesmal geprüft, ob der Content noch existiert.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • Tja, auch Meiser Grimbart weiß halt nicht alles.


    Was ist ein Meiser? Eine männliche Meise? [Blocked Image: http://netfamilie.de/wp-content/uploads/Kleine-Meise-300x224.jpg]


    Und meinst du nicht eher Grimm abgeleitet von grimmig?


    Gerald


    HP Proliant MicroServer Gen8, Xeon E3-1230, 12 GB RAM, 3xWD red 2TB im RAID 5, 2xSundtek MediaTV Home DVB-C/T, L4M TWIN-C/T, Ubuntu Server 14.04.1, Plex Media Server
    Samsung UE55H6470

  • Naja, wenn die IDs da schon drin stehen, geht der scraper davon aus, dass alles schon da ist. Nehme an, es wird nicht jedesmal geprüft, ob der Content noch existiert.


    Ja genauso ist das denke ich: deswegen ja austricksen ;)


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5