[Announce] epgd 0.2.0, scraper2vdr 0.1.0, Happy Easter Eggs

  • Im runvdr setze ich:


    Code
    export VDR_LANG="de_DE"
    export VDR_CHARSET_OVERRIDE="ISO-8859-15"
    export LANG="de_DE"
    export LANGUAGE="de_DE.UTF-8"
    export LC_ALL="de_DE.UTF-8"



    Sieht für mich jetzt nicht falsch aus, oder doch?

    Server: Supermicro X9SAE, Intel Xeon E3-1245v2, ESXi 6.5

    VDR VM: Ubuntu 16.04 LTS, 2x DD Cine S2, VDR 2.3.8

  • Hi,


    auf die Gefahr hin, dass ich hier was überlesen habe und die Frage schonmal beantwortet wurde, wollte ich trotzdem nochmal eine Verständnisfrage stellen. Der Thread ist ja mittlerweile unübersichtlich lang.


    Bisher hatte ich das tvscraper-plugin erfolgreich genutzt. Es scrapt die vorliegenden EPG-Daten des VDR (Standard aus dem DVB-Signal) und auch die bisherigen Aufnahmen. Ein Test mit der Kombination EPGD und SCRAPER2VDR funktioniert zwar grundlegend schon, aber irgendwie habe ich die Logik noch nicht 100% verstanden. Meine Aufnahmen sind "teilweise" sauber ergänzt/gescrapt aber meine EPG-Daten im VDR nicht. Ich vermute da fehlt noch was.


    Mein VDR holt ja selber die EPG-Daten aus dem DVB-Stream aber woher holt der EPGD die passenden "Scrape"-Daten (Bilder usw.). Nur anhand der channelmap.conf? Das Scraper2vdr-Plugin meldet ja sauber die Aufnahmen zurück in den EPGD, aber findet keine Daten in der EPGD-DB für das Live-SIgnal/EPG. Der EPGD meldet sauber 25 Sender (die ich testweise in die channelmap.conf eingetragen haben, holt aber nichts.


    channelmap.conf-Auszug:

    Code
    vdr:000:0:0 = S19.2E-1-1019-10301           	// Das Erste HD
    vdr:000:0:0 = S19.2E-1-1011-11110           	// ZDF HD


    Brauche ich eventuell noch eine andere Datenquelle wie EPGDATA oder TVMOVIE ?!? Fehlt das EPG2VDR-Plugin? Aber das ist doch, soweit ich das verstehe, nur notwendig, wenn man EPG-Daten von außerhalb (des DVB-Signals) ergänzen möchte, oder?


    Ziel ist es eigentlich lediglich die Aufnahmen und das Live-Sinal einiger Sender sauber mit Bilder und einigen Zusatzinfos (Schauspieler u.ä.) zu ergänzen. Zusätzliche EPG-Daten aus TVMovie o.ä. brauche ich eigentlich nicht. Der Client/Server-Ansatz gefällt mir grundsätzlich gut, da ich nicht ausschliesen möchte, den VDR später mal Headless zu betreiben. Da halte ich den EPGD-Ansatz für sinnvoller als den Lokalen des TVSCRAPER-Plugin.


    Vielleicht hat ja nochmal jemand einen Tipp für mich bzw. eine kurze Erklärung, wie alles zusammenspielt.


    Gruß,
    Oliver.

  • Ich melde mich mal aus Jakarta zu Wort. :D Um zu scrapen benötigst du eine externe Quelle, die die Katagorie Spielfilm oder Serie mitliefert. Danach sucht der scraper und holt dann die Infomationen aus dem Internet.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • matrix2311

    Mein VDR holt ja selber die EPG-Daten aus dem DVB-Stream aber woher holt der EPGD die passenden "Scrape"-Daten (Bilder usw.). Nur anhand der channelmap.conf? Das Scraper2vdr-Plugin meldet ja sauber die Aufnahmen zurück in den EPGD, aber findet keine Daten in der EPGD-DB für das Live-SIgnal/EPG. Der EPGD meldet sauber 25 Sender (die ich testweise in die channelmap.conf eingetragen haben, holt aber nichts.

    was fehlt dir wo? nicht alle infos stehen überall zur verfügung.


    > aber findet keine Daten in der EPGD-DB für das Live-SIgnal/EPG
    wie stellst du das fest? woran merkst du das?


    irgendwo hier im thread weiter oben steht ein commando, mit dem man anzeigen kann, wieviele events aus welcher quelle in der epg db enthalten sind. damit kannst du prüfen, ob in der db was drin steht. (kannst auch diverse andere sql commandos verwenden, die hier drin stehen. oder die mysql workbench. wenn du dich mit sowas auskennst.)

    yavdr 0.5, AMD Athlon(tm) II X2 240e, MSI 770-C45, 4GB, Cine S2, Terratec Cinergy S2 PCI HD, TechniSat SkyStar2 DVB-S, TechniSat AirStar2 DVB-T

  • Moin,


    es ist so wie TheChief bereits geschrieben hat: ohne externe EPG Quelle wie epgdata.com oder tvmovie macht das ganze Konstrukt epgd / epg2vdr / scraper2vdr nur bedingt Sinn. Also installiere einfach mal das tvmovie Plugin für den epgd, das kostet nix, dann klappts auch mit dem scrapen ;)


    Ciao Louis

  • Guten Morgen,


    vielen Dank für die Antworten. Ich habe das TVM-plugin mal aktiviert und lasse das Gerät jetzt erstmal die Datenbank aufbauen. Ich schaue mir das heute abend mal an, wie das Ergebnis ist.


    Ich habe verstanden, dass der EPGD immer eine externe Datenquelle braucht und sich die Daten somit woanders herholt, als das TVSCRAPER-Plugin. Dies hat sicherlich auch eine externe Datenquelle, um die Infos und Bilder zu ergänzen, braucht aber kein zusätzlichen Plugin.


    Gruß,
    Oliver.


    EDIT 29.07.2014:
    Funktioniert jetzt alles ganz sauber. Das EPG2VDR-plugin hatte ich Anfangs noch nicht implementiert. Jetzt klappt alles wunderbar. Vielen Dank für die Plugins und die Tipps.

    Einmal editiert, zuletzt von matrix2311 ()

  • Hallo,


    konntest du deinen Test erfolgreiche abschließen,


    ich habe ebenfalls keinen epgdata account überlege, ob dann die Installation dieses Konstruktes sinnvoll ist. Ich habe noch die "alte" clientseitige Version und es sind ja auch da viele Infos und vor allem Bilder da, die über nopacity schön eingeblendet werden, würde aber gerne zum Serveransatz wechseln damit beim Einschalten eines Clients die aktuellen Infos schon alle da sind.


    VG

  • Woher bekommt man jeweils die aktuellen ID's von TVM? Für epgdata liegt ja ein Script bei.

  • Sofern sich nichts geändert hat hier

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • Merci -Format scheint zu sein:
    <Tagesdatum>
    <Gültig bis ?>
    <Anzahl Sätze/Zeilen>
    >Sender>
    >Id>
    >Sender>
    >Id>
    ....

  • Hi,


    ja - mit dem epg2vdr-Plugin funktioniert dann alles sauber und ist von der Ansicht her vergleichbar mit dem Client-Plugin (tvscraper). Ich nutze das TVM-Plugin für den EPGD, um externe Daten zu laden. Die Plugins zusammen msichen dann DVB- und TVM-Daten und ergänzen das ganze sauber.


    Allerdings braucht der VDR immer einige Sekunden bis Minuten bis er die Zusatzdaten anzeigt. Das liegt scheinbar daran, dass ich den VDR runterfahre und er beim Hochfahren auch den EPGD startet. Sobald der seinen Update-Lauf macht, hat scraper2vdr erstmal "Sendepause" und wartet den Updatelauf ab. Ich werde dies wohl dahingehend umgehen, dass ich mein EPGD-Startupskript zeitverzögert anlaufen lasse, so dass erst der scraper2vdr durchläuft und dann der EPGD startet und Updates zieht.


    Gruß,
    Oliver.

  • matrix2311: jo das haben wir eingebaut, weil es auf schwächeren Clients zu Rucklern im Live TV geführt hat, wenn der epgd und das scraper2vdr Plugin gleichzeitig losgelaufen sind.


    Du musst dein Startscript gar nicht zeitverzögert loslaufen lassen. In der epgd config gibt es einen Parameter, der es erlaubt, das automatische Update beim Start abzuschalten. Du kannst das dann (z.B. per cronjob) über ein sighup starten. Wie das genau geht, kann dir sicherlich CKOne sagen, der macht das nämlich genau so ;)


    Ciao Louis

  • Hi Louis,


    danke für den Tipp. Das mit dem Sighup werde ich direkt mal heute ausprobieren. Ist natürlich eleganter als die Zeitverzögerung.


    Gruß,
    Oliver.

  • Hallo in die Runde!


    seit ca 3 Monaten nutze ich di Vorzüger des epgscrappens ;)
    Besonders bei Serienaufnahmen ist dies in Verbindung mit epgsearch wahrlich ein Segen!


    zzt. Nehme ich "Türkisch für Anfänger" auf. Die Serie läuft noch und es wurde bei S01E05 aufgehört die
    Episoden zu scrappen. Andere Seien wir BigBang z.b. werden gescrappt bis zum epg ende.
    Daher ist ein konfigurationsfehler unwahrscheinlich.


    Ebenso gehe ich davon aus, das die Daten an der Quelle nicht vorhanden sind?
    Könnte das mal jemand checken? DasErste HD jeden Freitag um 18:45. ?(
    Sollte es nicht nur mir so gehen würde ich gerne dabei helfen die Daten einzupflegen.


    Grüße
    derdigge

  • derdigge: auf thetvdb.com sind die ersten drei Staffeln vorhanden. Das kannst du leicht selbst schauen, indem du dort (thetvdb.com) einfach mal danach suchst ;)


    Das scrapen von Serien inklusive Episoden setzt aber voraus, dass die Serie auch korrekt bei constabel.net gepflegt ist, da der epgd mit der dortigen DB die korrekte Serien- und Episodennummer ermittelt, darüber werden dann bei thetvdb.com die korrekten Inhalte geladen. Wenn "Türkisch für Anfänger" da also nicht korrekt gepflegt ist (Zuordnung Episodenname - Episodennummer), dann geht das in die Hose...


    Ciao Louis

  • Nachtrag: auf constabel.net sind die ersten beiden Staffeln hinterlegt: Klick mich


    Hm, da scheint was schiefgelaufen zu sein. Werden denn die Serieninfos im "Live EPG" korrekt angezeigt?


    Ciao Louis

  • Wie das genau geht, kann dir sicherlich CKOne sagen, der macht das nämlich genau so ;)


    zB. so:

    Code
    30     4,16,17   * * *    /usr/bin/killall -HUP epgd


    der Timer für den automatischen scan muss dann zusätzlich in epgd.conf auf 23h oder so stehen.


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • KuKuK louis! ;)


    Danke für die flotte Antwort!
    Bei mir ist der VDR ein Headless Server unterm Dachboden.
    Alle Clienten sind XBMC Kübel(x86_64) per xvdr - 3stk.


    Daher wirds wohl nichts zwecks LiveEPG direkt in vdr.
    Im vdradmin-am hingegen sehe ich nur bis Folge 5 den korrekten "scrap" der "tvm scrap" funktioniert immer Tadellos.
    *nixpeil .... ääähhhhh Ups, Mir fiel ebn auch das Freitag den 15.08.2014 das wohl nicht läuft wegen der Leichtatletik WM.


    Die höheren Serien, die derzeit auf einsplus HD laufen, werden übrigens auch nicht gescrapped. (sollte ja mindestens gehen)
    Dort sind die in Staffel 2, sollte laut klick vorhanden sein? bzw korrekt gescrapped weden? Oder misse ich etwas beim Sender Einsplus HD?
    Gern möchte ich unterstüzend eingreifen um die dritte Staffel einzupflegen ins constabel.net


    Ich möchte nun nur ungern deswegen die ganze DB dumpen. Ich bin mir bei bei
    arbeiten an mysql immer sehr unsicher, da ich vom mysql keinen Plan
    habe.
    Es sind schon gute Kenntnisse im Umgang mit Linux vorhanden aber bei mysql bin ich wohl eher noch der "copyer & paster" ;)
    Ich hänge mal die beiden Screenshots an, vielleicht springt dich/jemanden ja etwas an!


    Gruß!
    derdigge


    Staffel 1 Folge 5 von Das Erste:
    [Blockierte Grafik: http://www11.pic-upload.de/04.08.14/b1q1l8w9qac7.jpg]


    Staffel 2 Folge 7 von Einsfestival:
    [Blockierte Grafik: http://www11.pic-upload.de/04.08.14/kxudial9q7mp.jpg]


    Suchergebnis auf Türkisch für Anfänger:
    [Blockierte Grafik: http://www11.pic-upload.de/04.08.14/o1whfbdiocmw.jpg]

  • Woher bekommt man jeweils die aktuellen ID's von TVM? Für epgdata liegt ja ein Script bei.


    Ich habe da mal was gebastelt. ;)


  • Schick schick

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!