epgd/epg2vdr: Fragen rund um backend, Installation und Upgrade

  • Moin


    da wir ja kurz vor dem Finalen Release der http Version stehen, Frodo schon mal proaktiv die aktuelle Version in seinem ppa ausliefert hier ein Thread für alle Fragen rund um backend, Installation und Upgrade.


    Hintergrund ist das es schon ein recht großes Update ist und wir so ein wirrwarr wie in den vorigen Threads vermeiden, und stattdessen die Anfrage etwas kanalisieren wollen. Sobald der Release da ist werde ich auch noch Threads zu "WEBIF" sowie "Suchtimer und OSD Menus" erstellen, da können Jörg und Dirk dann differenzierter reinschauen.


    Für diejenigen die epgd schon in der Version ohne http genutzt haben hier wenige kleine pitfalls in die man nicht unbedingt hineinlaufen muss:


    - es läuft darauf hinaus das die DB neu aufgebaut werden muss, für ein Altern der Tabellen hat sich einfach zu viel geändert. einige Tabellen sind hinzugekommen, andere weggefallen und wieder andere in andere Strukturen überführt worden.


    - für den Betrieb werden passende loader benötigt, auch der der nicht mitgeliefert wird! Alle Versionen müssen zusammen passen, aktuell http branch des git, wird aber kurzfristig in den Master gemerged.


    - an den Konfigurationsdateien channelmap.conf und epgd.conf hat sich nichts geändert, jedoch sind einige Parameter weggefallen und solang die in der epgd.conf stehen startet der Daemon nicht. Vergleiche die epgd.conf aus dem source, bspw. die Einstellungen zum Proxy sind nicht mehr gültig oder neue Möglichkeiten hinzugekommen.


    - individuell erstellte Views funktionieren nicht mehr. Die Views die im git liegen wurden jedoch alle angepasst und sind funktional. - Diese können auch weiterhin selber modfiziert werden. Ich empfehle jedoch diese unter NEUEN Namen in die wpgd.conf einzubinden damit sie bei einem Update nicht überschrieben werden.


    - die vdr plugins epg2vdr und scraper2vdr sind aktuell noch nicht kompatibel mit 2.3.0, alle Komponenten sind auch noch nicht richtig kompatibel mit mysql 5.7.x wie es zB in Xenial ausgeliefert wird. An letzterem haben wir schon geabeitet und dachten eigentlich das wir durch sind, jetzt ist aber wieder ein weiterer Punkt aufgetaucht, hoffe der Letzte. Man kann hier mariaDB einsetzen bzw originale Xenial Pakete zu mysql 2.6.28 wie ich es hier mache.


    tbc.



    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



    The post was edited 8 times, last by CKone ().

  • Hallo Christian,


    wäre nett, wenn du in der vorgenannten Ankündigung alle bereits bestehenden und wichtigen Infos verlinken könntest. Das erspart vielleicht einige Nachfragen und hilft Einsteigern bei diesem Thema.


    Viele Grüße skippy

  • Nach zwei Jahren Entwicklung ist doch vieles alter Mist der größtenteils schon obsolete ist, lass uns lieber neu beginnen dann haben wir es auch an einer Stelle - ich hab mal den ersten Beitrag um die größten pitfalls ergänzt.


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



    The post was edited 1 time, last by CKone ().

  • Hi,


    erst mal danke für die ganze Arbeit. Ich nutze den http branch schon eine Weile (habe epgd und die Plugins selbst kompiliert), aktuell habe ich aber ein Problem mit epg2vdr. Die neueren Versionen von epg2vdr führen bei mir zu einem segfault beim VDR-Start, siehe Crashlog anbei. Ich vermute dass es ein Problem mit dem Netzwerk gibt (epgd und vdr laufen auf demselben Rechner). In der Tat habe ich z.Zt. Netzwerkprobleme, die dazu führen dass manchmal beim VDR-Start noch keine Internetverbindung vorliegt, dennoch sollte epg2vdr dann nicht crashen.


    Gruß maz

    Files

    Meine VDRs:
    >>>Mac mini 2010 mit 2x Sundtek SkyTV Ultimate III, Logitech Harmony 300i, yavdr-0.5a mit softhddevice<<< >>>ZOTAC D2550 ITX-WIFI Supreme mit DD Cine S2, Gehäuse OrigenAE M10, Logitech Harmony 300i, yavdr-0.5a mit softhddevice<<< >>>Raspberry Pi
    2 mit Sundtek SkyTV Ultimate IV, raspbian, rpihddevice-Plugin, Logitech Harmony 200<<<

  • - es läuft darauf hinaus das die DB neu aufgebaut werden muss, für ein Altern der Tabellen hat sich einfach zu viel geändert. einige Tabellen sind hinzugekommen, andere weggefallen und wieder andere in andere Strukturen überführt worden.

    geht wie ?

    yavdr 0.61 testing SilverStone GD04S, Intel DH77EB, Intel G1610 CPU, 4GB RAM, Zotac Nvidia GTX-630 ,Corsair 4GB, Be quiet! BN140 System Power7, Samsung 830 SSD
    4 DVB-C Tuner L4M-Flex + Twin CT. Qnap TVS-873 per NFS als Aufnahmefreigabe.Per HDMI an Denon AVR-4300H/LG OLED 65B6D

  • Hi,


    geht wie ?


    epgd-tool ist dein Freund



    Gruss
    Wolfgang

    TT S2-6400 - saa716x kompilieren unter 20.04(Focal)

  • Danke ... hatte ich schon gesehen ... aber habe trotzdem Fehlermeldungen nach erstellen einer neuen Datenbank ... bin jetzt ertsmal zurück zur alten version und warte ab ..

    yavdr 0.61 testing SilverStone GD04S, Intel DH77EB, Intel G1610 CPU, 4GB RAM, Zotac Nvidia GTX-630 ,Corsair 4GB, Be quiet! BN140 System Power7, Samsung 830 SSD
    4 DVB-C Tuner L4M-Flex + Twin CT. Qnap TVS-873 per NFS als Aufnahmefreigabe.Per HDMI an Denon AVR-4300H/LG OLED 65B6D


  • Nun, so ganz ohne weitere Angaben und Logs, wird sich die Fehleranalyse wohl etwas schwierig gestalten.

    Hast recht 3PO, hatte "zerschossenes" System aufgrund von Zeitgründen bereits wieder gelöscht und Backup eingespielt. Wollte in die Falle dann beim nächsten update nicht reinfallen, deshalb die Frage wie.
    Der Weg scheint dann zu sein mit dem epg-tool user + Datenbank zu löschen und neu anzulegen.
    Hatte zu dem Zeitpunkt aber nur Datenbank gelöscht. Sollte es beim nächsten mal wieder nicht gehen, werde ich Log files/ Fehlermeldungen mitliefern ...


    Danke für Interesse/Hilfe :-)

    yavdr 0.61 testing SilverStone GD04S, Intel DH77EB, Intel G1610 CPU, 4GB RAM, Zotac Nvidia GTX-630 ,Corsair 4GB, Be quiet! BN140 System Power7, Samsung 830 SSD
    4 DVB-C Tuner L4M-Flex + Twin CT. Qnap TVS-873 per NFS als Aufnahmefreigabe.Per HDMI an Denon AVR-4300H/LG OLED 65B6D

  • Im http Zweig liegt jetzt der RC1, auf dieser Basis mit ein paar kosmetischen Änderungen im Web die vermutlich noch heute Abend kommen Releasen wir im Anschluss


    Es hat sich nicht mehr viel geändert, durch das aufräumen diverser Felder sowie das homogenisieren der Bewertungstexte sind einige Nacharbeiten nötig daher wollten wir das noch vor dem finalen Release machen.


    Nachdem alles runter gefahren ist diese Statements ausführen:


    Danach den epgd neu Starten, wenn dieser mit dem 'altern' der Tabellen fertig ist kann der Rest gestartet werden. Es muss alles, epgd, epghttpd, epg2vdr und scraper2vdr aktualisiert werden!


    Grüße Jörg

  • Wer von der alten Version aus dem 'master' Zweig umsteigen möchte beginnt wie von Christian beschrieben am besten mit einer leeren DB! Dazu 'alles' droppen und die DB wie im README beschrieben neu anlegen, entsprechender Ausschnitt aus dem README:


  • Funktioniert ja hier wieder super :wand Beim "Bereinigen" der bestehenden DB mit den o.g. Befehlen schmeissts schon Fehlermeldungen. Die "COLUMN autoname" gibts nicht, die Zeile mit "txtrating" und die letzte Zeile, da wo das Semikolon am Schluss fehlt, funzt nicht. Gut kann man selber noch ausbessern. Dann den Rest der Plugins aktualisiert. epgd neu gestartet und schwupps kommt diese Fehlermeldung:

    Code
    1. May 21 13:58:57 localhost epgd: Info: Missing field 'events.COMMENTATOR', try to alter table
    2. May 21 13:58:57 localhost epgd: Execute [alter table events add column commentator VARCHAR(200) after director]
    3. May 21 14:00:27 localhost systemd[1]: epgd.service start operation timed out. Terminating.
    4. May 21 14:00:27 localhost systemd[1]: Failed to start Database driven EPG Data collector.


    Na dann, nächster Versuch... ein epgd-tools -drop-all abgesetzt, in der Hoffnung, dass man sich zumindest die Usertabellen wegsichern kann. Zumindest war das ja mal angekündigt. Bong...


    Ich entsinne mich, da war doch mal irgendwas mit dem mysqlpasswd. Richtig... in "/root/.shh" finde ich die Datei mysqlpasswd mit folgendem Inhalt: PASSWORD="meingeheimespasswort". Nur passt das wohl nicht mehr zum "drop-all" Script. Kann mich mal bitte jemand aufklären, wie das in dem "drop-all" Script aussehen muss, damit das wieder funktioniert?

  • Die Beschreibung von Jörg passt chronologisch nicht, zuerst die Pakete aktualisieren, dann den Dämon starten was einige Zeit dauern kann bis er er neuen Spalten drin hat, und dann erst die Statements hinterher.


    Für epgd-dropall brauchts imho kein Passwort.


    Das ist jetzt übrigens die letzte anstehende Änderung an der Tabellenstruktur vor dem offiziellen release, wir wollten da gern was vorbereiten für ein weiteres Modul was ein Entwickler aus aus Forum in der Pipeline hat und was auch sehr zeitnah kommt...



    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • Für epgd-dropall brauchts imho kein Passwort.

    Das kommt darauf an, wie MySQL bzw. MariaDB konfiguriert ist - wenn man als root angemeldet ist und es einen lokalen Sockel der Datenbank gibt, kann das klappen, ansonsten muss man das Passwort mit angeben.

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • Stimmt ich bin da wie du sagst local als root unterwegs, wusste nicht das es da einen Zusammenhang gibt...


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • Hallo,


    seit dem letzten update habe ich folgen Meldungen im Syslog:


    Code
    1. May 21 17:10:53 yavdr vdr: epg2vdr: Calling mysql_init(4628)
    2. May 21 17:10:53 yavdr vdr: epg2vdr: SQL-Error in 'prepare(stmt_prepare)' - Unknown column 'sub_commentator' in 'field list' (1054) 'Unknown column 'sub_commentator' in 'field list'' [select sub_actor, sub_audio, sub_camera, sub_category, cnt_channelid, cnt_eventid, cnt_longdescription, cnt_source, sub_commentator, sub_complongdescription, sub_compshorttext, sub_comptitle, cnt_contents, sub_country, cnt_delflg, sub_director, cnt_duration, sub_episodecompname, sub_episodecomppartname, sub_episodecompshortname, epi_extracol1, epi_extracol2, epi_extracol3, epi_lang, epi_episodename, epi_number, epi_part, epi_partname, epi_parts, epi_season, epi_shortname, cnt_fileref, sub_flags, sub_genre, sub_guest, sub_imagecount, sub_longdescription, cnt_masterid, sub_moderator, sub_music, sub_numrating, sub_other, cnt_parentalrating, sub_producer, sub_rating, sub_screenplay, sub_scrmovieid, sub_scrseriesepisode, sub_scrseriesid, sub_scrsp, sub_shortdescription, sub_shortreview, sub_shorttext, cnt_starttime, sub_eventid, sub_source, cnt_tableid, sub_tipp, sub_title, sub_topic, sub_txtrating, cnt_updflg, all_updsp, cnt_useid, cnt_version, cnt_vps, sub_year from useevents where cnt_channelid = ? and cnt_eventid = ? and cnt_source = ?;]
    3. May 21 17:10:53 yavdr vdr: epg2vdr: Retry #8 failed, retrying in 60 seconds!
    4. May 21 17:10:53 yavdr vdr: epg2vdr: Closing mysql connection and calling mysql_thread_end(4628)


    Das "ALTERN" und "update events set" habe ich durch geführt.


    Gruß


    Murry

  • Dann ist dein vdr-epg-daemon neuer als dein epg2vdr

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)