Stadtgeflüster: epgd kommt noch vor Ostern in der http Version

Hi,

ich habe hier nach Installation von yavdr 0.6, epgd (aktuelle stable Version) und mysql-5.6 das Problem, dass nach dem Systemstart der epgd und mysqld zunächst eine sehr hohe CPU-Last verursachen. Das geht soweit, dass der Start von VDR verzögert wird und danach das TV-Bild stark ruckelt. Die CPU-Last geht dann innerhalb von ca. 5 Minuten wieder auf ein normales Level herunter. Hat jemand eine Idee wo man da ansetzen kann?

Gruß maz

@ chriszero

Welches OS verwendest du?

Zitat von maz

Hat jemand eine Idee wo man da ansetzen kann?

Hast Du keine Möglichkeit EPGD auf einen Server laufen zu lassen? Die Kombination wo du verwendest funktioniert zwar, ist aber eher suboptimal. Da der EPGD beim starten die Daten vom Netz zieht und Daten aufbereitet....

Zudem ist das hier der HTTP Branch Fred, Stable ist der andere Vielleicht extra was aufmachen. So geht es eher unter....

Ich stelle mir gerade das ganze mit Docker Containern zusammen. Der offizielle MySQL:latest läuft mit einem Debian Jessie

Hi,

es gibt einen kleinen "Schönheitsfehler" (bin mir nicht ganz sicher ob es epgd oder epg2vdr betrifft). Oft werden senderseitig derselbe Title und Subtitle gesendet (z.B. Title "Tagesschau" und Subtitle "Tagesschau"), so dass der Text doppelt in den entsprechenden EPG-views auftaucht, siehe verlinktes Bild. Mein Vorschlag wäre, dass -sofern Title und Subtitle identisch sind- der Subtitle gelöscht wird. Vielleicht könnte man diese EPG-Fehlerbereinigung noch im http Branch implementieren.

P.S.: Gibt es eigentlich schon ein Releasedatum ?

Gruß maz

Hi,

jo Du hast Recht, hatte ich auch zuerst überlegt. Ich meine aber langfristig ist es sauberer, diese "Duplikate" direkt in den EPG-Daten zu löschen, schließlich bringen die doppelten Texte niemandem einen Mehrwert.

Gruß maz

Ah OK, hatte Dich zunächst missverstanden und dachte Du meinst den view im Skin. Ich habe das mal versucht in meiner eventsview.sql umzusetzen, komme aber mangels SQL-Kenntnissen mit der Syntax nicht ganz klar. Ich habe es mit folgendem Abschnitt probiert, was nicht funktioniert:

else
  when sub.shorttext is not null then
   case when sub.shorttext = sub.title then ''

Hier die ersten Zeilen meiner (funktionierenden) eventsview.sql:

CREATE VIEW eventsview as select sub.masterid as useid, cnt.eventid, cnt.channelid, cnt.source, GREATEST(cnt.updsp,sub.updsp,IFNULL(epi.updsp,0)) updsp, cnt.updflg, cnt.delflg, cnt.fileref, cnt.tableid, cnt.version, sub.title,
case
 when sub.shorttext is null then
  case when sub.genre is null then '' else concat(sub.genre,' (', sub.country, ' ',sub.year, ')') end
  else
  case when epi.season is null then
    sub.shorttext
  else
    concat('(S', lpad(format(epi.season, 0), 2, '0'), 'E', lpad(format(epi.part, 0), 2, '0'), ') ', epi.partname)
  end
end shorttext,
cnt.starttime, cnt.duration, cnt.parentalrating, cnt.vps, replace(

Ich habe jetzt eine Stunde lang erfolglos probiert irgendwie komme ich mit der SQL-Syntax nicht klar.
EDIT: Hab's hinbekommen, siehe hier .

Hi,

nachdem ich auf den http branch umgestiegen bin, funktioniert meine angepasste eventsview.sql (siehe hier) leider nicht mehr
Ich habe schon selbst versucht, auf Basis der mitgelieferten eventsview meinen View anzupassen (siehe Anhang), aber damit läuft epgd bei mir nicht mehr korrekt. Weiterhin habe ich noch folgenden SQL-Error im Log:

Mar  2 18:19:35 macmini vdr: epg2vdr: Start reading external ids from db
Mar  2 18:19:35 macmini vdr: epg2vdr: Statement 'select extid, channelid from channelmap' with (0) in parameters and (2) out bindings prepared
Mar  2 18:19:35 macmini vdr: epg2vdr: Finished reading external id's from db, got 140 id's
Mar  2 18:19:35 macmini vdr: epg2vdr: Connection established successfull!
Mar  2 18:19:40 macmini vdr: epg2vdr: SQL-Error in 'execute(stmt_execute)' - Deadlock found when trying to get lock; try restarting transaction (1213) 'Deadlock found when trying to get lock; try restarting transaction' [update events set delflg = ?, updflg = ?, updsp = ? where channelid = ? and source = ? and starttime+duration > ? and starttime < ? and (tableid > ? or (tableid = ? and version <> ?));]
Mar  2 18:19:42 macmini epgd: Starting cleanup of images
Mar  2 18:19:55 macmini epgd: Image cleanup finished
Mar  2 18:19:55 macmini epgd: Start download of new images
Mar  2 18:19:59 macmini epgd: Still updating images, now 500 of 26460 checked and 498 loaded (3.727 MB)

Gruß maz

Hi - ies es möglich (wenn ja wie) den epghttpd über https zu betreiben?

Im Endstadium hätte ich den gerne hinter nem Reverse_proxy

Dann muss doch nur dein reverse proxy https unterstützen, oder kann er nach innen nur https durchgeben?
Also in der 1. Version wird das sicherlich noch nicht unterstützt werden. Es ist ja kein ausgewachsener webserver, der die seiten ausliefert, sonder ein selbst (by horchi) geschriebener dienst. Das heist, er müsste das ganze zertifikat gerassel usw. Reinprogrammieren. Keine Ahnung , wie aufwendig das ist.
Was vlt. Ginge, wäre ein mini webserver, der https unterstützt, nochmal als proxy davor zusetzten.

Gruss
Rechner

wo du recht hast, hast du recht - geht

Hallo,

mit dem aktuellen git bekomme ich beim start folgenden Fehler, was dann zu einem ständigen neustart führt.

Mar 06 09:49:30 [vdr] epg2vdr: Recording of 'Boxen~Drei Engel für Charlie - Volle Power~Abenteuer (USA 2003)' has 'started' [/video/Boxen/Drei_Engel_für_Charlie_-_Volle_Power/Abenteuer_(USA_2003)/2016-03-06.08.15.63-0.rec]
Mar 06 09:49:30 [kernel] epg2vdr-update[2714]: segfault at 10 ip 00007f796a9db805 sp 00007f791affcc60 error 4 in libmysqlclient.so.18.0.0[7f796a9a5000+26f000]
Mar 06 09:49:34 [G2V g2v_rec_msg.sh] Boxen~Drei Engel für Charlie - Volle Power~Abenteuer (USA 2003): Last start 4 seconds ago! (PID change?)

einen trace habe ich mit angehängt

rookie1

HI - ich hab nirgends nen aktuellen diff (für die http-Version) gefunden - vielleicht gabs ja auch keinen - jedenfalls war das Antrieb den diff von 3PO auf den epgd (http) anzupassen - das hier tvm.diff läuft hier bei mir seit heute morgen.

Mit dem aktuellen Commit (http) macht der vdr-epg2vdr-daemon beim Füllen der DB einen segfault:

Mar  6 23:43:31 localhost epgd: EPG Update finished, loaded 0 files (0.000 KB), 128 non-updates skipped, 0 rejected due to format error.
Mar  6 23:43:31 localhost epgd: Starting 'fullupdate' episode download ...
Mar  6 23:43:31 localhost epgd: Warning: Requested parameter 'epgd/lastFullEpisodeRun' not known, ignoring
Mar  6 23:43:31 localhost epgd: Got 'Setting encoding to utf8'
Mar  6 23:43:31 localhost epgd: Requesting all episodes due to 'empty table'
Mar  6 23:44:04 localhost epgd: Received 1680 episode files
Mar  6 23:44:43 localhost epgd: Warning: (Bugs Bunny & Looney Tunes.de) Ignoring unexpected season line [# 1929#0111#0111] only 100 seasons expected
Mar  6 23:44:43 localhost systemd[1]: epgd.service: main process exited, code=killed, status=11/SEGV
Mar  6 23:44:43 localhost systemd[1]: Unit epgd.service entered failed state.

Irgendwas passt da noch nicht bei mir

Hat sich erledigt. Da hat irgendein Vogel auf eplists statt Staffelnummern vierstellige Jahreszahlen verwendet, mit denen der epg-daemon nicht klar kommt. Nachdem ich in "episode.c" den Wert für "maxSeasons" von 100 auf 2200 gesetzt und neu compiliert hatte, funktioniert das Scrapen der Episoden.

Der Epgd machted den Tatort "kleine Prinzen" nicht mehr - findet keine korrekte Folge/Staffel (nach Update des epgd auf den http-branch). Was auffällt ist, dass bei der Ansicht im Web-Frontend des epgd im Bereich von "constable"

die Informationen der neueren Tatort-folgen etwas "verschüttelt" sind:

Die (zusätzlichen) Informsationen von Ort und Ermittlern sowie der "Anstalt" sind zusammengefasst

Hi iNOB,

wir sehen diese Art der Episoden nach Rücksprache mit Mike als fehlerhaft an und verwerfen sie mit entsp. Log-Meldung. Crashen sollte es nicht, hast du einen backtrace für mich damit ich sehe wo es auf die Nase fliegt?

Grüße Jörg

Hi magicamun,

Die liegt an den Daten selber. Ich zerteile die anhand von tabulatoren, wenn ich mich recht entsinne. Kann ich aber gerade nicht nachschauen, weil ich im Urlaub bin.
Wenn du aber mal auf raw clickst siehst du, dass die wahrscheinlich nicht genau passen. Vlt. habe ich wber auch noch nen Fehler drin. schau ich mir nach meinem urlaub mal an.
Aber ich gehe davon aus, dass mal tab und mal keerzeichen oder so verwendet wurden?

Gruss
Rechner