[Announce] epgd 0.2.0, scraper2vdr 0.1.0, Happy Easter Eggs

Hallo,
ich verwende den epgd daemon jetzt seit ein paar Monaten erfolgreich.
Seit ein paar Tagen kommen keine DVB events mehr in die Datenbank. (epgd-showmerge zeigt nur EPGDATA an). (Wirklich keine, auch nicht bei Sendern auf die definitv getuned wurde).
Ursache könnte sein, das beim herunterfahren die db schneller weg war als der daemon und der vdr, da gab es Fehlermeldungen, aber eigentlich kann ich mir nicht vorstellen, dass dies nicht abgefangen wurde.

Ich habe schon die üblichen Verdächtigen bei ausgeschalteten Daemonen gelöscht (epg.data, epg-dropall).
Aber leider ohne den gewünschten Erfolg.
Gibt es Tips wie dem genauer auf die Schliche kommen kann?

Marten

Beispiel Zeile aus der channelmap.conf

Zitat

epgdata:71 = C-1-1051-11100 // Das Erste HD

Meine epgd.conf

Zitat

# ------------------------------------
# Configuration of EPG Daemon
# ------------------------------------

# EpgImageSize
# 0 = 174x130
# 1 = 329x245
# 2 = 525x400

DbHost = localhost
DbPort = 3306
DbName = epg2vdr
DbUser = epg2vdr
DbPass = epg

EpgView = eventsview.sql
TheTvDBView = thetvdbview.sql

CheckInitial = 1
DaysInAdvance = 7
DaysToUpdate = 3
UpdateTime = 12
UpdateThreshold = 500

XmlStoreToFs = 1

GetEPGImages = 1
EpgImageSize = 2
MaxImagesPerEvent = 1

SeriesEnabled = 1
SeriesPort = 2006
SeriesStoreToFs = 1
SeriesUrl = eplists.constabel.net

ScrapEpg = 1
ScrapRecordings = 1

# CachePath = /var/cache/epgd/

UseProxy = 0
# HTTPProxy = 127.0.0.1:8000
# UserName =
# Password =

LogLevel = 1

# ---------------
# epgdata plugin
# ---------------

epgdata.url = http://www.epgdata.com
epgdata.pin =SNIP

# Download timeout in seconds (default 180)
#epgdata.timeout = 180

Alles anzeigen

Beispiel für epg2vdr Meldungen

Zitat

Nov 19 19:57:40 vdr vdr: epg2vdr: --- EPG update started ---
Nov 19 19:57:40 vdr vdr: epg2vdr: Trying to re-connect to database!
Nov 19 19:57:40 vdr vdr: epg2vdr: Starting cleanup of images in '/var/cache/vdr/epgimages'
Nov 19 19:57:40 vdr vdr: epg2vdr: Start reading hashes from db
Nov 19 19:57:40 vdr vdr: epg2vdr: Finished reading hashes from db, got 0 hashes (in 0 seconds)
Nov 19 19:57:40 vdr vdr: epg2vdr: Start reading external ids from db
Nov 19 19:57:40 vdr vdr: epg2vdr: Finished reading external id's from db, got 72 id's
Nov 19 19:57:40 vdr vdr: epg2vdr: Connection established successfull!
Nov 19 19:57:40 vdr vdr: epg2vdr: Trying to re-connect to database!
Nov 19 19:57:40 vdr vdr: epg2vdr: Trying to re-connect to database!
Nov 19 19:57:41 vdr vdr: epg2vdr: Trying to re-connect to database!
Nov 19 19:57:41 vdr vdr: epg2vdr: Start reading hashes from db
Nov 19 19:57:41 vdr vdr: epg2vdr: Finished reading hashes from db, got 0 hashes (in 0 seconds)
Nov 19 19:57:41 vdr vdr: epg2vdr: Start reading external ids from db
Nov 19 19:57:41 vdr vdr: epg2vdr: Finished reading external id's from db, got 72 id's
Nov 19 19:57:41 vdr vdr: epg2vdr: Connection established successfull!
Nov 19 19:57:41 vdr vdr: epg2vdr: Start reading hashes from db
Nov 19 19:57:41 vdr vdr: epg2vdr: Start reading hashes from db
Nov 19 19:57:41 vdr vdr: epg2vdr: Finished reading hashes from db, got 0 hashes (in 0 seconds)
Nov 19 19:57:41 vdr vdr: epg2vdr: Start reading external ids from db
Nov 19 19:57:41 vdr vdr: epg2vdr: Finished reading hashes from db, got 0 hashes (in 0 seconds)
Nov 19 19:57:41 vdr vdr: epg2vdr: Start reading external ids from db
Nov 19 19:57:41 vdr vdr: epg2vdr: Finished reading external id's from db, got 72 id's
Nov 19 19:57:41 vdr vdr: epg2vdr: Finished reading external id's from db, got 72 id's
Nov 19 19:57:41 vdr vdr: epg2vdr: Connection established successfull!
Nov 19 19:57:41 vdr vdr: epg2vdr: Connection established successfull!
Nov 19 19:57:41 vdr vdr: epg2vdr: Remove old symlinks
Nov 19 19:57:42 vdr vdr: epg2vdr: Cleanup finished, removed (532) images and (1954) symlinks
Nov 19 19:57:42 vdr vdr: epg2vdr: Update EPG, loading changes since 18.11.2014 20:18:01
Nov 19 19:57:42 vdr vdr: epg2vdr: Updated changes since '18.11.2014 20:18:01'; 72 channels, 9112 events (0 deletions) in 0.743 seconds
Nov 19 19:57:43 vdr vdr: epg2vdr: Load images from database
Nov 19 19:57:44 vdr vdr: epg2vdr: Got 349 images from database in 1 seconds (0 updates, 349 new)
Nov 19 19:57:44 vdr vdr: epg2vdr: --- EPG update finished ---

Alles anzeigen

was sagt ein

grep epg2vdr setup.conf

?

Christian

Das steht dort drinnen

Zitat

epg2vdr.ActiveOnEpgd = 0
epg2vdr.Blacklist = 0
epg2vdr.DbHost = localhost
epg2vdr.DbName = epg2vdr
epg2vdr.DbPass = epg
epg2vdr.DbPort = 3306
epg2vdr.DbUser = epg2vdr
epg2vdr.LoadImages = 1
epg2vdr.LogLevel = 1
epg2vdr.MasterMode = 1
epg2vdr.ScheduleBoot = 0
epg2vdr.ShowInMainMenu = 1
epg2vdr.Uuid = SNIPSNAP
scraper2vdr.mysqlDBName = epg2vdr
scraper2vdr.mysqlDBUser = epg2vdr

Alles anzeigen

Marten

das der VDR das relevante Patch hat ist sichergestellt - oder nutzt du 2.1.x ?

Christian

Danke, der Tipp war Goldwert. Natürlich hatte ich den vdr gepatcht, aber das hatte ich vor einer Woche beim apt-get upgrade vergessen und damit wieder die ungepatchte Version. Jetzt funktioniert wieder alles....

Marten

Hallo zusammen,

ich hab folgendes Problem
epgd: SQL-Error in 'createIndices()' - Index column size too large. The maximum column size is 767 bytes. (1709) '' [create index idxmovietitle on movie(movie_title);]

Ich verwende mariadb und habe auch schon den Parameter innodb_large_prefix=ON gesetzt.

Was kann ich noch tun ?

kann ich nicht sagen, hab kein Maria im Einsatz

Sicher hast du eine größere Aussicht auf Hilfe wenn du einen eigenen Thread mit einem aussagekräftigen Subject erstellst.

Christian

Zitat von ALT255

Hallo zusammen,

ich hab folgendes Problem
epgd: SQL-Error in 'createIndices()' - Index column size too large. The maximum column size is 767 bytes. (1709) '' [create index idxmovietitle on movie(movie_title);]

Ich verwende mariadb ...

Tja, solche Fehler passieren halt, wenn man meint, mit aller Gewalt Plagiate verwendenden zu müssen, anstatt einfach das original MySQL zu verwenden.

Zitat von 3PO

Tja, solche Fehler passieren halt, wenn man meint, mit aller Gewalt Plagiate verwendenden zu müssen, anstatt einfach das original MySQL zu verwenden.

Wieder mal eine hilfreiche Antwort. Nicht, dass das auch bei mysql auftreten kann. Kannst ja mal das probieren: http://forums.mysql.com/read.php?22,613571,613619#msg-613619

ich vermute eher das er kein UTF8 Environment beim start des epgd anzieht in seiner Session, dadurch passen dann die Längen nicht so recht

Ist aber nur ein Schuss ins Blaue

Christian

Zitat von 3PO

Tja, solche Fehler passieren halt, wenn man meint, mit aller Gewalt Plagiate verwendenden zu müssen, anstatt einfach das original MySQL zu verwenden.

Ja mag sein, hab es aber auch mit mysql dasselbe Problem, außerdem ist das wirklich gute an Open Source Software das man die Wahl hat. Wer von dem "Standard" weg geht muss sich halt selber drum kümmern, dennoch kann man fragen ob jemand das Problem schon kennt ...
Jedem das sein, und wer nicht helfen will braucht es sicher nicht.

Zitat von CKone

ich vermute eher das er kein UTF8 Environment beim start des epgd anzieht in seiner Session, dadurch passen dann die Längen nicht so recht

Ist aber nur ein Schuss ins Blaue

Christian

Das wäre noch ne Idee, wobei wenn ich die DB mit latin1 erstelle gehen die Statements nachher nicht, da sie UTF8 encodiert sind.
Ich werde es mal testen...

nein, die DB muss so eingestellt sein und im passenden environment gestartet werden wie die VDR die daraus lesen und schreiben, bei mir zB so:

root@PowerEdge:/etc/init# cat epgd.conf

start on (started mysql and local-filesystems and net-device-up IFACE!=lo)
stop on stopped epgd


script


export LANG="de_DE.UTF-8"


exec /usr/src/epgd/epgd -n -p /usr/src/epgd


end script

Christian

Zitat von TheChief

Wieder mal eine hilfreiche Antwort. Nicht, dass das auch bei mysql auftreten kann. Kannst ja mal das probieren: http://forums.mysql.com/read.php?22,613571,613619#msg-613619

Super vielen dank, das hat mir geholfen.
Ich habe die movie* tabellen geändert und den indes dann erstellen können.
Und jetzt flutscht epg2vdr wie nochmal was

Also auch wenn du über meine Bitte nach einem eigenen Thread geflissentlich hinweg gehtst und stattdessen weiter unseren vollspammst:

Zitat von ALT255

epgd: SQL-Error in 'createIndices()' - Index column size too large. The maximum column size is 767 bytes. (1709) '' [create index idxmovietitle on movie(movie_title);]

Ich verwende mariadb und habe auch schon den Parameter innodb_large_prefix=ON gesetzt.

Der Index idxmovietitle geht auf das Feld movie_title der Tabelle movie mit einer Feldlänge von 255

Ergo hast du deine Maria immer noch nicht richtig am Start mit der UTF8 Konfiguration, offensichtlich kann ja wenn alles so wäre wie es sein soll der Index nicht länger als 255 max sein.

Außerdem hätten dutzende andere User ein ähnliches Problem.

Ist mir aber auch egal

Christian

Hallo,

ich wollte gerade mal über das OSD meine DB bereinigen, da ist mir der VDR weggesemmelt:

Dec 14 12:53:16 nastom vdr: scraper2vdr: Cleaning up recordings in database...
Dec 14 12:53:19 nastom vdr: scraper2vdr: SQL-Error in 'H�X#010�@#020' - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'H?X#010?@#020' at line 1 (1064) 
Dec 14 12:53:19 nastom kernel: [149785.133941] update thread s[11306]: segfault at 7f04ac000000 ip 00007f04af506270 sp 00007f045bff69a8 error 4 in libc-2.15.so[7f04af483000+1b5000]
Dec 14 12:53:19 nastom runvdr: restarting VDR

VDR 2.0.6
scraper2vdr 0.1.5
epg2vdr 0.1.10

ist was für louis, kann ich so nichts zu sagen - hab ich auch noch nicht gesehen.

Christian

Ne andere Frage.

Ich möchte erreichen, das er mir eine scrapinfo Datei einliest und den Film neu scraped. Muss ich danach die DB bereinigen, damit die neuen Infos auch im VDR ankommen?
Die ID des Films habe ich aus dem URL in themoviedb.org (https://www.themoviedb.org/mov…-the-adventures-of-tintin). Ist das so richtig?

movie
id = 17578

In der DB steht 'Tim und Struppi 2'. Dabei gibt es den ja noch gar nicht
Die scrapinfo Datei liegt im Aufnahmeverzeichnis neben der .ts usw. der Aufnahme.

ne das war nicht genaz trivial wenn falsch gescraped ist, da müssen ein paar Felder auf der recording Tabelle zurückgesetzt werden damit er neu scraped. - Hmm. irgendwo hatte ich das damals mal aufgeschrieben.

wenn gar nichts gefunden wurde dann geht das in der Tat so wie du schreibst.

Christian