[Announce] epgd 0.2.0, scraper2vdr 0.1.0, Happy Easter Eggs

CKone · 11. Mai 2014

ich auch, muss mal schnell was nachschauen

CKone · 11. Mai 2014

also der Fehler kommt bei epgdata nicht bei tvm, und es liegt vermutlich daran, dass ß in der epgdata-genre.xml anders kodiert werden muss damit das mit dem xslt funktioniert...

Christian

CKone · 11. Mai 2014

kannst du mal bitte versuchen in der epgdata-genre.xml die Zeile 270 durch diese zu ersetzen?

Code

<g1>Fu&szlig;ball</g1>

ist mal schnell ein Schuss ins Blaue, aber mit dem Ampersand funktionierte das auch auf diesem Weg

Christian

jm24 · 11. Mai 2014

Zitat von CKone
kannst du mal bitte versuchen in der epgdata-genre.xml die Zeile 270 durch diese zu ersetzen?
Code
Fußball
ist mal schnell ein Schuss ins Blaue, aber mit dem Ampersand funktionierte das auch auf diesem Weg

Christian

Hat nichts gebracht.
(hab aber zur Sicherheit trotzdem noch in epg Beschreibungen geschaut, dort passt das ß)

CKone · 11. Mai 2014

ich glaub das kannst du nur mit nem epgd-dropall testen oder wenn du ein paar Tage wartest - einmal verarbeitete Daten werden nicht noch einmal aus der Datei gelesen, neue sollten kaum kommen da die bei epgdata am Wochenende meist keine Updates schicken. - In jedem Fall wird sich das epg verändern, entweder wird es richtig oder ganz falsch

Ich teste das bei mit mal mit, hab ne Idee wie ich das austricksen kann mit dem update.

Christian

CKone · 11. Mai 2014

funktioniert hier, so sah die DB vorher aus:

Code

count(*)     genre              source    
 -----------  -----------------  --------- 
 684          FuÃball           epgdata   
 464          Fußball            tvm       
 48           Fußballmagazin     tvm

und so nach der Änderung bei der ich einen Tag epgdata aktualisiert habe;

Code

count(*)     genre           source    
 -----------  --------------  --------- 
 634          FuÃball        epgdata   
 54           Fußball         epgdata   
 464          Fußball         tvm       
 48           Fußballmagazin  tvm

Wir checken das nächste Woche ein.

Danke für die Erinnerung: ich hatte das schon vorher gesehen, war dem aber nicht nachgegangen...

Christian

jm24 · 11. Mai 2014

Uups, kein Problem, probier ich gleich, dann sehen wir ja was passiert.

jm24 · 11. Mai 2014

Ja passt, auch bei mir jetzt wunderbar.
Danke.

Johannes

nvertigo · 11. Mai 2014

Zitat von louis

Ingo: lösche doch nochmal das komplette Bilderverzeichnis /var/vdr/scraper2vdr-images und schaue, ob beim Naustart des VDR alle Bilder neu kopiert werden. Das dauert ein bisschen, schau mal ins Log, da steht drinn was das Plugin gerade so treibt...mir ist ein solcher Effekt noch nicht aufgefallen.

Ich gehe davon aus, dass das bei allen Bildern so ist? Oder nur vereinzelt?

Ciao Louis

Du erwartest jetzt bitte keine Aussage über ca. 250 Sender in channelmap.conf und 14 Tage im voraus, die "alle" und "keine einzige" enthält?

Meine folgenden Aussagen beziehen sich auf meine Aufnahmen: Alle Serien, die "Bildergalerie" anzeigen haben keine Bilder dort, erzeugen aber die Fehlermeldungen über den Versuch Bilder zu laden, wenn ich in die Bildergalerie gehe (BTW: tolle Idee die Detailansicht aufzubrechen!). Alle Filme funktionieren korrekt!

Nach Stichproben im epg verhält es sich genauso - aber da kann ich keine flächendeckende Aussage aabgeben.

Das Löschen des Scraper-Verzeichnisses habe ich schon ausprobiert (mehrfach), bevor ich über 3g neu gescrapt habe. Und ebenso vor dem neu-Scrapen selbst.

Ich habe dropall ohne epg-images ausgeführt, und folgendes gemachT:

Code

mysql -u epg2vdr -pepg -Depg2vdr -e 'drop table series;'
mysql -u epg2vdr -pepg -Depg2vdr -e 'drop table series_episode;'
mysql -u epg2vdr -pepg -Depg2vdr -e 'drop table series_actor;'
mysql -u epg2vdr -pepg -Depg2vdr -e 'drop table series_media;'
mysql -u epg2vdr -pepg -Depg2vdr -e 'drop table movie;'
mysql -u epg2vdr -pepg -Depg2vdr -e 'drop table movie_actors;'
mysql -u epg2vdr -pepg -Depg2vdr -e 'drop table movie_actor;'
mysql -u epg2vdr -pepg -Depg2vdr -e 'drop table movie_media;'
mysql -u epg2vdr -pepg -Depg2vdr -e 'drop table recordings;'

Danach waren im mysql/epg2vdr die *.ibd Dateien weg - aber einige *.frm Dateien blieben übrig. Steht da vieleicht noch Schrunz mit veralteten ids drin?

Gruß, Ingo

louis · 11. Mai 2014

Ingo: brrr...keine Ahnung. Die Serien- und Movie Tabellen in der mysql DB solltest du eh nie anfassen geschweige denn löschen. Ein epgd-dropall genügt, um die DB in den Ausgangszustang zurückzuversetzen, die Scraper Tabellen sind nur Abbilder der Online DBs inklusive derer IDs, da bringt ein Löschen nichts.

Aber da du es jetzt eh kaputt gemacht hast, kill doch einfach nochmal alles komplett und starte "from scratch"...

Zum Verständnis: beim Start des scraper2vdr Plugins werden alle Filme und Serien in den Speicher geladen, dabei wird auch geprüft, ob die dazu Bilder schon passend im lokalen Dateisystem liegen. Falls dies nicht der Fall ist, werden die aus der DB in das lokale FS kopiert. Wenn du also das Verzeichnis komplett löscht, musst du nicht neu scrapen, die Bilder sind ja noch in der DB vorhanden...

Ciao Louis

nvertigo · 11. Mai 2014

Zitat von louis

Aber da du es jetzt eh kaputt gemacht hast, kill doch einfach nochmal alles komplett und starte "from scratch"...

...Sätze, die man bei 5GB Volumen-Begrenzung nicht lesen will...

Nur damit wir uns richtig verstehen - Du meinst:

Code

/etc/init.d/vdr stop
/etc/init.d/epgd stop
epgd-tool -del-db
epgd-tool -new-db
/etc/init.d/epgd start
rm -r [scraper-verzeichnis,epgdata,epgimages]
/etc/init.d/vdr start

louis · 11. Mai 2014

Jo aber warte vor dem VDR start, bis der epgd fertig gescrapt hat. Das kann schonmal ne Stunde dauern

Ciao Louis

nvertigo · 11. Mai 2014

Nö, dauert bei mir 4 bis 6 h. Aber ich werde wohl nicht umhin kommen - hier mischt es auch nicht mehr:

Code

epgd-showmerge
+---------------+--------+
| count(source) | source |
+---------------+--------+
|         83857 | tvm    |
+---------------+--------+
+----------+--------+--------+
| count(*) | source | updflg |
+----------+--------+--------+
|    80671 | tvm    | A      |
+----------+--------+--------+

Alles anzeigen

louis · 11. Mai 2014

Ein Volumentarif ist auch suboptimal...und 3G auch.

Ciao Louis

CKone · 11. Mai 2014

Zitat von nvertigo
Außerdem ist mir aufgefallen, dass in der mysql offenbar mehr Bilder-Daten sind, als durch den scraper im FS ankommen:
Code
du -sm /var/vdr/scraper2vdr-images/ ./series_media.* ./movie_media.*
1692    /var/vdr/scraper2vdr-images/
1       ./series_media.frm
2085    ./series_media.ibd
1       ./movie_media.frm
1169    ./movie_media.ibd
Meine IP-Anbindung läuft über 3g, aber das Daten holen scheint ja zu funktinieren.

Mit den Easteregg commits von vor ca. 2 Wochen hatte es funktiniert - da hatte ich auch ca. 3,5 GB Daten im FS.

Gruß, Ingo
Alles anzeigen

Nur mal schnell zur Info Ingo, wir hatten das letztens mit dem ofenheizer mein ich: die Größe der DB kannst du nach einem drop database nicht an der Größe des /var/lib/mysql Verzeichnisses ausmachen, Tablespace den sich die mysql einverleibt hat gibt sie durch einfaches droppen der DB nicht wieder her.

Wenn ich die Größe der DB prüfe dann meist mit diesem SQL:

SQL

SELECT 
  table_schema AS 'Datenbankname',
  Round( SUM( data_length ) / 1024 / 1024, 3 ) AS 'Daten (MB)',
  Round( SUM( index_length ) / 1024 / 1024, 3 ) AS 'Index (MB)',
  Round( Sum( data_length + index_length ) / 1024 / 1024, 3 ) AS 'Gesamt (MB)',
  Round( Sum( data_free ) / 1024 / 1024, 3 ) AS 'Freier Speicher (MB)'
FROM information_schema.tables
GROUP BY table_schema ;

Code

Datenbankname       Daten (MB)     Index (MB)     Gesamt (MB)     Freier Speicher (MB)    
 ------------------  -------------  -------------  --------------  ----------------------- 
 epg2vdr             5100,656       150,344        5251            720                     
 information_schema  0              0,009          0,009           0

und es ist auch durchaus üblich nicht der gesamte Content auf dem vdr liegt, ich meine louis orientiert sich an den Daten die derzeit benötigt werden. Hier sind beispielsweise nur 3.8Gb auf den Clients...

Christian

3PO · 11. Mai 2014

Oder so:

Code

server01 ~ # mysql -u root -p -e 'select table_schema "Database",round(sum(data_length+index_length)/1024/1024,4) "Size (MB)" from information_schema.tables group by table_schema;'
Enter password:
+--------------------+-----------+
| Database           | Size (MB) |
+--------------------+-----------+
| epg2vdr            | 5761.5938 |
| information_schema |    0.0078 |
| mysql              |    5.4614 |
| test               |    1.9579 |
| videodb            |    0.0297 |
+--------------------+-----------+
server01 ~ #

Alles anzeigen

nvertigo · 11. Mai 2014

Code

mysql # mysql -e 'select table_schema "Database",round(sum(data_length+index_length)/1024/1024,4) "Size (MB)" from information_schema.tables group by table_schema;'
+--------------------+-----------+
| Database           | Size (MB) |
+--------------------+-----------+
| bacula             |    0.1302 |
| cacti              |    0.4555 |
| epg2vdr            | 3567.1406 |
| information_schema |    0.0078 |
| mediatomb          |  160.6595 |
| mysql              |    0.5730 |
| mythconverg        |    0.1561 |
| xxv                |    2.4648 |
+--------------------+-----------+

Alles anzeigen

Stimmt schon weitgehend mit den Dateien überein. Aber wie gesagt, hier zickt einiges, auch das Mischen. Ich lasse jetzt den vdr ohne epg2vdr und scraper2vdr laufen, lösche die epg2vdr db, lege sie neu an, kaufe Volumen und starte den epgd neu...

Danke für Eure Hilfe.

3PO · 11. Mai 2014

Zitat von nvertigo

[...] kaufe Volumen ...

Das würde ich mir gut überlegen, denn bei denn allermeisten Anbietern wirst Du ab 500MB auf 64KB/s gedrosselt.

Falls das bei Deinem Anbieter nicht so ist, hast Du Glück.

nvertigo · 11. Mai 2014

Habe 5GB - weitere 5GB 20€. Bei 64kb sind - ohne Scraper - die epg-daten ja erst nach Ende der Sendungen, für die man die Daten holt, vorhanden... Leider gibt es auf dem Campingplatz, auf dem ich z.Z. lebe, kein DSL.

BooStar · 11. Mai 2014

Solle ich meine DB-Files auf eine DVD brennen und dir zuschicken ? Ist vllt schneller als mit 64kb... SCNR...mein Beileid..

[Announce] epgd 0.2.0, scraper2vdr 0.1.0, Happy Easter Eggs

Jetzt mitmachen!

Teilen