[Announce] epgd 0.2.0, scraper2vdr 0.1.0, Happy Easter Eggs

  • Die Kombo epg2vdr und epgd ist genial - Vielen Dank an die Entwickler! EIne Administration der Channelmap per Web-Interface wäre sicher schön.
    scraper2vdr brauche ich eher nicht - die vdr laufen alle unter xbmc mit vnsi "oben drauf" - genial wäre natürlich wenn xbmc / vnsi / der Skin die Info's darstellen könnte.


    Ich werde das über einen recording hook lösen, der zieht die Images aus der DB und schreibt einer NFO Datei. Unter xbmc benutze ich dann den local scraper, der nur auf die Platte zugreift.


    Gerald


    HP Proliant MicroServer Gen8, Xeon E3-1230, 12 GB RAM, 3xWD red 2TB im RAID 5, 2xSundtek MediaTV Home DVB-C/T, L4M TWIN-C/T, Ubuntu Server 14.04.1, Plex Media Server
    Samsung UE55H6470

  • Die Kombo epg2vdr und epgd ist genial - Vielen Dank an die Entwickler! EIne Administration der Channelmap per Web-Interface wäre sicher schön.
    scraper2vdr brauche ich eher nicht - die vdr laufen alle unter xbmc mit vnsi "oben drauf" - genial wäre natürlich wenn xbmc / vnsi / der Skin die Info's darstellen könnte.


    Wenn du die beiden Optionen "ScrapEPG" und "ScrapRecordings" in der epgd.conf auf 0 setzt, merkst du 0,0 vom scraper :D


    Ciao Louis

  • louis
    :tup Dankeschön jetzt hab auch ich es begriffen :D

  • Hallo zusammen,


    auch von mir an dieser Stelle vielen Dank für dieses geniale Feature.
    Es installiert zwar noch, aber ich gehe mal stark davon aus das es wunderbar funktionieren wird.
    Eigentlich wie fast immer wenn ihr was in die Hand nehmt. Danke nochmal an alle Beteiligten.


    Achja...

    Quote

    Hi,


    VDR-Menü ist an der Stelle schwierig, ist beides eine Einstellung für die zentrale Server Komponente (dem epgd). Für die Channelmap ist bereits eine anwenderfreundliche Konfiguration geplant, sogar schon begonnen - das wird aber aus aktueller Sicht vermutlich Herbst bis wir etwas veröffentlichen können.


    Das SQL ist so gedacht das sich jeder über die View das EPG gestallten kann wie er mag, wir liefern bereist mehrere unterschiedliche Darstellungen aus. Wenn du konkrete Wünsche hast wird Christian als unser SQL Profi sicher eine View erstellen die wir zusätzlich in das Paket aufnehmen.


    Wenn das mal kein Komfort ist, dann weiss ichs auch nicht ;)


    Gruß
    Andreas


    [size=10]nOpacity: Icons
    [size=10]skindesigner: tryoutsglassy

  • Servus,


    also die Kombi läuft schon sehr schön.
    Leider habe ich damals wohl meine root-Partition etwas zu klein gewählt und diese ist nun zu 100% voll gelaufen :-(
    Werde daher erstmal das scrapen in der epgd.conf deaktivieren.


    Wie bekomme ich denn jetzt die DB wieder von den gescrapten Daten befreit?
    ein epgd-dropall scheint da nichts zu bewirken.


    Danke und Gruss.
    Markus

  • Das script ist auch noch nicht angepasst nehm ich an.


    Denke mal sowas in der Richtung:

    Code
    1. truncate table series;
    2. truncate table series_episode;
    3. truncate table series_actor;
    4. truncate table series_media;
    5. truncate table movie;
    6. truncate table movie_actors;
    7. truncate table movie_actor;
    8. truncate table movie_media;
    9. truncate table recordings;


    Oder halt das mysql-Daten-Verzeichnis auf ne andere Partition verschieben.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • Hm,


    die Befehle haben nix bewirkt.

  • Hallo zusammen,


    zunächst einmal vielen Dank an alle Beteiligten, für das tolle neue Feature!


    Es gibt ein scrapinfo File pro Aufnahmeverzeichnis.


    Ist es möglich (und ich habe es nur nicht gefunden oder wäre es möglich, das einzubauen) mittels scrapinfo-File (oder einem anderen Mechanismus) einen kompletten Verzeichnisbaum innerhalb des Aufnahmeverzeichnisses vom scraper ausschließen zu können?


    Vielleicht mit einem Eintrag "ignore" im scrapinfo-File, der dafür sorgt, dass der Scraper dieses und alle Unterverzeichnisse ignoriert?


    Viele Grüße,
    Alex

  • ofenheizer : du kannst auch per "drop table xxx" die Tabellen löschen...was sagt denn z.B. ein "select count(*) from series"?


    Läuft bei dir die DB auf dem VDR oder auf einer separaten Maschine? Auf dem VDR hast du ja in dem Bilder Cache Verzeichnis vom scraper2vdr Plugin auch nochmal alle Bilder im lokalen FS liegen...die kannst du dann auch erst mal wieder killen.


    Btw: Jörg hat vorhin gesehen, dass unter yaVDR die gescrapten Bilder mit in das EPGImages Verzeichnis abgelegt werden...also müssen die yaVDR Nutzer da suchen.


    Noch was generelles: Es ist eigentlich NIE nötig, die scraper Tabellen in der DB zu löschen!!!!! Wenn man mal "neu" starten will, genügt es, die üblichen Tabellen (insb. die events Tabelle) und die recordings Tabelle zu löschen. Dann ist auch der scraper Teil "resettet". Die ganzen "series" und "movie" tabellen stellen ein Abbild der Online Dienste (thetvdb, themoviedb) dar für die Filme und Serien, die aktuell im EPG oder in den Aufnahmen verfügbar sind. Wenn man die Löschen würde, würden die genau gleich wieder neu befüllt...das macht also keinen Sinn. Ausserdem geht das initiale scrapen wesentlich schneller, wenn die Daten schon in der DB sind, und der Traffic zu den Online Diensten wird auch geringer gehalten.


    Ciao Louis


  • Das steht schon auf der Todo Liste...wird bald kommen ;)


    Ciao Louis

  • Hi Louis


    Das steht schon auf der Todo Liste...wird bald kommen ;)


    Spitze, vielen Dank, für die schnelle Antwort :-)


    bye, Alex

  • louis
    mysql> select count(*) from series;
    +----------+
    | count(*) |
    +----------+
    | 0 |
    +----------+
    1 row in set (0.00 sec)


    Die ganzen Bilder unter /var/cache/vdr/ habe ich alle schon gelöscht. Brauchte ja ein bissl Platz :-).
    Aber in der DB müssen ja auch noch irgendwo die gescrapten Daten liegen.
    Aktuell habe ich 85% belegt, vor dem vielen scrapen waren es 58% ... also muss noch was in der DB stecken.


    Gruss.
    Markus

  • ofenheizer : die Tabellen vom Chief sind vollständig, das sind alle Tabellen, die der Scraper benutzt...hast du sie nun gedropt oder getruncated. Bei truncate musst du wohl auch optimize machen, damit der Speicher wirklich freigegeben wird...


    Ciao Louis

  • Alternativ geht auch noch delete from <table>.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • In der Datenbank in den _media-Tabellen. Wenn Du sie im Dateisystem haben willst, brauchst Du das scraper2vdr Plugin auf dem Server.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • Ähm... wo werden jetzt die gescrapten Bilder auf dem Server abgelegt?

    In der MySQL-Datenbank in den Tabellen movie_media und series_media

    yaVDR-Dokumentation (Ceterum censeo enchiridia esse lectitanda.)

  • ofenheizer : die Tabellen vom Chief sind vollständig, das sind alle Tabellen, die der Scraper benutzt...hast du sie nun gedropt oder getruncated. Bei truncate musst du wohl auch optimize machen, damit der Speicher wirklich freigegeben wird...


    Ciao Louis


    nur truncate, so wie der chef es geschrieben hat.
    also alles nochmal mit einem drop machen?