[Announce] epgd 0.2.0, scraper2vdr 0.1.0, Happy Easter Eggs

    gerald:


    der SQL Fehler ist nach dem drop auch weg, da ist mir ein Feld ins git gerutscht das noch nicht rein sollte :o


    Ist inzw. schon wieder raus, wenn es dir dir schon mal angelegt wird schadet aber nicht!


    Jörg

    Bei mir gibt es das Feld nicht. Anscheinend hat sich im git aber wieder so viel getan, dass ich hinten dran bin. Ich nehme an, das Feld ist neu hinzugekommen. Dann sollte man droppen.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

    Zitat von TheChief

    Bei mir gibt es das Feld nicht. Anscheinend hat sich im git aber wieder so viel getan, dass ich hinten dran bin. Ich nehme an, das Feld ist neu hinzugekommen. Dann sollte man droppen.


    das Feld war mal kurz im GIT, mein Fehler ;)

    Bin ich der Einzige be dem der VDR auf Vollast geht, wenn er aktualisiert?
    Ich hatte ein -dropall gemacht und den Igel alles neu holen lassen - Und während ich Schicht hatte, hatte ich auf dem VDR epg2vdr und scraper2vdr deaktiviert um ihn nicht bei seiner Arbeit zu stören...
    Nun habe ich die epg.data, alle epgimages und die Scraperbilder gelöscht und mit den aktivierten Plugins neu gestartet. Sofort über 100% Last und heulende Lüfter. Ist das normal und vielleicht nur beim ersten Abgleich so?

    Also wenn er die ganzen 5GB Bilder in einem Rutsch holt dann kann das ganz kurz auftreten bis die da sind, ansonsten eher nicht.


    Wenn der Igel die aber nicht so schnell rausrückt dann kann ganz kurz VLlt auch länger sein. Was sagen denn die anderen dazu und blockiert der VDR während dieser Zeit: hoffe doch nicht?


    Jörg hatte dazu aber auch noch ein paar Indices gesetzt weiß aber nicht ob das schon im Git bzw im yavdr Repo ist, vltt kann Louis dazu kurz was sagen?


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



    Zitat von Taipan

    Bin ich der Einzige be dem der VDR auf Vollast geht, wenn er aktualisiert?
    Ich hatte ein -dropall gemacht und den Igel alles neu holen lassen - Und während ich Schicht hatte, hatte ich auf dem VDR epg2vdr und scraper2vdr deaktiviert um ihn nicht bei seiner Arbeit zu stören...
    Nun habe ich die epg.data, alle epgimages und die Scraperbilder gelöscht und mit den aktivierten Plugins neu gestartet. Sofort über 100% Last und heulende Lüfter. Ist das normal und vielleicht nur beim ersten Abgleich so?


    Wer ist denn der Igel? :D Was für eine Netzwerkgeschwindigkeit hast du denn zwischen deinem Igel und deinem VDR? Beim ersten Kopieren der Bilder von der DB ins lokale FS muss natürlich alles kopiert werden, das kann ein bisschen dauern...wenn erst mal alles kopiert ist, werden nur noch die Änderungen kopiert, das geht bei mir innerhalb von ein paar Sekunden...


    Die Indices auf epgd Seite sind schon im Git, das kann durchaus was bringen. Ich werde jedoch heut im Laufe des Tages noch ein bisschen was anpassen, vielleicht mit dem Update noch ein bisschen warten oder zweimal machen ;)


    Ciao Louis

    Moin,


    vielen dank an alle beteiligten, VOLL COOL!


    louis - die Treffer-Quote mit dem neuen Scraper hat sich bei mir deutlich erhöht. Jetzt hat sogar "Rudolf mit der roten Nase" sein Cover bekommen ;)


    Leider bin ich mit 10GB für / auch sehr knapp unterwegs.
    Deswegen habe ich mir mit ein paar Symlinks etwas Luft verschafft.
    Nun habe ich hier aber noch eine zweite 10GB Partition in reserve und überlege grade wie ich das am saubersten einrichte.
    Ich könnte die zwei Partitionen einfach zusammenlegen. Komme ich mit den 20GB dann erstmal aus?


    Mit wie viel Speicherbedarf für /usr/lib/mysql und /var/cache/vdr muss ich etwa rechnen?


    Gruß S.

    Zitat von Saman

    [...] Mit wie viel Speicherbedarf für /usr/lib/mysql und /var/cache/vdr muss ich etwa rechnen? ...


    Bei sind es mit TVM und epgdata für Astra und Hotbird und dem Scraper ~5GB.


    Code
    server01 ~ # du -h /var/lib/mysql/epg2vdr
5,0G    /var/lib/mysql/epg2vdr
server01 ~ #


    Der Scraper gönnt sich auf dem VDR ~3,8 GB


    Code
    vdr01_64 ~ # du -d1 -h  /var/cache/vdr/plugins/scraper2vdr
2,1G    /var/cache/vdr/plugins/scraper2vdr/series
1,8G    /var/cache/vdr/plugins/scraper2vdr/movies
3,8G    /var/cache/vdr/plugins/scraper2vdr
vdr01_64 ~ #


    Die EPG Bilder brauchen nochmal ~200 MB.


    Code
    vdr01_64 ~ # du -h /var/cache/vdr/epgimages
184M    /var/cache/vdr/epgimages/images
203M    /var/cache/vdr/epgimages
vdr01_64 ~ #

    Hi Saman, alter Patchschreiber, lange nichts mehr gehört ;)


    Liegt der epgd und die mysql DB auf einer separaten Maschine? Die DB selbst sollte was ich bisher so gehört habe beim "vollen Programm" (also alles mit externem EPG, was tvm / epgdata so hergibt) bei ca. 5GB liegen. Bei mir selbst sind es so ca. 2,5 GB, ich habe aber z.B. keine Sky Sender...


    Was du noch berücksichtigen musst, dass die Bilder auf dem VDR selbst ja auch nochmal aus Performancegründen aus der DB ins lokale FS kopiert werden, da brauchst du also nochmal den gleichen Platz...deshalb die Frage, wo der epgd läuft.


    Ihr hantiert ja alle mit ganz schön kleinen Partitionen ;)


    Ciao Louis

    Guten Morgen,
    Mein Igel ist ein ThinClient (Neoware Igel 5/4, 1GHz und 1GB RAM) Netzwerk ist 100MBit aber heute morgen ist Ruhe, scheint wirklich das die enorme Menge an Daten beim Erstabgleich schuld war und das waren ja wirklich ALLE Daten inkl. Bilder!

    Zitat von Taipan

    Guten Morgen,
    Mein Igel ist ein ThinClient (Neoware Igel 5/4, 1GHz und 1GB RAM) Netzwerk ist 100MBit aber heute morgen ist Ruhe, scheint wirklich das die enorme Menge an Daten beim Erstabgleich schuld war und das waren ja wirklich ALLE Daten inkl. Bilder!


    Ok, prima ;) Kommt halt schon ein bisschen was zusammen...ein 100M Netz braucht da auch etwas. Wie lange dauert bei dir denn das Laden der Infos beim Start vom scraper2vdr Plugin (steht im Log)?


    Ciao Louis

    Auweia, das geht ja garnicht, nach dem Neustart:


    Die Frage wäre, muss man wirklich alles aus der DB auf den Client laden oder genügt es nicht, die Info erst zu holen, wenn die benötigt werden., also zum Beispiel, wenn man ins EPG schaut. Weiss aber nicht, ob dann eventuell die Menüs oder EPG ansicht lahm werden.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

    In der Zeitabfolge. Meine Bebilderten Aufnahmen und Serieninfos stehen damit nach einer viertel Stunde erst zur Verfügung - Und das nach jedem Neustart...

    Zitat von 3PO


    Wo siehst Du da einen Fehler? ?(


    Der "Fehler" ist wohl, dass es 20 min dauert.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

    Taipan: war das der allererste Start oder waren die Bilder da schon lokal auf der Platte? Das ist natürlich arg langsam :( Muss ich mal schauen ob ich da noch was optimieren kann...wobei die Infos, die schon geladen sind, auch angezeigt werden. Vielleicht sollte ich die Aufnahmen zuerst laden und dann die EPG Events, und die dann auf jeden Fall in einer zeitlichen Abfolge, dass die aktuellsten am Anfang geladen werden.


    TheChief: das laden bei Bedrf würde den Skin schon arg ausbremsen...genau das möchte ich eigentlich vermeiden.


    Ciao Louis

    Nun, dafür, dass die Hardware lahm ist, kann das Plugin ja nichts. ;)


    Code
    Apr 18 09:51:38 [vdr] scraper2vdr: Loaded 34194 new Series and Episodes in 68s from Database
Apr 18 09:51:38 [vdr] scraper2vdr: Loading new Movies from Database...
Apr 18 09:51:45 [vdr] scraper2vdr: Loaded 2060 new Movies in 7s from Database
Apr 18 09:51:45 [vdr] scraper2vdr: Loaded 114 new Recordings from Database, 6 series, 51 movies
Apr 18 09:51:45 [vdr] scraper2vdr: Searching for new recordings because of Recordings State Change...
Apr 18 09:51:45 [vdr] scraper2vdr: found 0 new recordings
    Zitat von 3PO

    Nun, dafür, dass die Hardware lahm ist, kann das Plugin ja nichts. ;)


    Aber das Plugin kann es ggf. für lahme Hardware noch besser machen ;) Ich schau mal ob ich da noch was optimiert bekomme...


    Ciao Louis

    Also es ist der zweite Start gewesen und mittlerweile startete ich das dritte mal. Der Erstabgleich ist letzte Nacht gelaufen in dem alle Parteien Zeit genug hatten.
    Ist ja durchaus möglich das die Hardware überfordert ist, allerdings möchte ich nichts unversucht lassen bevor ich mich davon trenne bzw. vom Plugin trenne...


Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden