[gelöst] Epgd hohe last am MYSQL Server

  • Hallo Leute,


    hab dank eurer Hilfe den EPGD erfolgreich am laufen. Das Problem: Der EPGD geht ganz schön ab. Wenn sich epgd grad mal die aktuellen Daten holt: 8000 selects per second, QPS: 895 Hierbei geht dann das i/O auch schon rauf. Bei normalen VDR-Abfragen, habe ich so 200 selects per second, und so im Durchschnitt 32 OPS. Ist das normal? Hier meine Config:


    Hab den epgd mit tvm konfiguriert. VDR und auch das Liveinterface holen sich die Daten. Beides läuft der gleichen physikalischen Maschine. Der VDR ist eine eigene VM und der MYSQL Server auch. Wobei beides auf eigenen SAScontrollern angschlossen sind, und der VDR auch auf einer SSD läuft. Der MYSQL Server läuft auf einem Raid10 mit 6 Stück SATA WD Red Pro Platten. Ich habe den VDR auf die SSD gegeben weil ich immer wieder Störungen hatte die durch I/O des Raids verursacht wurden. Nachdem verschieben war da Ruhe im Lande.


    Jetzt nachdem EPGD seine Dienste tut habe ich ein sehr hohes I/O und das stört durch, warum auch immer, technisch kann ich nicht sagen warum das so ist. Aber so wie es aussieht ist dieses digitale HD Signal wohl sehr empfindlich.


    Also habt ihr auch so eine Last am MYSQL oder nicht? Habt ihr das ganze anders konfiguriert (ich lies beim epgd alles default)? Ist die Datenbank event. nicht ausreichend optimiert sodas bei jedem select alles durchsucht wird (könnte man dann ja theoretisch verbessern in dem man nur Daten von den Sendern suchen lässt die man auch wirklich hat). Oder fährt ihr generell Datenbank und VDR physikalisch getrennt?


    Vielen Dank und lg

    System: Gentoo VDR auf Proxmox virtualisiert im LXC
    Sundtek SkyTV Ultimate Dual

    Edited once, last by looking111 ().

  • Also die Leistungsfähigkeit einer DB ist abhängig von CPU, Ram und I/O - kombiniert mit der Arbeit die sie verrichten muss. In meinen Tests war auch mysql immer performanter als mariaDB.


    Wenn du schon eine SSD hast warum packst du die DB aufs RAID, und natürlich macht es Sinn eine auf deine Anforderung optimierte channelmap zu fahren...


    Ich hab die DB btw nicht in einer separaten vm, so kann ich viel über localhost abwickeln und NW traffic reduzieren, wenn ich mal Störungen habe, dann in der Regel durch markad...


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • Bei mir ist es so, dass der Server kaum bedienbar ist, wenn ein externes Update läuft. Hab das bisher nicht weiter verfolgt und auch auf die recht betagte Hardware geschoben. Weiß also nicht, ob es passiert, wenn die Daten von TVM geholt werden oder dann gescraped wird. Bei mir läuft DB und VDR aber nicht auf dem RAID, sondern auf der Betriebssystem-Platte.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • hab ich alles nicht, hier ist alles sehr smoth...


    Vllt sollten wir da mal analysieren was da los ist bei euch.


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • Ist bei mir auch so, wenn ich den Server neustarte. Die ersten 5-10 min. ist die CPU-Auslastung sehr hoch, und Befehle werden nur verzögert ausgeführt. Ich meine dass ich das früher nicht so extrem hatte. Lässt sich das mit dem nice Level etwas entschärfen?

    Meine VDRs:
    >>>Mac mini 2010 mit 2x Sundtek SkyTV Ultimate III, Logitech Harmony 300i, yavdr-0.5a mit softhddevice<<< >>>ZOTAC D2550 ITX-WIFI Supreme mit DD Cine S2, Gehäuse OrigenAE M10, Logitech Harmony 300i, yavdr-0.5a mit softhddevice<<< >>>Raspberry Pi
    2 mit Sundtek SkyTV Ultimate IV, raspbian, rpihddevice-Plugin, Logitech Harmony 200<<<

  • Nanana, server bedeutet doch implizit das man den nie ausmacht :P


    Ich würde erstmal schauen was da bei euch so viel Alarm macht, wenn mysql mal im log schauen welche Aktivität da rödelt...


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • Hallo Leute,


    bin da ganz schön am werkeln, aber ich glaube es wird. Was hab ich bis jetzt gemacht:


    - MYSQL auf die letzte in Gentoo mögliche Version upgedatet
    - Die Datenbank direkt auf die VDR VM verschoben (SSD)
    - http://mysqltuner.com/ benutzt (sehr zu empfehlen)
    - Anpssungen laut dem Script auf der Seite erledigt (Datenbank läuft jetzt im RAM)
    - Die channelmap meinen Bedürfnissen angepasst (Also die Datenbank sollte bald schrumpfen)


    BTW: Nachdem die Datenbank auf SSD war, hatte ich trotzdem das die Datenbank ja jetzt direkt am VDR lag nur mehr sehr wenig bis gar keine Störungen mehr. Jetzt liegt die DB im RAM. Mal sehen wie es sich die nächsten Tage verhält.


    Aktuell bei der Arbeit: Die Readme von EPGD druchrackern: bzcat /usr/share/doc/epgd-9999/README.bz2

    Hier steht dann z.B.


    - login as root:
    #> mysql -u root -p
    CREATE DATABASE epg2vdr charset utf8;
    CREATE USER 'epg2vdr'@'%' IDENTIFIED BY 'epg';
    GRANT ALL PRIVILEGES ON epg2vdr.* TO 'epg2vdr'@'%';
    GRANT ALL PRIVILEGES ON epg2vdr.* TO 'epg2vdr'@'localhost' IDENTIFIED BY 'epg';
    FLUSH PRIVILEGES;
    - make shure the database characterset (character_set_database) ist set to latin1,
    otherwise the index size will be exeeded, you can adjust the client and session
    character sets as you like.

    Verstehe ich das richtig? Beim Datenbank erstellen wird utf8 gesetzt und wird aber zu latin1 geraden. Oder sind das zwei paar Schuhe?


    Wenn ich den Serienteil


    SeriesEnabled = 1
    SeriesPort = 2006
    SeriesStoreToFs = 0
    SeriesUrl = eplists.constabel.net

    deaktiviere, habe ich dann von laufenden Serien im TV überhaupt keine Infos?


    Vielen Dank und lg

    System: Gentoo VDR auf Proxmox virtualisiert im LXC
    Sundtek SkyTV Ultimate Dual

    Edited 2 times, last by looking111 ().

  • habe ich dann von laufenden Serien im TV überhaupt keine Infos?


    Doch, dass was externe EPG mitbringt (Bilder, Texte). Mit den eplists werden dann einfach noch so Sachen, wie Staffel, Episode usw. eingefügt.


    Sowas zum Beispiel:


    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!