[epgd] [erledigt] keine Verbindung zu constabel

  • irgendwie wärs mal wichtig, rauszufinden, wer den Dienst in die Knie zwingt - mit nachjustieren (von 200 auf 500 parallele Verbingungen) wird man das Problem nicht lösen fürchte ich


    hat schon mal jemand versucht das ganze übers git auszuchecken ?


    Code
    git clone git://eplists.constabel.net/git/eplists.git
  • ich hab mit Mike gemailt


    er hat das Problem das es IPs gibt die im Sekundentakt continuierlich die komplette Liste abholen.


    Wir sind dran.


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • Ich vermute ja, dass irgendein Client die Verbindung nicht richtig schliesst nach Download. Ob das epgd ist oder ein anderer Dienst, wäre natürlich zu klären. Wenn es eine DOS Attacke sein sollte, kann man da auch anderweitig etwas gegen tun, fail2ban o.ä.

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • ich leite dir das Mail von Mike samt dem Log weiter. - ein anderer Dienst kann quasi ausgeschlossen werden da wir uns sogar mit Versionstand autentifizieren.

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • Eine Idee hab ich bei dem Log nicht. Scheint jedenfalls eine recht alte Version vom epgd zu sein. Wie oft versuchts denn der epgd, wenn der Download fehlschlägt?

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • wenn das tatsächlich eine alte Version mit einem Bug ist könnte Mike die an der Stelle bannen...

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • episodes.sql.gz


    Code
    gunzip episodes.sql.gz
    mysql -uepg2vdr -Depg2vdr -pepg <episodes.sql
    restart epgd


    Merge abwarten, dann ein

    Code
    svdrpsend plug epg2vdr reload


    Cheers,
    Ole

  • Moin...

    Zitat

    Eine Idee hab ich bei dem Log nicht. Scheint jedenfalls eine recht alte Version vom epgd zu sein.


    Kannst du sagen welche Version das ist ?

    Code
    epgd -v
    epgd version 0.3.0a from 15.04.2014


    :versteck


    [size=10]nOpacity: Icons
    [size=10]skindesigner: tryoutsglassy

  • Laut Log ist es epgd v0.2.1 (12.05.2014)


    Bei mir steht allerdings das gleiche Datum, wie bei Dir: epgd version 0.3.0a from 15.04.2014

    - Client1: Thermaltake DH 102 mit 7" TouchTFT * Debian Stretch/vdr-2.4.0/graphtft/MainMenuHooks-Patch * Zotac H55-ITX WiFi * Core i3 540 * 4GB RAM ** Zotac GT630 * 1 TB System HDD * 4 GB RAM * Harmony 900 * satip-Plugin

    - Client2: Alfawise H96 Pro Plus * KODI
    - Server: Intel Pentium G3220 * DH87RL * 16GB RAM * 4x4TB 3.5" WD RED + 1x500GB 2.5" * satip-Plugin
    - SAT>IP: Inverto iLNB

  • http Version 0.5.34 bzw. master Version 0.3.0 sind jetzt im git aktualisiert - die Versionen greifen maximal alle 6 Stunden auf den Server zu.


    richtig gut finde ich das noch nicht aber es wird vorerst helfen.


    Christian

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • Laut Log ist es epgd v0.2.1 (12.05.2014)


    Ich setze diese Version ein, bekomme aber auch den Fehler mit der überschrittenen Anzahl Verbindungen, also kann ich es nicht sein. :)


    D.h. ich muss meinen epgd nun aktualisieren? Hab ich eigentlich wenig Lust zu... Es läuft ansonsten so gut bei mir.


    Lars.

  • ne erstmal nicht, bei Mike ist noch keine Versionsperre drin.


    Mit dem Aktualisieren gehts mir ähnlich: bin produktiv auf ner ein Jahr alten http version :/

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • Gerade mal meinen epgd neugestartet, da hat die Verbindung funktioniert.
    Mal sehen, ob ich bei Gelegenheit mal den Kram aktualisiere...


    Lars.

  • wartet noch mal bitte ab bevor ihr die Versionen ins git schiebt, überlegen noch obs noch ne bessere Möglichkeit gibt

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • es sieht so aus als würde im Fehlerfall der client immer ein "GET ALL" senden, also alle Listen anfordern. Wir versuchen genau diesen Fall in der Zeit einzuschränken.


    Vermutlich sind das epgd die vor sich hin coren weil irgendwas an der DB oder den Tabellen nicht stimmt...

    CKone: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G540, 2x 2GB Kingston DDR3, Zotac GT630 1GB, S2-1600, Ocz Agility 3 60GB, LG GH24NS DVD, 15.6" Selbstbau TFT, Harmony 665, CIR Selbstbau - das Ganze im Silverstone SST-SG03B
    CKtwo: yavdr-ansible/18.04 LTS/2.4.1/kodi18 auf Intel DH67BL, Intel Celeron G1610, 2x 2GB Corsair DDR3, Zotac GT630 1GB, TT S2-1600, Ocz Vertex 2 50 GB, 92 Kanal Seduatmo, Harmony 665, atric USB
    CKthree: yavdr-ansible/22.04 LTS/2.6.1/kodi19.3 auf Intel NUC, Celeron J4005, UHD Graphics 600, 4GB Crucial DDR4, Ocz Vertex2 50 GB, Harmony 350

    PowerEdge: Ubuntu Server 16.04 LTS / VDR 2.4.1 auf Dell PowerEdge T20, Xeon E3-1225 v3, 16GB ECC DDR3, 2x Cine S2 V6 mit Duoflex, Samsung 840 EVO 120GB, 3x WD White WD80EZAZ 8TB in SW Raid5



  • Es gab neulich auch wieder ein mysql-Update bei Ubuntu, da gab's doch schon mal Probleme. Also sollten wohl mal alle ihr syslog bzgl. epgd beschauen...


    Lars.

  • Um es erst mal wieder zum laufe zu bekommen (geht's wieder? Habs noch nicht getestet, sorry) kann man auch per IPTables die Verbindungen pro IP limitieren, dann legt ein fehlgeleiteter client nicht gleich die ganze Seite lahm ;) Das ist vielleicht auch Zukunftsfähiger als eine Versionssperre.


    iptables -A INPUT -p tcp --syn --dport 2006 -m connlimit --connlimit-above 2 -j REJECT



    [EDIT]
    Ich sehe aber gerade, dass auch mein EPGD Probleme hat/hatte


    Syslog geflutet mit:

    Code
    Feb  1 16:20:57 epgd: SQL-Error in 'store()'
    Feb  1 16:20:57 epgd: SQL-Error in 'find()'


    Nach einem Neustart tuts wieder. Könnte an einem MYSQL update gelegen haben(?)

    Code
    Feb  1 16:25:04 epgd: Starting episode download ...
    Feb  1 16:25:14 epgd: SVDRPCL: Error connecting to eplists.constabel.net:2006: Connection timed out
    Feb  1 16:25:14 epgd: Open connection to 'eplists.constabel.net' failed, aborting transfer!


    Vielleicht ist die Gelegenheit gut, den EPGD zu updaten ;)

  • im git gibt es einen epgd update (master sowie http branch), Damit wird der komplette Lauf (GET all), also das holen aller Serien auf einmal je 6 Stunden begrenzt -im Normalfall benötigt man das einmal beim initialen Aufbau der Datenbank.


    Der Update Lauf ist von der Änderung unberührt - wenn ich nix falsch gemacht habe ;)

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!