epg2vdr: DB > 4,6 GB und merge-Dauer > 100 Sekunden - ist das normal?

Hallo!

Braucht die Datenbank für epg2vdr (bei mir mariadb) bei euch auch fast 5 GB?

Oder ist das was Besonderes?

Wenn ja: fehlt bei mir viell. nur eine regelmässige "automatische Bereinigung"?

Ich habe bei der Größe nämlich Schwierigkeiten gute Einstellungen für die my.cnf zu finden,

da der PC insgesamt nur über 4 GB RAM verfügt und epgd & co NICHT alleine dort laufen.

[--] Database: epg2vdr
[--]  +-- TABLE: 31
[--]  +-- COLL : 1 (utf8_general_ci, NULL)
[--]  +-- ROWS : 731850
[--]  +-- DATA : 4.3G(93.80%)
[--]  +-- INDEX: 294.6M(6.20%)
[--]  +-- TOTAL: 4.6G
[--]  +-- ENGIN : 1 (InnoDB, NULL)
[OK] 1 collation for epg2vdr database.
[OK] 1 engine for epg2vdr database.

[--] Physical Memory     : 3.8G
[--] Max MySQL memory    : 5.1G

Ok, das beruhigt schon mal etwas.

Danke für deine Rückmeldung!

Dann spiel ich mal weiter mit den Settings rum - bin schon ein Stück weiter ...

Wow - vielen Dank für eure vielen Rückmeldungen!

Dann bin ich bzgl. der DB-Größe jetzt mal wirklich beruhigt und werde mich noch weiter am Feintuning der 50-server.cnf versuchen.

Die aktuellen RAM-Preise schaue ich mir auch an

Und ZRAM kannte ich noch gar nicht, musste dabei aber stark an die RAM- und Festplatten-"Verdoppler" Ende der 90er-Jahre denken.

Nach dem - sehr schnell gelösten - Speicherfress-Problem diese Woche, konnte ich meine mariadb mal ein paar Tage laufen lassen.

Die Empfehlungen vom mysql-optimizer-Skript sind jetzt etwas zuverlässiger und die DB läuft jetzt mit weniger RAM-Verbrauch, aber gleich stabil (und langsam?) wie vorher.

Daher jetzt noch eine Frage in die Runde:

Sind solche Merge-Durchlaufzeiten normal bzw. dauert das bei euch auch so lange?

Und vor allem: warum läuft merge alle paar Minuten???

Aug 23 00:34:25 localhost epgd: 567 DVB pending, mergeepg done after 109.085 seconds
...
Aug 23 00:37:22 localhost epgd: 710 DVB pending, mergeepg done after 111.159 seconds
...
Aug 23 00:41:50 localhost epgd: 1780 DVB pending, mergeepg done after 108.728 seconds...
Aug 23 00:55:37 localhost epgd: 742 DVB pending, mergeepg done after 109.684 seconds

Danke für eine rasche Antwort!

Der Update-Treshold steht bei mir tatsächlich auf '500' - daher das merge alle paar Minuten. Das sollte ich wohl erhöhen ...

Die DB liegt bei mir (seit ca. 1 Jahr) auch auf SSD, und braucht trotzdem so lange.

Bei mir liegt die DB in /var/lib/mysql, was eindeutig auf der SSD "wohnt.

-rw-rw---- 1 mysql mysql 549453824 Aug 23 11:59 ibdata1
-rw-rw---- 1 mysql mysql 201326592 Aug 23 11:59 ib_logfile0
-rw-rw---- 1 mysql mysql 201326592 Aug 23 11:59 ib_logfile1

Dateisystem    1K-Blöcke  Benutzt Verfügbar Verw% Eingehängt auf
/dev/sdb1      101617656 20330176  76082540   22% /

Was kann da bei mir sonst noch "falsch" laufen?

Ist das der gesamte Inhalt deiner 50-server.cnf?

Ich werde dann mal die Werte mit meinen vergleichen.

Da ich insgesamt nur 4GB (bzw. 3,8GB) RAM habe, gibts bei mir nur 2 Instanzen:

### by davie2000 - performance optimization
# besser 1G bis max. 1,33 GB
innodb_buffer_pool_size = 2G
# besser 192M, weil es zwei gibt u 360 MB reichen für > 1h
innodb_log_file_size = 192M
innodb_buffer_pool_instances = 2
### end davie2000

Wodurch der max. RAM-Footprint der DB bei ca. 2,8 GB liegt und somit noch mind. 1 GB für den "restlichen VDR" bleibt.

Danke für den sehr guten Punkt - das spielt sicher eine (große) Rolle.

Bei mir sind es 186 Sender. Mehr als doppelt so viele; könnte die "Verdoppelung" der Durchlaufzeit viell. erklären.

Edit:

Das Hochdrehen des Thresholds auf 5000 führt erfreulicherweise dazu, dass merge deutlich seltener läuft, dafür

aber nicht wesentlich länger braucht als vorher alle drei Minuten:

Aug 23 12:21:07 localhost epgd: 658 DVB pending, mergeepg done after 110.088 seconds
Aug 23 12:50:33 localhost epgd: 5108 DVB pending, mergeepg done after 113.456 seconds

Ich hab mal zu wmautner's Settings (von oben) meine dazu gestellt;
dort wo DEFAULT steht, habe ich keinen Eintrag in meiner /etc/mysql/mariadb.conf.d/50-server.cnf und die aktuellen Werte aus 'variables' ausgelesen.

MEINE_WERTE
join_buffer_size                = 3M            4M
innodb_buffer_pool_size         = 5G            2G
innodb_buffer_pool_instances    = 5             2
innodb_log_file_size            = 550M          192M
key_buffer_size                 = 14M           4M
max_allowed_packet              = 14M           16M
thread_stack                    = 192K          192K
thread_cache_size               = 4             8
query_cache_type                = 0             DEFAULT: ON
query_cache_size                = 0             32M
query_cache_limit               = 0             1M
tmp_table_size                  = 512M          32M
max_heap_table_size             = 512M          32M
read_rnd_buffer_size            = 4M            DEFAULT: 262144
sort_buffer_size                = 10M           DEFAULT: 2097152
aria-pagecache-buffer-size      = 18M           DEFAULT: 134217728
innodb_flush_log_at_trx_commit  = 1             DEFAULT: 1

BEI MIR NOCH ZUSÄTZLICH:
skip_name_resolve
max_connections               = 25
table_open_cache              = 256
performance_schema            = 1
slow_query_log                = 1
slow_query_log_file           = /var/log/mysql/mariadb-slow.log
long_query_time               = 1
log-queries-not-using-indexes = 1
log_slow_admin_statements     = 1
expire_logs_days              = 10
max_binlog_size               = 100M
character-set-server          = utf8mb4
collation-server              = utf8mb4_general_ci
[mariadb]
optimizer_search_depth        = 0

wmautner Dein Parameter 'aria-pagecache-buffer-size' dürfte nicht ziehen, weil er (zumindest bei mir) so heißt: 'aria_pagecache_buffer_size'

Die auffälligsten Unterschiede sind,

• dein "key_buffer" ist fast 4 mal so groß als meiner (14 vs 4 MB)
• mein "thread_cache" ist doppelt so groß
• dass ich offenbar den "query_cache" nutze und du nicht => wie ist das bei den anderen mit gutem Speed?
• deine "max_heap" und "tmp_table" viel, viel größer sind - bei mir dzt. (noch) nicht möglich
• dein "read_rnd_buffer" ist 20 mal größer (4M zu 250K), dein "sort_buffer" 5 mal so groß (10MB zu 2 MB)
• mein "aria-pagecache" ist > 7 mal größer als deiner (132 MB zu 18MB)

=> Fallen jemand bei meinen Einstellungen irgendwelche Ungereimtheiten bzw. Erklärungen für die Langsamkeit auf?

zB Werte die eigentlich gleich sein müssen und bei mir unterschiedlich sind oder umgekehrt

Dass deine DB komplett im RAM schneller ist als meine ist klar, aber ist RAM wirklich 2-3 mal schneller als SSD?

=> Was haben denn die anderen hier so für merge-Zeiten?

Ich nutze übrigens tvm und tvsp - kein epgdata.

Quote from utiltiy

Zwischen 4 und 9 Sekunden

Zumindest in die Nähe davon, würd ich auch gerne kommen wollen ...