Etwas frist Speicher VDR, Streamdev, SoftHdDevice, ffmpeg, VDPAU? VDR

Hi
gibt es eine vdr version ab der das auftritt

bei meinem server 64 bit (vdr 2.0.2 , epgsearch, live, streamdev, dvba..)

ist der speicherverbrauch schon seit Monaten bei 138M RES und steigt auch nicht weiter.

Ich habe bei meinen bisherigen Versuchen (zusammen mit Derek Kelly) auch keinen Hinweis darauf erhalten können, daß das Speicherleck von cTsToPes verursacht wird. Der darin allokierte Speicher wächst bis zu Größe des maximalen Frames an und bleibt dann dort.

Klaus

Ich habe nun einige Tage damit verbracht, zusammen mit Derek Kelly diese Sache zu untersuchen. Hier meine Erkenntnisse.

Es wurde ein VDR 2.2.0 mit softhddevice-0.6.1rc1-git.f0d31ad3 auf einem 64-Bit System untersucht. Bei jedem Test wurde eine Aufnahme 60 Minuten lang wiedergegeben, danach wurde noch 5 Minuten lang gewartet und dann VDR beendet.

Mit beiliegendem Patch vdr-2.2.0-dbg-tstopes-13.diff wird, bei ansonsten völlig unverändertem VDR und softhddevice Plugin der Speicherbedarf des 'vdr'-Prozesses einmal pro Minute in die Datei vdr-top-13.log geschrieben. Wie man sehen kann steigt der Bedarf von Anfangs 3.3% ziemlich stetig auf 5.6%. Nach Beendigung der Wiedergabe geht er auf 5.4% zurück. Es bleibt also einiges an Speicher belegt, und je länger man die Wiedergabe laufen lässt, um so mehr Speicher wird belegt (geht linear hoch). vdr-13.log ist das normale VDR-Log dieses Versuchs.

Der Patch vdr-2.2.0-dbg-tstopes-16.diff macht zusätzlich folgendes: die Verarbeitung von Audio-Daten in PlayTsAudio() in softhddev.c wird komplett stillgelegt und in cDevice::PlayTsVideo() wird nicht mehr PlayVideo() aufgerufen, sondern es wird über cDataLimiter eine mittlere Datenrate der Ausgabe simuliert (ansonsten würde ohne PlayVideo() die Aufnahmedatei mit maximaler Geschwindigkeit gelesen und die Wiedergabe wäre nach wenigen Minuten vorbei). Wie vdr-top-16.log zeigt bleibt der Speicherbedarf während der gesamten Wiedergabe konstant bei 2.7%.

Wenn ich jetzt nicht irgend einen Denk- oder Programmierfehler gemacht habe, dann heißt das doch, daß das Memory-Leak nicht im VDR-Core-Code liegt, sondern offensichtlich im softhddevice-Plugin. Zumindest habe ich nach all diesen Versuchen keine Idee, was im Core-VDR dafür verantwortlich sein könnte.

Klaus

Ich sehe den Speicherfresser bei 2 Geräten:
- Banana Pi mit softhddevice + vdpau (32-Bit-System ARM)
- TT-S2-6400 auf Intel 64-Bit-System

Den Banana-Pi möchte ich außen vor lassen, denn vdpau dort ist ein ziemliches Gebastel. Mich würde nicht wundern, wenn in gewissen Fällen Puffer verloren gehen könnten. Eine Abfrage von Return-Codes bei ioctls scheint dort die Ausnahme zu sein.

Auf dem 64-Bit 6400er-System scheint der Speicherverbrauch allerdings ebenso keine Grenzen zu kennen. Mittlerweile bin ich bei 417 MB RES angekommen, und er steigt weiter. An Plugins laufen z.Zt. nur dvbhddevice und remote.

Bleibt die Frage:
Wie kann es sein, dass der Speicherbedarf bei einem 32-Bit System mit TT S2-6400 konstant bleibt und bei 64-Bit über alle Grenzen wächst? Wenn man nicht irgendwelche Pointer-Manipulationen macht, sollte so etwas doch gar nicht möglich sein? Vorausgesetzt, es gibt kein Leak in irgendwelchen 64-Bit-Libraries.

CU
Oliver

An meinen 2 Cubieboard2 hab ich bisher kein anwachsen festellen können ...

Hmm, daß UFO mit einer TT-S2-6400 auf einem Intel 64-Bit-System auch den wachsenden Speicherbedarf beobachtet ist natürlich ernüchternd. Ich habe ja auch ein TT-S2 6400 System, aber halt mit 32-Bit, und habe keinen ständig wachsenden Speicherbedarf. Somit scheint klar zu sein, daß was immer auch die Ursache ist, es nur an dem Unterschied 32-/64-Bit liegen kann.

UFO: kannst du sagen, ob der Speicher nur bei der Wiedergabe anwächst, oder permanent?

johns: bitte versteh meine Aussagen nicht falsch. Ich will beileibe nicht die Schuld auf jemand anderen schieben. Nur da ich halt im VDR-Code partout nichts finden kann, was diesen Fehler verursacht, und nach "Abklemmen" der entsprechenden Funktionen von softhddevice der Speicherfraß offensichtlich komplett weg war, lag der Schluß irgendwie nahe.

Da ich selber kein 64-Bit-System in meinem VDR betreibe kann ich da wohl leider keinen weiteren Beitrag zur Fehlersuche leisten.

Klaus

Das Anwachsen des Speichers hat afaics nichts mit der Wiedergabe zu tun.

Es passiert auch im Live-Modus, wenn keine Aufnahmen laufen.
Falls es tatsächlich im vdr-Core wäre, kommen in Anbetracht des Anwachsens des Speicherverbrauchs eigentlich nur EPG-Verarbeitung oder Channel-Scan in Frage.

Einstellungen - EPG                                                        


Zeit bis zur EPG-Aktualisierung (h):  1                                         
EPG-Fehlerbereinigungsstufe:          2                                         
Alte EPG-Daten anzeigen (min):        2400                                      
Systemzeit stellen:                   nein                                      
Bevorzugte Sprachen:                  2                                         
Bevorzugte Sprache:                   Deutsch                                   
Bevorzugte Sprache:                   English 




Einstellungen - DVB                                                        


Primäres DVB-Interface:      1                                                  
Standardkonformität:         DVB                                                
Videoformat:                 4:3                                                
Video-Anzeigeformat:         Letterbox                                          
Dolby-Digital-Ton benutzen:  ja                                                 
Kanäle aktualisieren:        neue Transponder hinzufügen                        
Audio-Sprachen:              1                                                  
Audio-Sprache:               Deutsch                                            
Untertitel anzeigen:         nein

CU
Oliver

P.S.
Leider funktionieren alle Memory-Checker, die ich probiert habe, mit VDR ziemlich schlecht. Das mehrfache fork() bringt da so einiges durcheinander.

Anbei noch die Ergebnisse zweier Tests. Im Test Nummer 14 wurde nur Video und kein Audio ausgegeben, im Test 15 war es umgekehrt. Der Speicherbedarf wächst in beiden Fällen stetig an, interessanterweise im "nur Audio"-Fall (15) stärker als bei "nur Video" (14).

Klaus

Zum Vergleich wollte ich auf dem 64-Bit System einen - mit identischer Konfiguration gebauten - 32-Bit VDR laufen lassen.

Leider klappt dies nicht. Nachdem ich die Klippen mit pkgconfig + fontconfig umschifft hatte (64-Bit und 32-Bit Version schließen sich gegenseitig aus - immer nur Ärger mit diesen Sch...tools), ließ sich endlich alles übersetzen und starten. Aber leider kann das 32-Bit dvbhddevice offenbar nicht auf den 64-Bit DVB-Treiber zugreifen...

Also alles zurück auf 64-Bit.

Btw, als ich den 64-Bit VDR abgebrochen hatte, war der Speicherbedarf bei ~460 MB.
Kurz nach dem Neustart der 64-Bit Version ist er nun bei ~280 MB.

CU
Oliver

I can dedicate 32bit and 64bit boxes to test with if someone can supply patches to help track down this memleak gremlin. I can reproduce the problem with 100% success here.