streamdev: output buffer overflow

Hallo

Ich hatte die folgenden zwei Beiträge wohl im falschen Thread, da ich am Anfang durch meine gefluteten Logs auf einer falschen Fährte war.

Ich benutze momentan den gepatchten streamdev (vdr-streamdev-0.5.0-pre-20090706.tgz) mit XBMC-Support von http://streamdev.vdr-developer.org/ und habe damit ein Problem, welches am Anfang dieses Threads geschildert wurde.

Meine user.log und syslog werden mit folgender Meldung überflutet:

Zitat

ERROR: vdr streamdev: Handler in LSTX command is NULL

Aktuell im Einsatz sind:

• VDR 1.6.0-8ctvdr (e-tobi pool-lenny vdr-multipatch)
• streamdev-0.5.0-pre-20090706 für XBMC
• XBMC Revision 21751 (xbmc svn pvr-testing branch)

Ich habe auch schon die vdrdevel 1.7.8 multipatch selbst kompiliert und getestet.
Ausserdem habe ich schon verschiedene streamdev Versionen gepatcht und ausprobiert. Das Resultat ist immer dasselbe.

Folgendes habe ich auch getestet:

Zitat

Entferne nochmal den Fix und probier mal auf der Konsole ohne XBMC:

svdrpsend.pl -p 2004 -d "DEINE IP" LSTR

und

svdrpsend.pl -p 2004 -d "DEINE IP" LSTR "VERSCHIEDENE AUFNAHMENUMMERN"

Alles anzeigen

Dabei gab es keine Logmeldungen oder Fehlermeldungen auf der Konsole.

Aufgrund der verschiedenen getesteten VDR und streamdev Versionen denke ich, dass das Problem evtl. bei XBMC liegt.
Der Beitrag ist deshalb hier im VDR Forum gelandet, da sich hier anscheinend eher mit der VDR Integration beschäftigt wird, als im XBMC Forum.

Ich bin für jeden Hinweis dankbar.

Es gibt ein paar Neuigkeiten zu meinem Problem mit den überfluteten Log-Dateien. Es ist nicht der neu eingebaute "LSTR" Befehl der Probleme macht, sondern der Befehl "LSTE".

Im Syslog steht ein:
Jul 29 12:31:15 vdr vdr: [10673] ERROR: streamdev: output buffer overflow (VTP) for 192.168.0.64:45955

bevor dann ewig viele Einträge hiervon kommen:
ERROR: vdr streamdev: Handler in LSTX command is NULL

Eventuell lässt sich das mit einem erhöhten Timeout lösen.

P.S.: Ein erhöhtes Timeout ändet nichts.

P.P.S.: Auch nach verschiedenen Versuchen mit erhöhten Buffern in streamdev (MAXPARSEBUFFER) bzw. in VDR (recorder.c, transfer.c, dvbplayer.c) bekomme ich es nicht hin. Meine EPG Daten, welche wohl das Problem sind, bekomme ich per tvm2vdr.
Die ersten Daten holt sich XBMC noch brav, aber nach kurzer Zeit (etwa 2s) bekommt streamdev einen output buffer overflow und dann geht nichts mehr.

Was ich bei dem ganzen Stress total vergessen habe.
Vielen Dank für die tolle Arbeit am streamdev-server und XBMC Addon. Ist zwar noch nicht ganz stabil, aber funktioniert schon echt gut

Da es nur eine Stelle im streamdev-server gibt, an der die Fehlermeldung "output buffer overflow" gesetzt wird, habe ich einfach mal folgende Änderung in der server/connection.c gemacht:

111c111
<       if (m_WriteBytes + length + 2 > sizeof(m_WriteBuffer)) {
---
>       if (m_WriteBytes + length + 1 > sizeof(m_WriteBuffer)) {

Und siehe da, es gibt keinen "ERROR: streamdev: output buffer overflow" mehr und auch keine "ERROR: vdr streamdev: Handler in LSTX command is NULL".
Bei den ersten Tests habe ich auch die EPG-Daten und alle meine Aufnahmen in XBMC gesehen.

Ich weiß natürlich nicht, ob ich mit dieser Änderung einen Fehler in den streamdev-server einbaue. Das sollte evtl. mal jemand prüfen, der sich mit dem streamdev besser auskennt.

Der Fix im letzten Beitrag hat das Problem leider nicht gelöst, sondern nur reduziert. Die Fehlermeldungen haben dann erst nach über zwei Stunden angefangen und nicht nach ein paar Sekunden.

Folgender Fix im streamdev funktioniert besser:

--- server/connection.c.old	2009-07-30 10:27:29.000000000 +0200
+++ server/connection.c	2009-08-04 18:12:47.000000000 +0200
@@ -111,8 +111,9 @@
	if (m_WriteBytes + length + 2 > sizeof(m_WriteBuffer)) {
		esyslog("ERROR: streamdev: output buffer overflow (%s) for %s:%d",
 		        m_Protocol, RemoteIp().c_str(), RemotePort()); 
-		free(buffer); 
-		return false; 
+		length = sizeof(m_WriteBuffer) - m_WriteBytes - 2; 
	}
	Dprintf("OUT: |%s|\n", buffer);
	memcpy(m_WriteBuffer + m_WriteBytes, buffer, length);

Allerdings gibt es auch hier keine Garantie, dass irgendetwas dadurch nicht mehr geht. Falls der buffer zu groß war, wird einfach die Länge auf das Maximum begrenzt und trotzdem kopiert. Evtl. werden dabei wichtige Zeichen abgeschnitten.
Im syslog kommt noch der Fehler "ERROR: streamdev: output buffer overflow", aber danach scheint er wieder normal weiterzumachen.

Hat eigentlich noch jemand anders Probleme damit oder ist das bei Allen gelöst?

Sorry, aber das ist alles um das Problem herumgebastelt.

Workaround: MAXPARSEBUFFER deutlich vergrößern - bei Deinem ersten Versuch hast Du da vermutlich noch nicht genug Speicher verwendet oder beim Kompilieren ging etwas schief und Du hattest noch die alte Größe.

Saubere Lösung die ich dann auch gerne in streamdev einchecke: Puffergröße dynamisch erhöhen (siehe z.B. VDR Quelldatei svdrp.c).

Jepp, sehe ich ein! Werde nochmal mit dem MAXPARSEBUFFER spielen. Hatte ihn beim ersten Versuch von 16kB auf 32kB erhöht und dachte die doppelte Größe sollte reichen.

Vielen Dank für die Info.

gibts es einen neuen stand?

ich habe ebenfalls das problem, dass ich zuviele aufnahmen für den xbmc unter mac habe.