So, nun habe ich endlich mal die Zeit gefunden, ein anderes Ausgabeplugin zu testen.
softhddrm & vaapidevice habe ich nicht zum Laufen bekommen, aber das normale softhddevice ging.
Auch nach über 1h Laufzeit habe ich damit keine ring buffer overflows, auch diese kleinen Tonaussetzer sind damit nicht vorhanden.
Damit muss der Fehler also irgendwie im softhdvaapi liegen.