Du solltest die DVB-Treiber am besten automatisch beim Booten laden lassen.
Wenn du natürlich den mplayer startest, ohne die Treiber geladen zu haben, ist es klar, daß er eine Fehlermeldung raushaut.
Probier doch bitte auch nochmal folgendes (wieder bei gestopptem VDR aber geladenem Treiber):
mplayer.sh /das/video.avi
Wenn das nicht gehen sollte, bitte am Ende der mplayer.sh.conf DEBUG="true" setzen, das ganze nochmals aufrufen und hier die komplette Ausgabe posten.
Gruß,
Juri