Ich habe das gleiche Problem und festgestellt, dass das Audio-Tag in der von mencoder erzeugten AVI-Datei falsch ist (80 bzw. 50 (hex)). "Richtiger" (zumindest für die Windows-Player, die dann funktionieren,) wäre 85 (55 (hex)).
Wie man den mencoder dazu bringt automatisch das richtige Audio-Tag zu setzen, habe ich leider nicht herausgefunden :-(, wäre für Hinweise aber überaus dankbar ...
Ansonsten habe ich folgenden Workaround gefunden (kann man durch "Reengineering" der AVI-Datenstruktur nachvollziehen): Und zwar lässt sich das richtige Audio-Tag setzen indem man mit einem Hex-Editor (z.B. mc unter Linux) die AVI-Datei ansieht und dort den Wert "50" (hex) auf "55" (hex) ändert. Bei meinen mencoder-Einstellungen (1 Video- und 1 MP3-Audio-Stream) findet man den zu ändernden Wert an Position 128 (hex).