Was kommt denn in deiner /var/log/Xorg.0.log raus, wenn du den X-Server startest und das Display gesteckt ist? Sind das zwei unabhängige X, oder einer mit zwei Displays? Bei zwei "X" müssen natürlich beide laufen. Und "graphtft-fe" brauchst du wirklich nur für VDR.
PS: Wird das Display über einen VGA-Stecker angesteuert, oder hat das seine eigene "Grafikkarte" über USB?