Displaylink als einzige Textconsole am Server, nach erfolgreichem login hängt die Anzeige

Hallo
bei dem Wetter habe ich mein altes "Projekt" "direkter Consolen zugang ohne VGA-Karte" hervorgeholt:
Ziel ist also:
der USB-Displaylink-Adapter soll die VGA Karte ersetzen (PCI-Ports sparen)
Ich habe kein X auf dem Server, möchte nur bei Bedarf mehrere virtuelle Consolen nutzen.
Noch ist die alte VGA-Karte im System.
Ich habe

cat /etc/issue 
Ubuntu 12.04.2 LTS \n \l

in der Server-Variante.
udlfb wird geladen

root@server:/etc/init# lsmod | grep udlfb
udlfb                  23492  1
fb_sys_fops            12667  1 udlfb
sysimgblt              12806  2 udl,udlfb
sysfillrect            12901  2 udl,udlfb
syscopyarea            12596  2 udl,udlfb

ich erhalte auch einen Konsolen-Login, doch danach ( übliche Anzeige mit Systemlast etc.) friert die Anzeige ein (mit Bildstörung) und das System lässt sich nur noch über ein Netzwerk-Terminal bedienen.
Es gibt nur ein Framebufferdevice

ls -l /dev/fb*
crw-rw---- 1 root video 29, 0 Sep 11 14:37 /dev/fb0

cat /sys/class/vtconsole/vtcon0/name
(S) VGA+


cat /sys/class/vtconsole/vtcon1/name
(M) frame buffer device

Werden eventuell die falschen Fonts oder dergleichen benutzt, da das System ursprüglich ja wohl kein Framebufferdevice für die VGA-Karte angelegt hat?
Wo kann ich weiter suchen?
Bin für jeden Hinweis dankbar.

führe dann 'mal meinen Monolog fort:

es scheint, "fbcon" fehlt, das ist auf meinem System nicht vorhanden und ist per apt-cache search auch nicht zu finden (scheint ein Kernelmodul zu sein??)
Schaue ich mir die Posts mit dem "umgekehrten" Anforderungsprofil an (d.h.grafische Oberfläche vorhanden, das Displaylink soll als Zusatz-Anzeige und nicht als Konsole dienen)
sind die auch für meinen Zweck notwendigen Tools dort offenbar ootb vorhanden.

Ein Weg könnte es sein X-11 nachzuinstallieren, aber nur um den "letzten Schritt" zu tun?
Ich brauche keine GUI auf meinem Server (okay, im Moment ev. schon)

Ich habe ja bereits eine login-shell, nur hängt sich die Anzeige nach erfolgreichem login weg.

Für Tips bin ich weiterhin dankbar.