Projekt: VDR Server am LCDTV mit integrierter Virtualisierung für andere Betriebsysteme

Hi Jungs,
ich möchte Euch hier an meiner neuen Bastelei teilhaben lassen. Vielleicht hat der eine oder andere so etwas ähnliches schon mal gemacht und ein paar wertvolle Tipps für mich.

Ziel des Projekts:

• Ubuntu Precise als DOM0
• (ya)VDR in der DOM0 mit VDPAU und PCIe Twin Sat Karten
• DOMU1 WHS2011 mit Audials zur Radioaufnahme und Freigabe für den WHS Connector
• DOMU2 Zarafa oder ähnliches

Da ich nicht zu den Linux Freaks gehöre, muss ich mich auf die Verwendung von fertigen Quellen beschränken
Mögliche Virtualisierungslösungen dafür sind Xen und KVM.

Den Versuch eine Nvidia als GPU passtrough hinzubekommen habe ich
aufgegeben. Die Umsetzung ist mir einfach zur Zeit zu aufwendig. Bei
Precise soll ja der Kernel direkt ohne Anpasssungen für
Virtualisierungen genutzt werden können. Problem dabei ist nur, das zwar mittlerweile PCI Geräte durchgereicht werden können, aber ein Grafikkarten Passtrough ist zur Zeit nur mit sehr viel Aufwand möglich. Es sind etliche Patches nötig, und bei Nvidia muss das Bios extrahiert werden und in der DOM0 übergeben werden. Dies soll so wie ich es verstanden habe an der besonderen Verwaltungsweise vom Speicher/Bios bei Nvidia liegen, so dass man nicht einfach den Adressbereich durchreichen kann.

Eingesetzte Hardware:

• Tyan S5512GM4NR C204 Chipset, 4*GBit Lan Intel, S1155, iKVM
• 2x4GB Kingston ECC
• Xeon e3-1230
• Areca ARC1280ML Raid-Controller 12 Port, PCIe 8x 1024MB
• 3 Systemlüfter + CPU boxed Lüfter
• Hdds 3* Seagate SV35 3TB (Achtung unterstützen kein TLER am Raid und können im Alter Probleme bereiten) und aus Altbestand später 6 * WD RE3 1TB
• Als SystemSSD Corsair Force F3 240GB
• Als VDR Arbeitsplatte eine 1TB WD Caviar Blue
• aktuell Asus ENGT630 bzw später aus dem Wohnzimmer VDR Nvidia Quadro 600 (mit nur 8 Lanes, mehr kann der Chipsatz nicht bei 2* PCIex16)
• Tevii S480 und später Cine S2 Karten (alles PCIe 1x)

Stromaufnahme zur Zeit (keine Nvidia Karte eingebaut):

• Lubuntu Precise mit Xen 4.2 ohne Desktop (ist mit aktivieren des Xen Kernels weg) = 55W
• Lubuntu Precise ohne Xen 45W

Stromaufnahme aktuell mit Yavdr 0.5:

• 70W mit allen Platten im Sleepmode und softhddevice sleep
• VDR aktives Frontend und alle Platten an rund 95W

Fehler die Zur Zeit gelöst werden müssen:

• Mainboardprobleme:
  - iKVM remoteDesktop unterstützt keine Sonderzeichen und Umlaute
  - sobald eine Graka installiert wird, bekommt man über iKVM kein Bild, selbst beim booten nicht, wo man die interne Graka aktivieren kann. Bug ist behoben

Stand 12/2012

to be continued ...

Zitat von iNOB

Im Vergleich zum Standardkernel zieht ein Xen-Kernel locker 10-12W mehr aus der Dose, da dass Powermanagement unter Xen nach wie vor in den Kinderschuhen steckt.

Interessant. Das deckt sich mit meiner Messung.

Xen hat für mich das größte Problem in der Commmunity. Mit Mailinglisten kann ich mich nur schwer anfreunden. Kein Forum. Informationen zu finden ist sehr mühsam und die Wiki ist auch nur dürftig gepflegt.
KVM hat den Vorteil einerseits des einfachen Managements das mich selbst bei Xen schon vor eine Herausvorderung stellt. Convirt habe ich probiert, aber bisher noch nicht am laufen.
XCP auf der anderen Seite ist der Proxmox Pendant. Da stimmt alles und passt zusammen. Management läßt sich recht einfach mit Xitrix Xen Server nutzen.

Bei allen Lösungen muss man aber offenbar PCI Passtrough auf der Konsole konfigurieren.

Xen oder KVM, das ist also momentan meine wichtigste Frage. Was harmoniert besser mit einer VDR Installation, oder doch weiter probieren der DomU die Graka durchgereicht zubekommen?

Zur Grafikkarten Durchreichung bin ich da nicht fündig geworden. Oder meinst Du den thread mit Pciback. Allerdings wenn es tatsächlich nur mit Xen gehen könnte werde ich mich wieder auf Xen konzentrieren.

Kennst Du irgendwelche anderen aktuellen Diskussionsthread zu Ubuntu und Xen, am besten Precise?
Momentan werde ich erstmals als kleines Ziel ein überhaupt lauffähiges Xen unter Precise mit irgendeiner DomU und Convirt zur Verwaltung mir setzen. Das alleine ist schon nicht einfach, mangels vernünftiger Anleitungen.

VT-D Probleme mit Kernel 3.2 : Das System bootet zwar, aber kein Signal am Monitor und die Syslog wird mit "DMAR:[fault reason 02] Present bit in context entry is clear" geflutet.

So ein Bullschit dabei lief 12.04 mit KVM und Yavdr Repos schon ganz gut, bis ich angefangen habe PCI Passtrough einzurichten. Da hilft nur den Kernelparameter iommu=on wieder rauszunehmen oder im Bios VT-D zu deaktivieren.

Ein schwieriges Unterfangen offenbar diese Virtualisierung, denn irgendwo hakt es immer. Baustelle Nummer ein ist mein Wissen, um dann an Fehlern im System zu scheitern.

Positives:

• Tyan hat ein Biosupdate damit der Boot über die interne AST Grafik läuft und damit iKVM zumindest bis zum x-server start genutzt werden kann. Das funktioniert nun einwandfrei
• KVM scheint sich problemlos mit der VDR Installation als Host zu vertragen. Obwohl ich noch keine Daueraussage zur Stabilität tätigen kann, dafür läuft das erst seit ner Woche.
• KVM und VirtManager sind simpel zu Installieren und fast selbsterklärend.
• WHS2011 Installation hat zwar gefühlt länger gedauert als BareMetal aber das ist wohl nur eingebildet. Alle von mir gelesenen Tests belegen der KVM Lösung im Vergleich zur Xen eine durchwegs höhere Performance, die rund 15% weniger als auf BareMetal erreicht werden würde. Dafür muss man aber virtio für die den Controller installiert bekommen, was auch wieder nur mit Handarbeit möglich ist.

Negatives:

• KVM ist nicht wirklich fehlerfrei, z.B. ist zwar schön und gut dass man das performantere Spice als VNC Ersatz nutzen kann, was hilft es wenn der Videotreiber QXL zur Zeit defekt ist und man noch nicht mal dadurch VNC mehr nutzen kann. Sobald Spice installiert wurde (was auch mit einigen fehlenden Abhängigkeiten nur gelöst werden kann) funktioniert nur noch der Circus Videotreiber, sonst hat man in der Grafischen Konsole nur ein schwarzes Bild.
• Ich bin zu blöd von Windows aus zu spicec eine Verbindung zu bekommen. Mit VNC ebensowenig. Immerhin am Host geht es.
• Ich vermisse eine dynamische Speicherverwaltung bei KVM.

Und weiter geht das Experiment ... übrigens Xen ist erstmal außen vor, zu kompliziert und ich habe nicht herausgefunden, wie man in der DomU einen x-server zum Laufen bekommt. Und die Nvidia durchzureichen ist weiterhin eher was für wahre Linux Profis.

Auch wenn das nichts mit meinem Thread zu tun hat, was willste von einer AMD e450 CPU erwarten? Die sowie das Board sind dafür überhaupt nicht gemacht, mehr als 8 GB gehen auch nicht.

Wenn schon dann ein System was wirklich für Virtualisierung geeignet ist und alle Features dafür unterstützt. Über alles andere wird man sich früher oder später ärgern, denn es gibt noch nicht mal mit offiziell dafür freigegebener Hardware eine Funktionsgarantie / Fehlerfreiheit.

Wenn ich mal Zeit habe, werde ich die jüngsten Erkenntnisse von den zur Zeit bestehenden Bugs über die ich alle gesolpert bin mal zusammen fassen. Aber ich möchte mir nicht ausmahlen, was mit solchen Nullachtfünfzen Boards und CPUs alles noch schief laufen würde.

Es muss natürlich kein Xeon Board sein. Es geht auch mit einer normalen VT-D fähigen CPU und einem Board was iommu_intel kann. Aber bitte nicht auf einer AMD E450 Gurke. Das wird bei mehreren VM's bestenfalls so lahm, dass das ganze doch keinen Spass macht oder funktioniert gar nicht.

Viel Erfolg