Stand der Technik: Nvidia-Grafikkarte an virtuelle Maschine durchreichen mit KVM vfio

hepi · March 11, 2016 at 9:46 PM

Hallo Robsta,

danke für Dein Feedback!

Ich hatte mich mit HDMI-Audio über Nvidia-GPU noch nicht auseinandergesetzt, weil ich bisher über DVI gegangen bin und die Onboard-Soundkarte komplett an den Windows-Gast durchgereicht habe. Eben habe ich mal auf HDMI umgekabelt - und hatte keine aktiven Sound-Devices über HDMI. Deshalb werde ich mich mal demnächst durch die MSI-Geschichte durchquälen, die glücklicherweise wieder bei Alex Williamson erklärt ist: http://vfio.blogspot.de/2014/09/vfio-i…ax-windows.html

Mein qemu-Aufruf wird ja bei mir von libvirt gemacht, da ich ja grafisch mit virt-manager konfiguriert habe. Ich finde dann meinen qemu-Aufruf mit allen Parametern im Logfile unter /var/log/libvirt/... Da der Aufruf recht umfangreich ist im Gegensatz zu einem manuell gemachten qemu-Start, und ich die Attribute auch nicht alle kapiere, macht es für mich momentan keinen Sinn, den Aufruf hier zu posten.

Was mir bei Dir auffällt, ist, dass Du q35 verwendest, wovon Alex Williamson abrät. Ich habe bei mir pc-i440fx-vivid drin.

Hugepages habe ich auch aktiviert (weil ich den Blog-Post von Alex nachgebetet habe), und virtio usw. ~~Du hast Dir wohl ein Windows10-ISO mit den virtio-Treibern gebacken, löblich! Das erspart Mühe beim Installieren.~~ EDIT: Denkfehler, ist ja kein ISO, Dein Image hat nur virtio im Namen.

Ich bin recht zufrieden damit, dass ich über libvirt gehe, weil ich damit ein paar Komfort-Features geschenkt bekomme wie Cloning und Restart/Shutdown auf Knopfdruck. Ich habe auf dem Host WebVirtManager installiert. Damit kann ich dann auch Maschinen starten oder stoppen per Web-Browser.

Schreibe diese Antwort gerade vom Windows10-Gast.

Gruß
hepi

SED9 · March 17, 2016 at 2:20 AM

Hallo,

in letzter Zeit hat sich doch viel getan.

Kernel Patches sind nicht mehr nötig, da man jedes OS via OVMF betreiben kann, so hat ein Host mit Intel IGPU auch wieder seine Berechtigung,
da er ohne Einschränkungen betrieben werden kann.

Mir ist nur aufgefallen, Win sowie OSX Gäste, konnte ich nicht von Ubuntu 14.10 auf 16.04 übertragen, die USB Maus wden Command prompt urde via USB Pass trough vom Gast nicht erkannt,
die Tastatur hingegen schon.

Der Virt Manager zusammen mit der libvirt macht die Angelegenheit doch sehr komfortabel, missen möchte ich dieses Komfort feature nicht mehr, auf Scripting
kann man getrost verzichten.

Mal ein kurze Liste was via OVMF, Nvidia möglich ist, als Host Ubuntu 16.04, KVM/Qemu sowie Virt Manager und Libvirt aus dem Ubuntu PPA:

Code

OS         I440FX       Q35
Win7         +           -        (unter Q35 kommt Fehler Code 12, beim durch reichen der Nvidia Karte)
Win10        +           +
Linux        +           +        (Ubuntu, Arch, Fedora, Suse bei Debian 8 wurde der Nvidia Treiber nicht erkannt, auf Gentoo habe ich verzichtet, ist nicht mein Fall)
OpenElec     ?           +        (den I440FX habe ich nicht getestet)
yaVDR 6      +           +
Solaris      +           +
FreeBSD      +           +
OS X         -           +        (getestet mit 10.10 Yosemite und 10.11 El Capitan, via I440FX ist kein OVMF möglich, nur Bios)

Recht aufwendig sind die Installationen von OpenElec sowie OS X, alles andere wurde mit der Standard ISO installiert.
Android_X86 werde ich eventuell einmal testen, obwohl ich keine Ahnung habe wie es Nvidia Treiber seitig aussieht.

Beste Grüße

Robsta · March 17, 2016 at 10:51 AM

Hallo SED9,

super Übersicht, danke dafür!

Quote from SED9

alles andere wurde mit der Standard ISO installiert.

Das yaVDR 0.6 Iso zB unterstützte bei mir keinen UEFI boot, ich habe es nach diesem Thread gepatcht. (Haha, und ich sehe gerade dass du genau diesen Weg aufgezeigt hast). Mit Patch lief zwar die Installation durch, allerdings hat das installierte yaVDR dennoch nicht per UEFI gebootet.

Eine funktionierende "out of the box" Installation kann ich also hier nicht bestätigen.

Bzgl. VirtManager kann ich eure Argumente des erweiterten Komforts gut nachvollziehen. Leider ist eben (bisher) bei Ubuntu <=15.10 keine VirtManager Version mit OVMF Support enthalten, so dass ich erst mal bei den Scripten hängen geblieben bin. Dies würde ich jedoch auch gerne mal umstellen sobald entsprechende Pakete verfügbar sind.

Gruß,
Robsta

SED9 · March 17, 2016 at 1:56 PM

Hallo,

Da gebe ich Dir recht, die 0.6.0 yavdr ISO war etwas buggy, UEFI ging bei mir nur nach dem ISO-rebuild, auch nach der Installation
war etwas Nacharbeit angesagt, da wurden, soweit ich mich erinnere, teilweise verschiedene Kernelfragmente aufgespielt.<- oder in dieser Art

Ich hatte, bei den älteren Ubuntu Versionen, das PPA von Jacob Zimmermann eingebunden,
dieses war immer aktueller als die Ubuntu Repos.
Zum Schluss hatte ich mir dann die Pakete aus den jeweiligen Git's gebaut, bis ich die Abhängigkeiten nicht mehr auflösen konnte, mein 14.10 war ja schon ewig abgelaufen.

Jetzt läuft bei mir alles unter 16.04 ohne Probleme.

Beste Grüße

Robsta · March 17, 2016 at 6:38 PM

Quote from hepi

Ich hatte mich mit HDMI-Audio über Nvidia-GPU noch nicht auseinandergesetzt, weil ich bisher über DVI gegangen bin und die Onboard-Soundkarte komplett an den Windows-Gast durchgereicht habe. Eben habe ich mal auf HDMI umgekabelt - und hatte keine aktiven Sound-Devices über HDMI. Deshalb werde ich mich mal demnächst durch die MSI-Geschichte durchquälen, die glücklicherweise wieder bei Alex Williamson erklärt ist: http://vfio.blogspot.de/2014/09/vfio-int…ax-windows.html

Hey Hepi,

die MSI Geschichte verhilft nur zu besserer Performance, falls du gar kein Device angezeigt bekommst, gibt es noch ein anderes Problem.

Gruß,
Robsta

kmoss · March 20, 2016 at 10:48 AM

Quote from SED9

Da gebe ich Dir recht, die 0.6.0 yavdr ISO war etwas buggy, UEFI ging bei mir nur nach dem ISO-rebuild, auch nach der Installation
war etwas Nacharbeit angesagt, da wurden, soweit ich mich erinnere, teilweise verschiedene Kernelfragmente aufgespielt.<- oder in dieser Art

Ich habe es bisher nicht mit yavdr 0.6.1 hinbekommen. Zwar hatte ich schon einmal ein Bild, allerdings kann ich nicht auf die Konsole umschalten.
Versuche bisher waren ein anderer Kernel und das Erstellen der xorg.conf:

Code

sudo apt-get install linux-image-generic-lts-vivid linux-headers-generic-lts-vivid
sudo process-template /etc/X11/xorg.conf.yavdr

Zum Vergleich hatte ich auch direkt yavdr 0.6.1 auf einer Test-SDD installiert, da konnte ich auf die Konsole umschalten.

kmoss

SED9 · March 20, 2016 at 8:06 PM

Hallo,

ist natürlich schwer zu erkennen wo der Fehler liegt.

Wird denn bei dir

Quote

/usr/bin/signal-event first-vdr-start

ohne Fehler abgearbeitet, bzw. ist die Datei

Quote

/etc/init/first-vdr-start.conf

noch vorhanden?

Löse /usr/bin/signal-event first-vdr-start mal händisch aus und stell den Output online, oft
klemmt es wohl an dieser Stelle.

Was mir noch eingefallen ist, wie installierst du yavdr, mit oder ohne GPU passthrough?

Installierst du mit GPU passthrough, darfst du

Code

<features>
    <features>
    <acpi/>
    <apic/>
    <kvm>
      <hidden state='on'/>
    </kvm>
    <vmport state='off'/>
  </features>

In der XML nicht vergessen, soweit du eine Nvidia Karte benutzt.

Beste Grüße

kmoss · March 22, 2016 at 6:28 PM

Ich habe nach der Installation von yavdr0.6.1 ein Overlay-Image erstellt. Kann also jederzeit zurück.
Informationen über das System direkt nach der Installation:

Code

> uname -a
Linux vm-ya061 3.13.0-83-generic #127-Ubuntu SMP Fri Mar 11 00:25:37 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux


> dkms status
media-build-experimental, 0~20150719.122100, 3.13.0-79-generic, x86_64: installed
media-build-experimental, 0~20150719.122100, 3.13.0-83-generic, x86_64: installed
nvidia-352, 352.63, 3.13.0-79-generic, x86_64: installed
nvidia-352, 352.63, 3.13.0-83-generic, x86_64: installed


>  dmesg | grep DVB
[	5.685380] DDBridge driver detected: Digital Devices Cine S2 V6.5 DVB adapter
[	5.693699] Port 0: Link 0, Link Port 0 (TAB 1): DUAL DVB-S2
[	5.700805] DVB: registering new adapter (DDBridge)
[	5.700806] DVB: registering new adapter (DDBridge)
[	6.065513] ddbridge 0000:00:07.0: DVB: registering adapter 0 frontend 0 (STV090x Multistandard)...
[	6.116445] ddbridge 0000:00:07.0: DVB: registering adapter 1 frontend 0 (STV090x Multistandard)...




> /usr/bin/signal-event first-vdr-start
start: Job is already running: pulseaudio
/etc/vdr/conf.d/../conf.avail/pulsecontrol.conf is already linked to /etc/vdr/conf.d at /usr/bin/vdrctl line 152.
Tue Mar 22 18:01:20 2016
+------------------------------------------------------+
| NVIDIA-SMI 352.63 	Driver Version: 352.63     	|
|-------------------------------+----------------------+----------------------+
| GPU  Name    	Persistence-M| Bus-Id    	Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|     	Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 970 	Off  | 0000:00:05.0  	On |              	N/A |
| 23%   43C	P5	24W / 151W |	378MiB /  4092MiB |  	7%  	Default |
+-------------------------------+----------------------+----------------------+


+-----------------------------------------------------------------------------+
| Processes:                                                   	GPU Memory |
|  GPU   	PID  Type  Process name                           	Usage  	|
|=============================================================================|
|	0  	1301	G   /usr/bin/X                                 	166MiB |
|	0  	1752	G   /usr/bin/vdr                               	193MiB |
+-----------------------------------------------------------------------------+
no host: LSTC
start: Job is already running: sound-device
wait-for-sound stop/waiting

Display More

Ja, ich installiere mit der NVIDIA-Karte:

Display Spoiler

Code

<!--
WARNING: THIS IS AN AUTO-GENERATED FILE. CHANGES TO IT ARE LIKELY TO BE
OVERWRITTEN AND LOST. Changes to this xml configuration should be made using:
  virsh edit yavdr061
or other application using the libvirt API.
-->


<domain type='kvm'>
  <name>yavdr061</name>
  <uuid>0192aa15-afd5-4b25-a809-67d50736b02d</uuid>
  <memory unit='KiB'>4194304</memory>
  <currentMemory unit='KiB'>4194304</currentMemory>
  <vcpu placement='static'>4</vcpu>
  <os>
	<type arch='x86_64' machine='pc-i440fx-2.5'>hvm</type>
	<loader type='rom'>/var/lib/libvirt/qemu/nvram/OVMF-yavdr061.fd</loader>
	<bootmenu enable='yes'/>
  </os>
  <features>
	<acpi/>
	<apic/>
	<kvm>
  	<hidden state='on'/>
	</kvm>
	<vmport state='off'/>
  </features>
  <cpu mode='custom' match='exact'>
	<model fallback='allow'>core2duo</model>
	<topology sockets='2' cores='1' threads='2'/>
  </cpu>
  <clock offset='localtime'>
	<timer name='rtc' tickpolicy='catchup'/>
	<timer name='pit' tickpolicy='delay'/>
	<timer name='hpet' present='no'/>
  </clock>
  <on_poweroff>destroy</on_poweroff>
  <on_reboot>restart</on_reboot>
  <on_crash>restart</on_crash>
  <pm>
	<suspend-to-mem enabled='no'/>
	<suspend-to-disk enabled='no'/>
  </pm>
  <devices>
	<emulator>/usr/sbin/qemu-system-x86_64</emulator>
	<disk type='file' device='disk'>
  	<driver name='qemu' type='qcow2'/>
  	<source file='/var/lib/libvirt/images/yavdr061.qcow2'/>
  	<target dev='vda' bus='virtio'/>
  	<boot order='2'/>
  	<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
	</disk>
	<disk type='file' device='cdrom'>
  	<driver name='qemu' type='raw'/>
  	<target dev='hda' bus='ide'/>
  	<readonly/>
  	<boot order='1'/>
  	<address type='drive' controller='0' bus='0' target='0' unit='0'/>
	</disk>
	<controller type='usb' index='0' model='ich9-ehci1'>
  	<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x7'/>
	</controller>
	<controller type='usb' index='0' model='ich9-uhci1'>
  	<master startport='0'/>
  	<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0' multifunction='on'/>
	</controller>
	<controller type='usb' index='0' model='ich9-uhci2'>
  	<master startport='2'/>
  	<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x1'/>
	</controller>
	<controller type='usb' index='0' model='ich9-uhci3'>
  	<master startport='4'/>
  	<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x2'/>
	</controller>
	<controller type='pci' index='0' model='pci-root'/>
	<controller type='ide' index='0'>
  	<address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>
	</controller>
	<interface type='direct'>
  	<mac address='52:54:00:fe:a9:2f'/>
  	<source dev='enp4s0' mode='bridge'/>
  	<model type='virtio'/>
  	<address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>
	</interface>
	<serial type='pty'>
  	<target port='0'/>
	</serial>
	<console type='pty'>
  	<target type='serial' port='0'/>
	</console>
	<input type='mouse' bus='ps2'/>
	<input type='keyboard' bus='ps2'/>
	<hostdev mode='subsystem' type='pci' managed='yes'>
  	<source>
    	<address domain='0x0000' bus='0x01' slot='0x00' function='0x0'/>
  	</source>
  	<rom bar='on' file='/var/lib/libvirt/qemu/ROM/GTX970.rom'/>
  	<address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>
	</hostdev>
	<hostdev mode='subsystem' type='pci' managed='yes'>
  	<source>
    	<address domain='0x0000' bus='0x01' slot='0x00' function='0x1'/>
  	</source>
  	<rom bar='off'/>
  	<address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/>
	</hostdev>
	<hostdev mode='subsystem' type='pci' managed='yes'>
  	<source>
    	<address domain='0x0000' bus='0x02' slot='0x00' function='0x0'/>
  	</source>
  	<address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>
	</hostdev>
	<hostdev mode='subsystem' type='usb' managed='yes'>
  	<source>
    	<vendor id='0x04d9'/>
    	<product id='0x2519'/>
  	</source>
	</hostdev>
	<redirdev bus='usb' type='spicevmc'>
	</redirdev>
	<redirdev bus='usb' type='spicevmc'>
	</redirdev>
	<memballoon model='virtio'>
  	<address type='pci' domain='0x0000' bus='0x00' slot='0x08' function='0x0'/>
	</memballoon>
  </devices>
</domain>

Display More

Zum Schluss noch syslog mit grep 'vdr:' im Anhang.

kmoss

kmoss · March 22, 2016 at 6:43 PM

Offenbar gibt es Probleme bei der Einstellung der UHD-Auflösung. Wenn ich auf Full-HD über das Web-Interface einstelle, geht es

seahawk1986 · March 22, 2016 at 6:49 PM

Quote from kmoss

Offenbar gibt es Probleme bei der Einstellung der UHD-Auflösung

Ich habe bislang nur an einem Monitor mit 2560x1440 getestet, aber soweit ich weiß meckert softhddevice, wenn das OSD größer als Full-HD ist.

Stand der Technik: Nvidia-Grafikkarte an virtuelle Maschine durchreichen mit KVM vfio

Participate now!

Users Viewing This Thread