KVM - PCI-Device durchreichen - IRQ-Belegung

    Hallo zusammen


    Ich hab gerade viel Zeit und versuche mich daran meinen VDR zu virtualisieren.


    System ist Ubuntu 13.04 - das ganze soll mit Qemu/KVM getestet werden.


    Soweit funktioniert die VM schon gut - nur die DVB-Karte funktioniert nicht.


    Problem ist, dass die Karte sich einen IRQ mit einer anderen teilt.



    Im Bios kann ich keine IRQs fest zuweisen.


    Sieht jemand noch eine andere Möglichkeit der DVB-Karte einen anderen IRQ zuzuweisen?


    Danke für eure Hilfe


    Andy

    Meine VDRs

    Normalerweise müssen die PCI Geräte dafür MSI bzw MSI-X können. Ubuntu weist allen Geräten virtuelle IRQs zu (beginnen meine ich ab 30)
    Du hast nicht zufällig in grub nomsi als Kernelparameter drin stehen? dann ist das ausgeschaltet.
    und das iommu aktiv ist gehe ich von aus, dass Du das geprüft hast.


    Grundsätzlich sagt die KVM Anleitung bei Passtrough soll kein IRQ geshared werden, aber mal ehrlich wo ist das heute noch möglich... Und die heutigen Systeme kennen keine irq zuweisungen mehr, zumindest habe ich das schon ewig nicht mehr im Bios gesehen.


    Mein Areca Raid kann auch kein MSI-X wodurch er crasht wenn man versucht den durchzureichen. Die 4 Netzwerkkarten vom Tyan S5512 hingegen laufen in den VMs wunderbar.
    Hat eine weile gedauert bis ich verstanden habe dass ich es nicht verursache... Zumindest ist das mein wisssensstand.


    Schau mal bei fnu xitrix xen server thread rein, xen kann auch ohne passtrough dvb devices durchreichen. Wäre noch eine alternative.

    Proxmox VE, Tyan Xeon Server, OMV, MLD-Server 5.1
    MLD 5.1 64bit: Asus AT5iont-t, ION2, 4GB Ram, SSHD 2,5" 1Tb, HEX TFX 300W 82+, Cine S2 V6.2 , 38W max.
    Yavdr 0.5:     Zotac D2550ITXS-A-E mit GT610 OB, TT S2-4100 PCI-e ,Joujye NU-0568I-B
    Yavdr 0.5:     Sandy Bridge G840, Tests und Energieverbrauch , CoHaus CIR, Cine S2 V6.2
    MLD 5.1 Beebox N3150    , DVBSky S960 und 1Tb WD Blue

    Hallo


    Ist dann die Info der letzten Linux User, dass man für KVM keine VT-d taugliche Hardware benötigt falsch? Mein Board kann VT-d, meine CPU leider nicht, die kann nur VT-x.


    Laut Linux User genügt Intel-VT. Und die Module kvm und kvm-intel sind auch geladen. Fehlt der CPU VT, so ist das System zwar sehr langsam, aber funktioniert trotzdem laut Linux User. Kann ich dann die Nutzung der DVB-Karte in der VM vergessen (auch wenn ich das IRQ-Problem lösen kann)?


    Brauche ich VMWare ESXI und/oder Citrix/XEN eine neue CPU?


    Das ganze ist doch sehr komplex und ich stehe erst am Anfang.


    Danke für eure Hilfe


    Andy

    Meine VDRs

    Vt-d ist das Intel feature für PCI Passtrough. Ich hatte als chipset den C200 Series gelesen, der eigentlich auf Serverboards anzutreffen ist.
    Wie Frank herausgefunden hat, geht nach seiner Anleitung auch der Zugriff ohne Passtrough für seine Sat Karte, zumindest mit xitrix den Server. Ich wurde vor Neukauf seine Anleitung erstmal nutzen, aber wenn Du den Xen nicht nutzen möchtest, sondern auf Kvm setzt, wird mindestens eine passende CPU gebraucht, damit das ganze Spass macht. Auch wenn Virtualisierungen grundsätzlich auch auf nicht vt-x CPUs geht, es ist vermutlich ziemlich lahm.


    Poste doch mal um welche Hardware es geht.

    Proxmox VE, Tyan Xeon Server, OMV, MLD-Server 5.1
    MLD 5.1 64bit: Asus AT5iont-t, ION2, 4GB Ram, SSHD 2,5" 1Tb, HEX TFX 300W 82+, Cine S2 V6.2 , 38W max.
    Yavdr 0.5:     Zotac D2550ITXS-A-E mit GT610 OB, TT S2-4100 PCI-e ,Joujye NU-0568I-B
    Yavdr 0.5:     Sandy Bridge G840, Tests und Energieverbrauch , CoHaus CIR, Cine S2 V6.2
    MLD 5.1 Beebox N3150    , DVBSky S960 und 1Tb WD Blue

    CPU: Intel G630
    http://ark.intel.com/de/products/53483


    Die CPU kann laut Intel VT-x, aber kein VT-d


    Board: Fujitsu D3071-S11
    http://www.msc-ge.com/download…heets/fujitsu/D3071-S.pdf


    Board hat Q67-Chipsatz - der kann VT-d
    http://ark.intel.com/products/52812/Intel-BD82Q67-PCH


    Andy

    Meine VDRs

    Meines Wissens nach hat nur XEN die Möglichkeit, Hardware ohne vt-d in eine VM durchzureichen. Bei KVM muss Board und CPU vt_d unterstützen. Dann klappt es aber wunderbar, ich habe dieses Setup nun seit Februar "produktiv" (=Server steht mit DVB-S Karten im Keller, Frau schaut im Wohnzimmer und im Schlafzimmer mit Streaming Client) im Einsatz. Dom-0 ist Proxmox mit KVM.


    Vor Jahren hatte ich schon unter XEN 4 PCI DVB-S Karten in eine Linux-VM durchgereicht, damals war es aber noch etwas wackelig (So um 2006 rum).


    Virtualisierung an sich klappt auch ohne vt-d (dann ohne Hardwarezugriff) bzw. vt-x (dann ohne Beschleunigung, d.h. die CPU der VM wird komplett emuliert, was halt je nach Hypervisor mehr oder weniger auf die Leistung geht).


    cu
    Markus

    Also dann wäre wohl mit KVM das das richtige, denn IvyBridge unterstützt mein Board nicht.
    Oder woran erkenne ich, ob Sandy oder Ivy-Bridge?


    http://ark.intel.com/products/52207


    Wäre der okay? Oder gibts günstigere?


    Andy

    Meine VDRs
    sinai wrote:

    Ist dann die Info der letzten Linux User, dass man für KVM keine VT-d taugliche Hardware benötigt falsch?

    Diese Info geistert schon seit Jahren durchs WWW, tatsächlich gab es einen Patch für KVM, der PCI Passtru ohne VT-d erlaubte. Dieser hat aber nie seinen Weg nach Upstream gefunden und angesichts der Masse an CPUs die VT-d im Server-Bereich beherrschen, sieht RedHat wohl hier kein Handlungsbedarf.


    Der Q67 kann VT-d, bei der CPU müsstest Du aber ab Core i5-2400 einsteigen, keine "K" Version nehmen, wie auch bei Core i7. Wenn das betreiben möchtest, würde ich evtl. nach einer SandyBridge Xeon E3 CPU schauen, sind auch nicht teurer als Core i5 oder i7, z.B. E3-1225. Drauf achten nicht die Version mit "v2" kaufen, das wäre IvyBridge und wird von keinem Q67 Mainboard unterstützt, nicht nur Deinem ...


    *) Ok, ok, ein schneller Blick sagt, bei den SNB Xeon, nehmen es die Händler von den Armen, sorry ...


    sinai wrote:

    Oder woran erkenne ich, ob Sandy oder Ivy-Bridge?

    Na, im Prinzip an der Modellnummer Core iX 2yyy = 2nd Generation Core = SandyBridge, Core iX 3yyy = 3rd Generation Core = IvyBridge. Bei Xeon E3-1xxx = SandyBrdige, Xeon E3-1xxxv2 = IvyBridge usw.


    Regards
    fnu

    HowTo: APT pinning

    Click for my gear

    The post was edited 1 time, last by fnu ().

    Bin jetzt unterwegs und kann nicht nachschauen, aber wenn ich vorhin nicht falsch geschaut habe, fand ich keine Ix-2xxx CPU, die VT-d kann UND lieferbar ist?


    Und wenn ich eine bekomme, dann hab ich immer noch mein IRQ-Problem.


    Doch VMware ESXI oder Citrix/XEN? Wobei ich davon Null Ahnung habe. Wie kriege ich meinen aktuell nativ laufenden Server dort in eine VM, ohne alles neu machen zu müssen? Geht das mit restorepart von Clonezilla?

    Meine VDRs
    sinai wrote:

    fand ich keine Ix-2xxx CPU, die VT-d kann UND lieferbar ist?

    Das halte ich jetzt für ein Gerücht, guckst Du: Core i5-2400. Aber schau erstmal mal in Deine PNs hatte was interessantes für Dich gefunden ...


    sinai wrote:

    Und wenn ich eine bekomme, dann hab ich immer noch mein IRQ-Problem.

    Hmm, ich weiß nicht ob das dann noch ein Problem ist ...


    sinai wrote:

    Doch VMware ESXI oder Citrix/XEN?

    Für VMWare brauchts auch "VT-d", nur mit Xen bräuchtest Du keine andere CPU.


    Regards
    fnu

    HowTo: APT pinning

    Click for my gear

    Ich stand damals auch vor der Wahl und habe mich aus Preisgründen gegen einen Xeon und für einen Core i7 2600 entschieden. Hab ich damals bei Ebay Kleinanzeigen(! nicht die Auktionsplattform) günstig erstanden, mit Nachverhandeln (weil das Angebot schon seit knapp 3 Wochen stand) und Porto um die 140€ inkl. Kühler.Muss man halt Glück haben und grad einer im Angebot sein. Die CPU im Server wurde mittlerweie von einem Core i7 3770 abgelöst (IIRC 160€, auch bei Ebay Kleinanzeigen), der 2600 steckt noch in meiner Arbeitskiste.

    Hab mir eben einen Xeon bestellt - danke erstmal für die Infos (und danke an Frank für den Tipp bei cbo)


    Nun dachte ich, ich installiere auf ner anderen Platte in der Zwischenzeit mal VMware vSphere Hypervisor bis die CPU da ist - denkste - die NIC des Q67 Chipsatz wird nicht erkannt.


    Also Xen Server 6.2.0 versucht - Installation startet, lädt xen.gz und vmlinuz, dann wechsel auf neues Bild und sofort ein Reboot. Letzte für mich sichtbare Meldung in der Zehntelsekunde ist ganz unten
    irgendwas mit AHCI - also mal den SATA von AHCI auf IDE umgestellt - gleiches Verhalten.


    Alles sehr seltsam - danach alte Platte rein und alles läuft.


    Also nochmal mit anderer Platte XEN-Server installiert gleiches Problem.


    Hat jemand einen Tipp?


    Andy

    Meine VDRs
    sinai wrote:

    Board hat Q67-Chipsatz - der kann VT-d
    http://ark.intel.com/products/52812/Intel-BD82Q67-PCH


    Das FS ist ein Industrie Mainboard, interessante für VDR Zwecke gute Wahl. Ich würde vermuten, dass dort VT-D lauffen sollte, obwohl auch wenn der Chipsatz das kann, muß es im Bios aktiviert werden und es gibt einige wenige SOHO Boards die da im Bios buggy sind.
    Daher würdel ich für Virtualisierungen Serverchipsätze (z.B. C204 ist Sandy Bridge und neuer, etc) empfehlen. Da ist man 100% sicher, dass es funktioniert und auch alle Komponenten auf dem Board das können.


    Der Nic könnte auch bei Xen stören. Du kannst ja mal eine einfache standard Nic einbauen und die interne deaktivieren. Den Treiber für die INTEL Lan kann man später selber bauen.
    AHCI sollten alle können. Aber möglicherweise hast Du UEFI boot aktiv? Das funktioniert nicht.

    Proxmox VE, Tyan Xeon Server, OMV, MLD-Server 5.1
    MLD 5.1 64bit: Asus AT5iont-t, ION2, 4GB Ram, SSHD 2,5" 1Tb, HEX TFX 300W 82+, Cine S2 V6.2 , 38W max.
    Yavdr 0.5:     Zotac D2550ITXS-A-E mit GT610 OB, TT S2-4100 PCI-e ,Joujye NU-0568I-B
    Yavdr 0.5:     Sandy Bridge G840, Tests und Energieverbrauch , CoHaus CIR, Cine S2 V6.2
    MLD 5.1 Beebox N3150    , DVBSky S960 und 1Tb WD Blue

    UEFI ist inaktiv


    An anderem Rechner mit Realtek-NIC unter VMWare identisches, unter XEN installiert gerade - kein Fehler bisher.


    Andy

    Meine VDRs

    Was ist denn eine Standard NIC? Mit einer Realtek GB-Karte meldet VSphere auch dass keine NIC gefunden wurde.

    Meine VDRs

    Ich verstehe es nicht. Das Board hat folgende Karte


    Code
    1. Model: "Intel Ethernet controller"
    2. Vendor: pci 0x8086 "Intel Corporation"
    3. Device: pci 0x1502
    4. SubVendor: pci 0x1734 "Fujitsu Siemens Computers"
    5. SubDevice: pci 0x11b7
    6. Revision: 0x04
    7. Driver: "e1000e"


    Wo finde ich denn, welche Hardware VSphere unterstützt. Ich habe heute schon eine Liste gefunden, in der e1000 drinstand - nur jetzt finde ich sie nicht mehr


    Andy

    Meine VDRs
    sinai wrote:

    Hab mir eben einen Xeon bestellt - danke erstmal für die Infos (und danke an Frank für den Tipp bei cbo)

    Falls ebber mitliest und Interesse hat, es geht um einen "Xeon E3-1220L" bei diesem Online Händler.


    Den Preis finde ich für so eine spezielle CPU sehr fair, das Gerät halte ich für eine coole Socke, SandyBridge, 2 Kerne, 4 Threads, VT-d, AES, 2x 2,2GHz mit Turbo auf 3,4GHz, 20W TDP ... ^^ ... unterm Strich genau richtig für ein Q67 Boards, wo Intel ja den Upgrade auf IvyBridge CPUs ausschließt.


    Achtung, keine GPU, Vorteil für den, der noch eine ältere PCI Version einer ATI Radeon oder Matrox Millenium rumliegen hat ... :)


    VMWare ist sehr eigen bei Netzwerk-Karten, erkennt von Haus aus nur Server Netzwerkkarten und ignoriert die Desktop Chips, Intel & Broadcom. Bei nicht ausgewiesenen Server-Mainboards muß man sich i.d.R. ein Custom-Image bauen lassen:


    - http://www.ivobeerens.nl/2011/…i-5-whitebox-nic-support/


    Von dem Fujitsu Mainboard wird aber IMHO der zweite NIC erkannt, ich habe das ja damit mal getestet ...


    Regards
    fnu

    HowTo: APT pinning

    Click for my gear

    The post was edited 1 time, last by fnu ().