Modernisierung und Virtualisierung via KVM (Proxmox)

WebWusel · 5. November 2014

Nach langer Zeit mal wieder Hallo!

Ich habe vor, mein aktuelles Setup den aktuell verfügbaren Möglichkeiten moderner Technik anzupassen und würde diesen Prozess hier gerne teilen und gerne auch Eure Erfahrungen in meine Planungen einfließen lassen. Fange ich also mit dem an, was aktuell vorhanden ist und überwiegend stabil läuft:

Im Keller läuft ein headless yaVDR mit 2xDVB S2 auf einer recht betagten Hardware, die allerdings noch ihren Zweck erfüllt.

Als Streaming-Clients kommen zwei RPi mit OpenElec zum Einsatz. Der yaVDR-Server fährt nach 15 Minuten idle runter (weil er seit einiger Zeit crasht, wenn er in den Ruhemodus fahren soll) und wird durch den Start eines RPi via WOL bei Bedarf gestartet. Funktioniert soweit alles einwandfrei. Die Probleme mit dem RPi und OpenElec sind ein anderes Thema...

Überlegung:

Im Keller läuft außerdem ein Windows-Domänen-Server, der via Hyper-V einen IP-Cop und einen Windows 8.1 Host für den Zugriff via RDP zur Verfügung stellt. Auch diese Hardware hat ihre besten Tage hinter sich, funktioniert aber noch einwandfrei. Da dieser Server wichtige, interne Dienste für meine kleine Firma zur Verfügung stellt, läuft er 24/7 durch.

Angespornt und durch diverse Artikel und Benchmark-Tests habe ich mich entschieden, beide Server sowie die Hyper-V-Gäste des Windows-Servers in einer Virtuellen Umgebung unter KVM (Proxmox) laufen zu lassen. Damit das dann auch mit VT-d klappt, habe ich folgende Komponenten im Auge:

Asrock Z97 Anniversary Edition
Intel i7 4790 (ja ich weiß. für VDR alleine völlig überdimensioniert - aber VDR alleine wird's ja nicht...)

Als DVB S2-Karte ist heute bereits eine DVBSky S952 Dual PCIe angekommen und - da "nur" drei SAT-Leitungen in den Keller gehen - soll noch eine der bereits vorhandenen DVB-S2-PCI-Karten zum Einsatz kommen.

Außerdem eine zweite Netzwerkkarte, exklusiv für den IPCop, während sich das grüne Netzwerk über einen virtuellen Switch, gebunden an die onboard-Netzwerkkarte darstellen wird.

Ein ordentliches Netzteil, ein billiges Gehäuse (Lärm spielt im Keller keine Rolle), ein DVD-RW, 16Gig RAM kommen dazu. Harddrives kommen natürlich auch rein, sind hier aber nicht Thema.

Also mein Warenkorb beim Hardware-Dealer meines Vertrauens ist bereits gefüllt. Ich würde vorher aber gerne noch folgende Fragen stellen:

Zufällig schon jemand Erfahrung mit einem ähnlichen Setup?
Ich konnte nicht wirklich klären, ob oder ob nicht Probleme mit VT-d und dem "durchreichen" der DVB S2-Karten bestehen und wenn, ob sie lösbar sind. Kann wer eine definitive Aussage dazu machen?
Ich habe "irgendwo" gelesen, dass es wohl möglich wäre auch die KVM-Gäste in den Ruhemodes zu schicken und via WOL wieder aufzuwecken. "Irgendwo" finde ich nicht mehr. Wäre es tatsächlich machbar, den VDR-Server und damit selektiv die PCI(e)-Geräte in den Schlaf zu schicken, um ein wenig Strom zu sparen, wenn sie nicht gebraucht werden?
Habe ich irgendwas offensichtliches nicht bedachtet?

Ich freue mich auf Eure Antworten und Ideen.

vdr-freak · 5. November 2014

Ich verwende seit ca. 1,5 Jahren Proxmox zur Virtualisierung von yaVDR, openmediavault, owncloud, Win7. Läuft soweit problemlos.
Das Durchreichen von PCI/PCIe Geräten funktioniert nur problemlos, wenn die Hardware dies unterstützt. Daher kann ich in diesem Zusammenhang nur zu Serverhardware raten (z.B. Mainboard von Supermicro + Intel Xeon Prozessor). Bei mir werkelt z.B. ein X10SLH-F mit einem E3-1241v3.
WOL von Guests würde mich auch interessieren. Habe hierzu auch nichts gefunden.
Um etwas Strom zu sparen verwende ich das dynamite Plugin. Mittlerweile funktioniert dies recht ordentlich (es kann aber mal vorkommen, dass ein Device nicht mehr aufwachen will, wenn es schlafen gelegt wurde).
Die größte Unsicherheit ist in meinen Augen die Hardware! Für einen 24/7 Server würde ich nur auf Serverhardware setzen! Preislich würde es bei Deiner Auswahl keinen merklichen Unterschied machen.

HTPC-Schrauber · 5. November 2014

Ich habe bei meinem Server ein Asrock Z97 Extreme6 genommen. Grund war, das bereits zwei Netzwerkanschlüsse onboard sind. Außerdem hat es 10 S-ATA Anschlüsse. In meinem Falle waren mind. 8 Pflicht aufgrund einer größeren Anzahl Platten. Außerdem wollte ich einen kompletten Controller mit DVD-Rom bzw. BluRay Laufwerk an eine VM durchreichen. Das geht mit dem genannten, weil 6 SATA vom Chipsatz und 2 ASMedia Controller mit je 2 SATA. Einer der ASMedia Conroller geht direkt an eine VM.

Ich habe KVM unter Ubuntu 14.04 Server laufen. Für die Verwaltung verwende ich Archipel. Proxmox hatte ich mir angesehen, nur leider kommt man mit dem Core Repo nicht sehr weit und Enterprise kostet Geld. Deshalb habe ich letztlich davon abgesehen. Ich hätte nicht mal was degegen einmalig zu zahlen. Aber da geht es ja um eine Art Abo-Modell.
Wie auch immer, Archipel läuft bei mir gut. Der Aufwand für die Einrichtung ist halt höher.

vdr-freak · 5. November 2014

Zitat von HTPC-Schrauber

Proxmox hatte ich mir angesehen, nur leider kommt man mit dem Core Repo nicht sehr weit und Enterprise kostet Geld. Deshalb habe ich letztlich davon abgesehen. Ich hätte nicht mal was degegen einmalig zu zahlen. Aber da geht es ja um eine Art Abo-Modell.

Verstehe ich nicht. Keine Ahnung was Du mit "Core Repo" meinst. Der Vorteil der bezahlten Lizenz ist im Wesentlichen der Support! Ohne Lizenz hast Du keine wirklichen Einschränkungen bzgl. der eigentlichen Software oder verfügbaren Pakete.

zebulon · 5. November 2014

Wirf einen Blick auf Citrix XenServer, seit 6.2 ist Download und Betrieb kostenfrei. Support vom Hersteller kostet - aber das Internet ist groß
Ich hatte damals ProxMoxx versucht, Ubuntu 12.04 mit den XEN-Quellen, Vmware ESXi und kam von EisXEN (faktisch tot), KVM schloss ich schon
vom Lesen aus - irgendwo hatte ich immer Kombatibilitätsprobleme oder Hardware wurde nicht oder nicht koplett durchgereicht.

Citrix hat aus meiner Sicht für den Hausgebrauch eine ungeschickte Festplattenstrategie (die eingebundenen Platten ergeben einen Pool aus dem
man verteilt) - wer schonmal eine Platte recovered hat, wußte es zu schätzen, wenn die so einzeln (Partition/Stripe/Raid) wie möglich läuft und
man exakt weiß, welche Daten sich wo befinden. Aber auch dafür gibt es eine Lösung.

Hardware hier ein SuperMicro X9SCA-F mit Xeon E3 1220-V2.

WebWusel · 5. November 2014

Zitat von vdr-freak

Ich verwende seit ca. 1,5 Jahren Proxmox zur Virtualisierung von yaVDR, openmediavault, owncloud, Win7. Läuft soweit problemlos.

Super! Genau das wollte ich lesen!

Zitat von vdr-freak

Das Durchreichen von PCI/PCIe Geräten funktioniert nur problemlos, wenn die Hardware dies unterstützt.

Wird vom Intel Z97 Chipsatz und vom Bios des Boards sowie vom i7 unterstützt. Hier sollten also keine Probleme zu erwarten sein.

Zitat von vdr-freak

Daher kann ich in diesem Zusammenhang nur zu Serverhardware raten (z.B. Mainboard von Supermicro + Intel Xeon Prozessor). Bei mir werkelt z.B. ein X10SLH-F mit einem E3-1241v3.

Uneingeschränkte Zustimmung, was Supermicro-Server angeht. Wir setzen derzeit 7 Stück mit je E3-1270v3 und 32GIG in zwei unterschiedlichen Konfigurationen ein. Auf allen werden via OpenVZ auf CentOS, paravirtualisiert aktuell rund 30 Web-, Mail-, MySQL-, DNS-Server und eine Handvoll spezieller Linux-Server im Kundenauftrag gefahren. Vollkommen zuverlässig (nahezu lässig, was die Performance und Last angeht) und ausfallfrei. Die laufen allerdings nicht im Keller, sondern in einem angemieteten Rack im Level(3)-Rechenzentrum in Düsseldorf.

Der Server im Windows-Server im Keller ist allerdings nicht systemkritisch. Würde er ausfallen, wäre das kurzfristig ärgerlich aber kein Weltuntergang. Gleiches gilt natürlich für die sonstigen Gäste, die virtualisiert zur Verfügung gestellt werden sollen.

Also, da ich vor über 10 Jahren mit einem zum Server deklarierten Desktop-PC meine Firma gegründet habe und keinerlei nennenswerte Probleme in der Zuverlässigkeit der ersten "Server" hatte, sehe ich den Einsatz von Desktop-Hardware - sofern man ein gutes Netzteil und WesternDigital RE, mindestens aber die BlackEditions einsetzt und Überhitzung vermeidet - als völlig unproblematisch an.

Zitat von vdr-freak

Um etwas Strom zu sparen verwende ich das dynamite Plugin. Mittlerweile funktioniert dies recht ordentlich (es kann aber mal vorkommen, dass ein Device nicht mehr aufwachen will, wenn es schlafen gelegt wurde).

Ja, ich habe mal was von diesem Plugin gehört. Werde mir das mal genauer ansehen!

Zitat von vdr-freak

Preislich würde es bei Deiner Auswahl keinen merklichen Unterschied machen.

Ja doch schon. Hatte es auch zuerst mit einem X10SLM geplant. Allerdings komme ich damit auf einen doch erheblich höheren Anschaffungspreis im Vergleich zur bisher angestrebten Variante. Das würde ich meinem Buchhalter gegenüber und meiner Finanzchefin (Gattin) nicht guten Gewissens und mit der nötigen Überzeugungskraft rechtfertigen können.

Zitat von HTPC-Schrauber

Ich habe bei meinem Server ein Asrock Z97 Extreme6 genommen

Ausgezeichnet. Wenn das rund läuft, läufts mit dem Anniversary auch. Meine Prio lag auf den PCI und PCIe-Slots, sowie die Intel-Grafik-Unterstrützung. Letztendlich ist das Gerät ja nur wärend der Installation mit Monitor und Tastatur verbunden. Einmal in Betrieb fristet es sein Dasein für die nächsten Jahre unbeachtet im kühlen, dunklen Keller. Könnte höchstens mal ein USB3-Speicher gewechselt werden oder sowas... ... obwohl - wenn ich mir das so durchlese - wenn der WinServer einen eigenen Controller hätte...

Zitat von HTPC-Schrauber

Proxmox hatte ich mir angesehen, nur leider kommt man mit dem Core Repo nicht sehr weit

Proxmox habe ich vor ein paar Jahren mal für meine Server im Rechenzentrum ins Auge gefasst. Nach einigen Tests hat es sich aber für uns als unbrauchbar erwiesen und wir setzen weiter auf eigene Verwaltungstools und reines OpenVZ. Inzwischen hat sich ja wohl einiges bei Proxmox getan und für den geplanten Einsatz dachte ich, braucht's auch nicht mehr.

Was meinst Du denn damit, dass man mit der Core Repo nicht sehr weit kommt? Dass das Durchreichen der Geräte nur auf der Konsole, bzw unter manueller bearbeitung der Config(s) funktioniert, habe ich schon gelesen und sollte kein Problem sein. Gibt's nochwas, was ich noch nicht weiß?

Archipel werde ich mir auch nochmal genauer ansehen!

Vielen Dank schonmal!

HTPC-Schrauber · 5. November 2014

Bzgl. Proxmox:
Ich weiß gar nicht mehr was ich genau wollte. Eigentlich wollte ich mir Proxmox nur mal anschauen. Ich bin aber dann sehr schnell abgestorben, weil mir die Enterprise-Subscription "nahegelegt" wurde. Auf der Proxmox-Wiki-Seite las es sich dann auch so, das man nicht alle Updates bekommt, wenn man keine Subscription hat. Ich habe mich dann allerdings nicht länger damit befasst, weil ich eh nur mal rein schauen wollte.

Thema Board:
Brauchst Du PCI-Steckplätze? Bei mir war ein weiteres Kriterium, das das Board gerade keine PCI-Steckplätze mehr haben sollte, weil dafür eine Bridge benötigt wird, die einigermaßen Strom zieht. Das Extreme6 braucht gemessen an der Ausstattung recht wenig Strom. Ich habe 16 GB RAM drauf, einen Core i5-4570. Mit zwei SSDs zieht das System dann 24 Watt im Idle. Generell erstmal kein brutal niedriger Wert, aber gemessen an der Ausstattung durchaus recht wenig. Ich hatte vorher ein Z87 Pro4, welches ebenfalls 22 Watt in gleicher Config nimmt. Im Endausbau hätte auf dieses aber noch eine zusätzliche Controllerkarte drauf gemusst, was beim Z97 Extreme6 nicht nötig ist. Außerdem hätte das Z87 Pro4 auch noch keine zwei NICs gehabt.

Passtrough funktioniert mit dem Board mit KVM problemlos. Ich habe sowohl einzelne Karten als auch Onboard-Controller durchgereicht. Geht beides und läuft bei mir auch stabil.

KVM unter Ubuntu ist schnell installiert. Archipel braucht etwas länger. Ich habs schon öfter gemacht und brauche dann vielleicht 2 Stunden bis zum laufenden ArchipelAgent und Client. Wenn man es das erste Mal macht, dann kann man da aber durchaus einen Tag dran sein. Wichtig ist, die Architektur erstmal verstanden zu haben. Ich habe übrigens Archipel Agent Client und den XMPP-Server alles auf dem KVM-Host laufen. Das geht also alles auf einer Maschine.

WebWusel · 5. November 2014

Zitat von zebulon

Wirf einen Blick auf Citrix XenServer, seit 6.2 ist Download und Betrieb kostenfrei

Hab ich als einzige von den bekannten Lösungen als einzige noch nie probiert. Die Reviews lesen sich aber gut, auch wenn Xen in den Benchmarks, die ich bisher gelesen habe, mit wenigen Ausnahmen meist knapp hinter KVM liegt. Allerdings so knapp, dass ich mir das mal genauer ansehen werde. Schließlich bin ich über 40 und deshalb grundsätzlich sehr auf Kompfort ausgerichtet und Xen scheint da die Nase vorn zu haben.

Zitat von zebulon

Citrix hat aus meiner Sicht für den Hausgebrauch eine ungeschickte Festplattenstrategie

Das ist bei Proxmox auch so - zumindest war es so, als ich es ausprobiert hatte. Vielleicht hat sich da was getan, vielleicht auch nicht. Ist auch relativ egal, da ich bei der Installation nur eine großzügige Platte im System habe um a) zu sehen, was damit passiert und b) ich meinen Speicherpool ohnehin erst später einhänge.

Zitat von HTPC-Schrauber

Brauchst Du PCI-Steckplätze?

Nur, wenn ich eine der vorhandenen DVB-S2-Karten weiterverwenden will. Es wäre wohl eine Überlegung wert, in eine weitere PCIe-Karte zu investieren um auf PCI völlig zu verzichten.

Frage:

Was passiert denn eigentlich, wenn ich zwei Dual-DVB-Karten auf dem Board habe aber nur drei Receiver ein Signal erhalten? Ist VDR smart genug, das selbst zu erkennen oder kann ich selektiv einen Reciever abschalten? Weil wenn, dann würde ich ggf. auch das Z97 Extreme6 nehmen und eben eine zweite Dual-Karte nachbestellen und ir-gend-wann die vierte Leitung in den Keller ziehen.

sinai · 5. November 2014

Beim vdr-start z. B. mit Parameter -D1 -D3 -D4 die Tuner 1,3,4 aktivieren.

HTPC-Schrauber · 5. November 2014

Ach so, Thema Xen:
Ich habe lange auch einen Server mit Xen in Betrieb gehabt. Allerdings in dem Falle das freie Xen und wiederum Archipel für die Verwaltung.
XenServer hatte ich auch einmal angetestet. Allerdings überwiegen mir dann die Verteile beim freien Xen. U.a. ist man dann eben nicht drauf angewiesen Speicherpools zu bilden usw. Außerdem hat man bei XenServer teilweise Verrenkungen, wenn man in der Dom0 etwas machen will, was Citrix nicht vorgesehen hat. Beim freien Xen ist die Dom0 eben frei verwendbar. Und wenn man das auf Xapi umstellt, dann kann man sogar den Citrix Client für die Verwaltung nutzen. Thema Verwaltung: Bei XenServer hat man eben von Citrix-Seite den Windows-Client. Wenn man so weit ist, dann kann man auch noch ESXi anschauen. Wenn ich zwischen XenServer und ESXi wählen müsste, dann wäre es ESXi (ich hatte auch einige Jahre einen ESXi Host in Betrieb).

Wie auch immer, Thema Xen vs. KVM: Bzgl Performance mag Xen leichte Nachteile haben. Es nimmt sich in meinen Augen aber praktisch nichts. Wenn man Archipel bzw. libvirt verwenden will, dann ist KVM die besser unterstützte Alternative. Ansonsten kann ich aber bzgl. Stabilität usw. nicht wirklich großartige Unterschiede ausmachen. Es funktioniert beides zuverlässig.
Die Einrichtung des Systems ist bei KVM in meinen Augen einfacher. Bei Ubuntu installiert man ein Paket und ist fertig. Bei Xen ist der Aufwand allerdings auch nur wenig höher bis es läuft. Vorteilhaft für KVM in Verbindung mit Libvirt ist, das man PCI Passthrough managed betreiben kann. Sprich man muss sich um nichts weiter kümmern, Libvirt regeln das Passthrough.

WebWusel · 5. November 2014

Zitat von sinai

Beim vdr-start z. B. mit Parameter -D1 -D3 -D4 die Tuner 1,3,4 aktivieren.

Danke! Also Setup-Änderung auf Asrock Z97 Extreme6, eine weitere DVBSky S952 und keine zusätzliche Netzwerkkarte.

... die Gefahr bei der Verwendung solcher Foren ist, dass man zuweilen Flöhe in's Ohr gesetzt bekommt!

sinai · 6. November 2014

Ich habe einen ESXI mit 8 VMs laufen, u. a. mit einem VDR-Server, NAS, Vortexbox. VDR logischerweise mit easyVDR 2.0 headless . Alles absolut problemlos und stabil.

Nur wegen der Flöhe...

Ach ja: Onboardgeräte und Passthrough mit ESXI sollte man unterlassen. PCI(e) völlig problemlos

NX650 · 6. November 2014

Hallo,

ich habe schon seit längerem Proxmox im Einsatz.
Derzeit mit Proxmox 3.0 / pve-kernel-2.6.28 produktiv im Einsatz.
Diese Kernelversion deshalb, da keine Warnmeldungen bei PCI-Passthrough, und APCUPSD meine Eaton USV "erkennt".
Im Test habe ich gerade Proxmox 3.3 / pve-kernel-3.10.0-5 um vfio zu testen.
https://pve.proxmox.com/wiki/Pci_passthrough
Wobei ich die "Grafikkartendurchreichung" nicht anwende.
Zudem unterstützt meine Hardware vPro (Board + CPU).

Gruss Ralf

HTPC-Schrauber · 6. November 2014

Zitat von sinai

Ach ja: Onboardgeräte und Passthrough mit ESXI sollte man unterlassen. PCI(e) völlig problemlos

Naja, ganz so ist es nicht. Es kommt auf das Gerät an. Chipsatz-Controller kann man tatsächlich vergessen. Damit dürfte aber auch Xen und KVM Probleme haben. Zusatzcontroller, wie der ASMedia auf dem Z97 Exreme6 gehen i.d.R. auch mit ESXi ohne größere Probleme. Da gibt es aber praktisch auch keinen Unterschied zu einer Steckkarte. Die Dinger sind Zusatzcontroller, die über PCIe angebunden sind. Dewegen geht das.
Der erste NIC auf dem Board gibt auch Probleme. Wenn das Board einen zweiten hat, dann kann man den meist auch mit ESXi durchreichen.
Onboard-Sound habe ich auch schon gemacht ohne Probleme.

Aber viel mehr Onboard-Komponenten kommen ja eigentlich eh nicht in Frage für Passthrough. Allenfalls die Grafikkarte. Damit habe ich aber noch nie experimentiert. Daher kann ich dazu nichts sagen.

Modernisierung und Virtualisierung via KVM (Proxmox)

Jetzt mitmachen!

Teilen

Tags