VDR Server unter VMware ESX

Zitat von kris

Fehlt noch Board und CPU. Wird bei Deinem verwendetem Supermicro der "Health" Status ans esxi geleitet (also Cpu Temperatur etc)?

Ja, das funktioniert ebenfalls.

Ups, so viel zum antworten. Erst mal noch nachträglich frohe Weihnachten!

• ESXi5 unterstützt definitiv 16GB und lt. Herstellerseite 32GB RAM
• Installation auf USB-Stick (so hab ich es gemacht): Platten abstecken, USB Stick anstecken, von CD booten, auf USB-Stick installieren, Platten anstecken, diese als Datastore verwenden (beim Platten ab/anstecken muss natürlich der Rechner ausgeschaltet sein)
• Temperaturen, Lüfter Status auslesen: geht mit meinem Board nicht. Das Board muss IPMI unterstützen. Das sind dann Server-Boards. Hab mit einer Live-CD mal geschaut, wie warm mein Rechner wird. Auch bei Stunden Volllast geht er nicht weiter als 62°C rauf.
• PCI(e) Passtrough: das muss die CPU und das Board (Chipsatz und Bios) unterstützen, sonst geht da nix. Hatte vorher ebenfalls ein Board mit Z68 Chipsatz, aber das Bios konnte es nicht -> vor dem bestellen im Manual des Boards nachlesen, bei der CPU auf der Intel-Seite das Kleingedruckte lesen: i5-2400S kann VT-D, i5-2405S kann es nicht. Die mit K am Ende können es pauschal nicht.

Das System läuft rund. Sehr rund :). Meine "Server" waren vorher Atom und CUSL-Celeron. Der i5 hängt die locker ab, obwohl es nur virtualisierte "Rechner" sind und immer ca. 2-4 VMs gleichzeitig laufen.
Den VDR lass ich im ESXi laufen, weil ich ihn nicht ständig benötige und nur bei Bedarf starte. Mit meinen Macs und iPad als Clients hab ich bei VDR nicht zu 100% das richtige DVR-System, aber möchte trotzdem gerne mit VDR basteln.

ESXi5 habe ich gewählt, weil gerade ab v5 der ESXi nun OS X unterstützt. Auf Apple Xserve Hardware. Die Abfrage kann man ja "ausradieren", damit OS X auf beliebiger Hardware läuft. Wegen OS X fallen Citrix Xen und Proxmox schon mal weg.

Möchte jetzt auch nicht großartig mit der eingesetzten Virtualisierung basteln, sondern VMs installieren und laufen lassen. Die Virtualiserung muss einfach laufen und meinen Anforderungen gerecht werden. Das macht der ESXi5. Vermutlich kann die ein oder andere Virtualisierung etwas besser als der ESXi5, aber mir gings ums funktionierende Gesamtpaket und der persönlichen Wunschliste:

• kann lokale Platten als Raw-Disks einbinden, ohne dass ich den SATA-Controller per Passtrough durchreichen muss
• diese Raw-Disks sind natürlich keine Image-Dateien und funktionieren weiterhin an einem nativen System (falls der ESXi abraucht)
• von diesen Raw-Disks kann ich problemlos eine VMDK Imagedatei erstellen, falls notwendig.
  Linux Systeme kann man damit ganz easy virtualisieren:
  Platte in den ESXi stecken, als Raw-Disk einbinden, mit vmdk-tools VMDK Imagedatei erstellen, neue VM erstellen und diese VMDK Imagedatei als Boot-HD angeben, fertig. Ok, noch das System starten, VMware Tools installieren. Linux ist virtualisiert.
• ESXi5 VMs sind mit VMware Workstation 8 und VMware Fusion 4 austauschbar, bei VMware Workstation 8 kann sogar der ESXi5 eingeschränkt verwaltet werden.
  Raucht also der ESXi mit der Server-VM (Groupware, Web-, Fileserver) ab, nimmt man das Backup und lässt die Server-VM im Client-Rechner laufen, bis die ESXi Hardware wieder funktioniert. Ausfallszeit und Aufwand sind überschaubar.

Deshalb für mich nur ESXi5, weil ich ohne teure Zusatzhardware (alles doppelt oder gar geclustert) im Desasterfall trotzdem noch sehr flexibel agieren kann, ohne dass die Ausfallzeiten und Aufwand besonders lange bzw. hoch sind. Backup ist halt absolute Pflicht und mein administratives Wissen über Unix kommt mir sehr entgegen.
Aber da hat jeder seine persönlichen Wünsche und Anwendungsfälle.

HI,

sledgehammer
danke für die ausführliche antwort. Das Zauberwort heißt übrigens vt-d was sowohl board als auch cpu beherrschen muss. Bei der CPU hilft einem die erstklassige Intel.com seite, beim Boad wird es echt schwierig, da es schonmal unterschiede zwischen Biosversionen geben kann.

Zitat

ESXi5 VMs sind mit VMware Workstation 8 und VMware Fusion 4 austauschbar, bei VMware Workstation 8 kann sogar der ESXi5 eingeschränkt verwaltet werden.

Spitze, ich habe hier eigentlich nur Macs rumstehen, Fusion ist dabei mein Virutalisierer den ich öfters brauche. Ich könnte also auf dem Mac bequem eine VM erstellen und unter esxi nutzen? Das wäre klasse.

An das virtualiseren von OSX habe ich garnicht gedacht, wenn das geht, dann bin ich selig (Lion Server)

Ich hatter erst vor, das MSI Board mit i7-2600 zu nehmen, aber das supermicro sagt mir einfach mehr zu. Der einzige "Nachteil" ist, das der xeon ecc speicher braucht Was für ESXI aber wohl eher von Vorteil ist.

MfG
KRis

Zitat

Spitze, ich habe hier eigentlich nur Macs rumstehen, Fusion ist dabei mein Virutalisierer den ich öfters brauche. Ich könnte also auf dem Mac bequem eine VM erstellen und unter esxi nutzen?

So ist es und deswegen den ESXi. Momentan, da ist VMware Fusion 4 und VMware Workstation 8 dem ESXi5 noch voraus, musst Du für 10.7.2 (und .3) ein Kernel-Modul von 10.7.1 verwenden. Auch das ESXi Update Mitte Dezember hat es leider noch nicht behoben. VMware wirds noch beheben, weil selbst die orig. Apple Hardware Xserve nicht läuft.

Google einfach nach (mit Anführungsstriche):
"ESXi 5 Mac OS X"

Der erste Treffer sollte Dich zu InsanelyMac führen und alles erklären.

Und wieder Ontopic...

Ich hole das hier mal hoch ...
Ich habe bisher nirgends was zur Grafikleistung gefunden. Gehe ich richtig in der Annahme, dass es nicht möglich ist eine Grafikkarte wie z.b. die Nvidias durchzureichen? Bin gerade am überlegen meinen neuen Server zu virtualisieren, aber auch mein Wohnzimmer direkt damit zu versorgen.
Dann müsste aber vdpau mit meiner Nvidia funktionieren, damit das überhaupt eine Überlegung Wert ist.

Es ist möglich eine Grafikkarte durchzureichen. Dies sollte aber eine zusätzliche sein. Das Host System benötigt ja auch eine. Wenn das Host System bspw. die onboard Grafik nutzt, falls vorhanden, kann man eine zusätzliche Grafikkarte, die in nem pcie x16 Steckplatz steckt auch durchreichen. Damit man pci devices überhaupt durchreichen kann, müssen mainboard als auch cpu IOMMU unterstützen, bei intel also VT-d und bei amd heißt das glaub ich AMD-Vi. Sehr praktisch z.B. uum in einer separaten VM bitcoins zu "minen".

Grüße, Kokel

Na das hört sich doch genial an!

Die Intel basierten Boards haben schließlich die Grafik in der CPU. Obwohl ich mir nicht sicher bin, dass die abgeschaltet wird sobald das Board eine 2. Grafikkarte erkennt.

Da ich eh ein neues Board für meine Core i5-2400s benötige, würde sich ein Board, welches das kann und 2 PCIe 16x (bzw 1*16x +1*8x) Schnittstellen hat natürlich anbieten.
Ich vermute mal die Serverboards auf C202/204 können das. Fragt sich nur wie man das sicher stellen kann.

Ein solches Board wäre z.B. das Asus P8B-X . Ein anderes welches in den Schnittstellen passt habe ich bisher nicht ausfindig machen können. Edit: kleiner Haken, die PCIe 8x hat nur 4 Lanes und eigentlich benötigt der Areca 8 Lanes. Eine alternative wäre also sinnvoll zu finden.
Bedingungen für die Boardwahl wären:

• 1* Onboard Grafik für Esxi
• 1* PCIe 16x für Quadro 600 für VDR Video out
• 1* PCIe 8x für Areca 1231ml Raid Controller
• 2* PCI1x für Tevii S480 + L4m DVB S2 V6.2
• 2* PCI für TT S2 1600 und AVM ISDN Controller

Das soll dann meinen alten SBS2003 ersetzen und gleichzeitig mein Wohnzimmer versorgen. Vom Keller aus (rund 5m HDMI müssten reichen, ist exakt darunter) Leider muss ich die 5 Sat Kabel irgendwie iin den Keller bekommen. Das geht aber auch, ist nur etwas Aufwand (3 sind im Keller und 2 aus dem Wohnzimmer).

Als VM´s sind dann geplant:

• Yavdr 04 mit 8 GB Ram / 1 Core
• WHS2011 mit 4GB Ram / 2 Cores
• mein alter SBS2003 in eine VM überführt / 2 Cores / 3,3 GB
• neuer Mail & Domainserver / 1 Core

Das könnte also tatsächlich durchführbar sein. Oder? Selbst mit der Kostenlosen Version?

Edit Boardalternativen:
TYAN S5512 (S5512GM2NR) C204 (1*PCIe 16x/8x, 2*PCIe 8x (8x+4x), 2* PCIe 1x, 1*PCI, 2*GBL)

TYAN S5512-LE (S5512G2NR-LE) C202 (1*PCIe 16x/8x, 1*PCIe 8x, 2* PCIe 1x, 1*PCI, 2*GBL)

TYAN S5512 (S5512GM4NR) C204 (1*PCIe 16x/8x, 2*PCIe 8x (8x+4x), 2* PCIe 1x, 1*PCI, 4*GBL)

HI,

was zur Hölle braucht bei yavdr 8GB RAM?

Also ich habe esxi (das kostenlose) und es kann alles ;), bei mir ist es ein XP (für IP-Symcon), 2x Ubuntu (1x NAS, 1x VDR) und bei bedarf 1x Developer. Das Ubuntu NAS wird irgendwannmal gegen Freenas Legacy getauscht, wenn es denn mal stable wird (mit timemachine lion support)

Ich würde aber dringend zu einem vernünftigem Board mit vernünftigem RAM (ECC) tendieren. Denn Board und CPU müssen Intel VT-D (oder AMD VI) unterstützen... Bei einem i5 ist die Intel-Cpu Datasheet dein Freund, da gibt es nämlich einige Feinheiten...
i5 ohne VT-D
und mit VT-D

Bei Asus kann VT-D klappen (muss im Bios de/aktiverbar sein) kann aber durch ein Bios-Update wegfallen...

Bei mir werden übrigens 1 Sata-Raid-Controller und eine separate NIC durchgereicht, ohne Probleme und zwei unterschiedliche VMs.

MfG
Kris

Chris,
als Livebuffer Verfechter sind 8GB kein Problem auszulasten

Hast Du eine Grafikkarte an den VDR durchgereicht? Als VDR-Server vermutlich nicht?

Da meine CPU eine SB Generation ist und das Board auch ist es mit VT-D kein Thema. Das Asus kann es auch im Bios (habe ich nachgelesen). Fällt aber raus, denn ich möchte den Raid Controller nicht limitieren. Dann lieber weniger PCI Slots.

Macht es Sinn 4 GBL zu haben? Der VDR bekommt eine eigene, der Rest müsste sich sonst die 2. Teilen. Sonst gäbe es das TYAN S5512 (S5512GM4NR) mit 4*GBL.

Die Supermicro Boards sind Klasse, kann ich nur empfehlen. Verwende das C7P67 mit nem i5-2390T, das kann auch VT-d.

Kokel

Hi,

Zitat

als Livebuffer Verfechter sind 8GB kein Problem auszulasten

Achso, bist ein Live-gucker

Zitat

Hast Du eine Grafikkarte an den VDR durchgereicht? Als VDR-Server vermutlich nicht?

njet, nix Grafikkarte. Ich nutze Openelec auf einer Zotac Zbox. Aber wie gesagt, eine NIC und ein Raid (jeweils pci-e) werden an zwei unterschiedliche VMs durchgereicht. Ich war recht erstaunt, wie simpel es ging (wobei ich VMWare gewöhnt bin)

Zitat

Macht es Sinn 4 GBL zu haben?

Ist wie Hubraum Also ich habe "nur" zwei, eine für meinen Netceiver (alte zicke) und die andere für den Rest. Leider wird bei meinem Supermicro-board die zweite Nic von keinem Betriebssystem sauber eingebunden, daher die zweite separate Nic.

Dafür ist aber das IPMI geil (Zugriff auf das Board! über Lan, kannst sogar virtuelle CD/DVD mounten etc)

mfg
kris

Zitat von kokel

Die Supermicro Boards sind Klasse, kann ich nur empfehlen. Verwende das C7P67 mit nem i5-2390T, das kann auch VT-d.

Interessant. Ein Board auf P67 aber trotzdem Server Class & Mangment Super Doctor3 was auch übers LAN ohne OS gemappt wird, richtig?
Aber keine Grafik Onboard. Damit kann ich 2 Grakas bei den Schnittstellen vergessen.

Bullshit, die C204 Board haben doch glatt keine Freigaben für Quad Core i5 CPU´s !!! Damit fallen die wohl auch raus. Jetzt wird es langsam arg schwer ein quad Core Board zu finden mit Grafik Onboard ...
Edit: oder ich muß die CPU auch noch neu kaufen, die Xeon´s sind ja Quad Core.
Edit2: Die Tyan <boards haben auch eine Netzwerkbasierte Managment Console. Sogar mit eigenem Netzwerkanschluß. (AST2150)

Hier mal ein Link zu erfolgreichem VMDirectPath mit ATI Karten und XBMC
Wichtig scheint wohl zu sein Server Hardware / Chipsätze zu verwenden. Offiziell ist es zwar nicht supported, aber bei den Desktopboards gab es häufig Probleme mit dem Passthrough.

Ich frage mich nur, was wird an der lokalen Server Anmeldung passieren? Bekommt man über den Onboard Kontroller immer noch die VSXI Server Konsole zu sehen, oder muß man auf die beim Durchreichen der Grafikkarte verzichten.
Ich bin mal gespannt, baue gerade einen Asus P7F-M Serversystem zusammen, das hat eine GT520 drin, mal sehen was da so geht.

Update: 3,5h später,
Board funktioniert einwandfrei mit ESXi 5.0 , durchreichen der PCI Geräte geht theoretisch. Boot erfolgt über die Interne Graka (muß im Bios als Boot Device gewählt sein, damit nicht die Nvidia Karte genommen wird), etwas was man bei Desktop Boards meines Wissens nach nicht erzwingen kann.

Zumindest sehe ich die Nvidia im Yavdr, der sich auch installieren lässt. Was ich nicht hinbekomme bisher ist, wie ich ein PCI Device einer einzelnen VM zuweise. Dazu finde ich nirgends eine Option. Aktivieren hingegen ist kein Problem und mit lscpi kann ich auch die durchgereichten Devices sehen!

Das Problem was wohl die größte Schwierigkeit darstellt ist, dass vmware immer automatisch einen svga treiber installiert. und der steht der Installation des Nvidia Treibers im Wege. Hat einer eine Idee, wie ich den deaktiviert bekomme?

Hier ein paar interessante Links zu dem Thema (offenbar habe auch andere Hersteller damit ein "Problem" bzw ist noch in den Kinderschuhen):
http://www.linux-kvm.org/page/VGA_device_assignment

Offenbar hat Xen Server den Passthrough für GPU besser im Griff (seit Version 6):
http://forums.citrix.com/thread.jspa?threadID=294445&tstart=0
Gibt es ja auch kostenlos. Dies wird der nächste Test sein.

Edit: Auf den ersten Blick scheint Xen einfacher zu sein. Zumindest kein langes suchen für Quick Start und offenbar keine Probleme mit großen DPI Werten wie beim VSphere Client (der kann gar nicht damit umgehen). Außerdem ist der Download ohne Anmeldung möglich.

Mahlzeit,

habe mir diesen Winter ebenfalls eine Kiste mit ESXi 5U1 aufgesetzt. Nach diversen Server Zwischenschritten erschien mir ESXi die logische Konsequenz zu sein.
Sledehammer hat es ja etwas weiter oben schön auf den Punkt gebracht, dem habe ich nix mehr hinzuzufügen.

Noch ein paar Worte zu der verwendeten Hardware:

Intel S1200KP Serverboard
i5-2400S CPU
2x 4GB DDR3 Kingston Speicher
ESXi 5U1 System auf USB Stick
1x Sundtek SkyTV Ultimate USB Stick durchgereicht an yavdr 0.5 headless vm
WD VelociRaptor 500GB als Datastore für vm Images
2x 2TB Festplatten als RAW Platte durchgereicht (so umgesetzt).

Einmal an einen Mac OS X Server im HFS+ journaled Dateisystem
und an Ubuntu 12.04 (yavdr 0.5 headless) als ext4 Videoplatte.

Das ganze ist in einem alten 4-Fach SCSI Tower incl. 4x 5,25" Wechselrahmen verbaut.
Passt prima, Bilder siehe unten. In der Rückwand sitzt ein 120er Lüfter
welcher den CPU Kühler und die Festplatten durchlüftet.

Das System läuft seit Anfang des Jahres.

Probleme gibt es aktuell mit dem Zugriff auf ein RAW Device /dev/sdb1 welches unter dem yavdr 0.5 (headless) System unter /srv eingehängt ist.
Nach einem Neustart läuft das Ubuntu System bzw. der Zugriff auf die Platte wieder problemlos, nach gewisser Zeit ist dann wieder kein Zugriff mehr auf den Pfad möglich
Anfangs war ich mal zwei Wochen nicht da und alles lief durch. Es gab mal ein Kernelupdate bei dem Ubuntu 12.04 System - bilde mir ein das es seit dem auftritt.
In letzter Zeit gab es häufig Updates, wonach ich einen Neustart gemacht habe. Aktuell steht das Verhalten unter Beobachtung...
Das syslog muss ich auch noch diesbezüglich durchsuchen...

Wenn ich auf der Kommandozeile ein ls im Videopfad ausführe, passiert einfach nix.
Nach einem umount habe ich bereits ein fsck /dev/sdb1 ausgeführt.

Das andere RAW Device ist an ein Mac OS X System durchgereicht - da gibt es kein Problem.

Hat jemand eine Idee dazu ? gelöst ! *Der Fehlerteufel war hier versteckt.

Bringt es was die vm-tools unter Ubuntu zu installieren ?

Bilder:
[Blockierte Grafik: http://img2.uploadhouse.com/fileuploads/16392/16392699-holder-bda2e13c9881ca458ed90b119d57a91c.jpg]

[Blockierte Grafik: http://img5.uploadhouse.com/fileuploads/16392/16392701-holder-265af8701d4e4ca5cfa3fd4593b33845.jpg]

[Blockierte Grafik: http://img6.uploadhouse.com/fileuploads/16392/16392706-holder-0b331c89955a3a98f6454fee6bc272bb.jpg]

[Blockierte Grafik: http://img8.uploadhouse.com/fileuploads/16392/16392709-holder-7ba5b4e7dcfb32a063580d3888e300eb.jpg]

Munter bleiben, Rossi

Moin,

hier sind ja viele Intel-Fetischisten mit ESXi am werkeln. Allerdings geht das auch auf AMD-Basis, was wohl erheblich günstiger sein dürfte.

Ich hab folgendes unter ESXi 5 am laufen:

Gigabyte GA-990FXA D3 (das kann IOMMU, welches für passthrough erforderlich ist)
Phenom II X4 955 (noch, bis mein 1090T frei wird)
16GB RAM
HP Smartarray P400 RAID-Controller
HP NC364T 4Port GE-LAN
2x 500GB im RAID1
1x 2TB für vdr-aufnahmen

PCI-Passthrough -> geht einwandfrei
vdr -> geht auch

also viel spass noch leute..

cya

Gammelobst

Zitat von vdr_rossi

Probleme gibt es aktuell mit dem Zugriff auf ein RAW Device /dev/sdb1 welches unter dem yavdr 0.5 (headless) System unter /srv eingehängt ist.
Nach einem Neustart läuft das Ubuntu System bzw. der Zugriff auf die Platte wieder problemlos, nach gewisser Zeit ist dann wieder kein Zugriff mehr auf den Pfad möglich
Anfangs war ich mal zwei Wochen nicht da und alles lief durch. Es gab mal ein Kernelupdate bei dem Ubuntu 12.04 System - bilde mir ein das es seit dem auftritt.
In letzter Zeit gab es häufig Updates, wonach ich einen Neustart gemacht habe. Aktuell steht das Verhalten unter Beobachtung...
Das syslog muss ich auch noch diesbezüglich durchsuchen...

Wenn ich auf der Kommandozeile ein ls im Videopfad ausführe, passiert einfach nix.
Nach einem umount habe ich bereits ein fsck /dev/sdb1 ausgeführt.

Alles anzeigen

Es läuft jetzt problemlos, mit einer uptime von ca. 14 Tagen. Kein Ahnung warum es zu dem oben geschilderten kam...
Wird wohl ein Softwareproblem gewesen sein :-/

Super Entscheidung so einen ESXi Server im Haus zu haben! Bin sehr zufrieden mit meiner Entscheidung.

Muss jetzt noch auf 2-3 Sundtek Sticks sparen

Munter bleiben, Rossi

Moin,

mein ESXi läuft immer noch super

Die verwendete Hardware ist im Detail weiter erweitert worden z.B. auf 16GB RAM, 3TB Videoplatte und 2x Sundtek DVB-S2 Sticks.

Yavdr 0.5 läuft als vm im headless Modus mit den beiden Sundtek DVB-S2 Sticks.

Teilweise kommt es zu Kötzchenbildung bei den Aufnahmen z.B. von 3Sat HD und auch bei BBC HD
habe jetzt Naludump ausgeschaltet, beobachte weiter.

Die Top Gear Aufnahme 1080 auf BB HD hat ja auch hohe Bitraten.

Ist es wirklich so das die Sundtek Sticks unter ESXi nicht mit voller Geschwindigkeit (USB 2.0) durchgereicht werden ?
Alternativ könnte ich einen extra Rechner für die Sundtek Sticks verwenden und dann den Netzwerkmodus zu der vm benutzen...

Betrachte es als Finetuning

Munter bleiben, Rossi

Noch ein paar Detail:

Die verwendete ESXi Version ist 5.1 Version 914609
vmware tools ist unter ubuntu/yavdr installieret.
Habe eben ausserdem den xHCI USB Controller hinzugefügt:

[Blockierte Grafik: http://i45.tinypic.com/nbpzqp.jpg]

Hatte anfangs 3x Sundtek Sticks (ohne Netzteil) dran, was aber nicht zuverlässig lief - aufgrund fehlender externer Stromversorgung.
Kann ja sein das es mit zwei Sticks (auch ohne Netzteil) hart an der Grenze ist, werde mir bei Zeiten mal ein Molex -> Niedervoltstecker Kabel zusammenlöten.
Dann erfolgt die Stromversorgung der Sundtek Sticks vom ATX Netzteil direkt und nicht über den USB Port...

Berichte weiter.

Munter bleiben, Rossi

Zitat von vdr_rossi

Ist es wirklich so das die Sundtek Sticks unter ESXi nicht mit voller Geschwindigkeit (USB 2.0) durchgereicht werden ?

Ich denke, die Sache mit den Sticks unter ESXi kannst Du Dir knicken. Es ist leider so, dass es eine nicht dokumentierte Limitation bei ESXi für alle USB Devices für die Übertragungsgeschwindigkeit gibt. Sie liegt zwischen 5-7 MB/s. Es ist auch vollkommen egal, ob Du sie in der Konfiguration zuweist oder über Passthrough gehst. Das habe ich mir mehrmals von verschiedenen VMWare Supporter bestätigen lassen. Sie können dafür keinen Grund nennen. Sie wissen auch nicht, ob das in den zukünftigen Versionen anders wird. VMWare sieht die USB-Sache für Lizenzdongles vor. Es gibt sogar eine Kompatibilitätsliste bei VMWare für die USB Devices, sie ist sehr kurz.

Albert