Hardware für ESXi 5.5-U1

  • Hallo Leute,


    ich stelle mir gerade ein System zusammen, aber durch die ganzen Berichte die ich gelesen habe bin ich jetzt etwas unsicher.
    Da hier schon einige einen ESXi auch als VDR Server betreiben, wäre es super wenn noch einmal jemand vor meiner Bestellung drüber schauen könnte.


    Als Hardware habe ich folgendes angedacht:


    Board: Supermicro X9SCA-F
    CPU: Intel Xeon E3-1230 v2
    RAM: Kingston KVR1333D3E9SK2/16G
    HBA: IBM ServeRAID M1015 – umpatchen auf IT
    Netzteil: Corsair Enthusiast Series RM450
    HDD: 4x Hitatchi Deskstar IDK 0S03665
    SSD: hier bin ich noch offen
    Gehäuse: Sharkoon Rebel 9


    Also Hypervisor möchte ich gern ESXi 5.5-U1 einsetzten.


    Folgende VM’s sollen auf dem System laufen:


    yaVDR headless Server
    FreeNAS
    Logikserver für KNX
    Ubuntu 12.04 LTS für EIBD
    Windows 7
    möglicherweise noch ab und zu eine Testumgebung



    Der ESXi soll von einem USB Stick gestartet werden.
    Lege ich die VM’s auf 2 HDD im Raid1 oder lieber mit 2 SSD?
    Wäre ein großer Unterschied erkenntlich?
    Oder würde auch eine HDD/SSD reichen, wenn ein Backup der VM’s vorliegt.
    Diese Laufwerke würden auf dem Onboard Controller laufen.



    Soweit ich das verstanden habe kann ich den Controller nur dem Host oder einer VM zuteilen, daher habe ich den IBM ServeRAID eingeplant.
    An dem IBM sollen dann die 4 Hitatchi im RaidZ laufen (FreeNAS).


    An den yaVDR möchte ich gern 4 DVB-S2 Karten durchleiten (2x TT-1600 / 1xTechnisat Sky Star HD2 / TeVii 470) Karten sind vorhanden.
    Aufnahmen sollen auf dem RaidZ liegen.


    Der Logikserver, wäre wie das EIBD nur minimal Installationen, die wenig Ressourcen verbrauchen.


    Win7 soll später über Remotedesktop bedient werden.


    Was haltet ihr davon?



    Danke und Gruß
    Borgal

    [color=#000000][font='Tahoma, Arial, Helvetica, sans-serif']Server: [size=8]yaVDR 0.6 headless, Streamdev-Server, auf ESXi 6.0 mit DD Cine S2 V6.5 + Duoflex v4 im PCI Pass-through
    Client 1: [size=8]MLD 5.0.0 Streamdev-Client, ohne TV Karte, ASRock ION 330 Nettop

  • ich denke das du die 2 tt-1600 nicht ans laufen bekommst. hatte mit der Karte mit esxi 5.0/1 Probleme ...

    Banana PI MLD server

    Banana PI Satip Server


    ESXI MLD 5.x




    Raspberry mit Kodi als Frontend , mit waf

  • Borgal


    Viele Wege führen bekanntlich nach Rom, daher wird der eine diese, der andere jene Empfehlungen, hoffentlich immer aus eigener Erfahrung geben können. Mein Server läuft gerade einige Wochen mit ESXi test, eben der mit dem ich z.B. die ganzen Xen Berichte geschrieben habe. Wie er HW technisch aussieht steht in meiner Signatur.


    RAM: Kingston KVR1333D3E9SK2/16G

    Nimm hier DDR3L-1600, wenn möglich. Bei mir ergaben sich 4W Ersparnis beim Wechsel von 4 DIMMs DDR3-1333 auf 2x DDR3L-1600. Schneller ist er auch, bei einer Virtualisierung kann man jedes Prozent gebrauchen ...


    Netzteil: Corsair Enthusiast Series RM450

    So ein starkes Netzteil? Die genannte Hardware wird wir die meiste Zeit bei 50W (11%) laufen und bei Vollast kaum auf 100W(22%) kommen ...


    Der ESXi soll von einem USB Stick gestartet werden.

    USB Sticks sind weder sparsam noch als zuverlässiger Massenspeicher für den Dauerbetrieb gedacht, besser eine kleine preiswerte SSD nutzen. Mein ESXi startet von einer 24GB SSD (mSATA), den freien Platz habe ich als Host Cache zugewiesen ...


    Soweit ich das verstanden habe kann ich den Controller nur dem Host oder einer VM zuteilen, daher habe ich den IBM ServeRAID eingeplant.
    An dem IBM sollen dann die 4 Hitatchi im RaidZ laufen (FreeNAS).

    Warum einer VM zuweisen? Leg alle VMs drauf und schneide eine große VMDK für FreeNAS raus ...


    Regards
    fnu

    HowTo: APT pinning

    The post was edited 1 time, last by fnu ().

  • Kauf Dir die Hardware (ich persönlich würde eher in eine CineS2/DD investieren - aber zum Testen tuns die Bestandskarten auch),
    bau die Kiste lauffähig und besorge Dir mal alle Derivate, die Virtualisieren können wollen (ESX-i, Citrix XenServer, Proxmox, vielleicht Ubuntu selbst als Xen installieren).
    Installiere und mach Dir Notizen, jedes Derivat hat Vor- und Nachteile. Aber teste es bis zum Durchreichen der Hardware, verwalten von Speicherplatz, Erstellen von
    Backups Deine DomUs aus. Dann entscheide. Wenn das Ding mal seinem Einsatz zugeführt ist, bekommst Du diese Chance nur noch durch Austausch der System-Partition :-)

    Zotac ION-ITX F mit 2GB RAM, ASUS GT610, yaVDR 0.5.0a im Client-Betrieb
    yaVDR 0.5.0a als headless Server auf Citrix XenServer 6.1

  • Moin,


    wenn die Hardware eh neu angeschafft wird, würde ich gleich auf Sockel 1150 (Haswell) setzen.
    Z.B. Supermicro X10...


    Das Esxi System auf USB Stick läuft bei mir >1 Jahr problemlos.


    Rest wurde schon geschrieben.


    Munter bleiben, Rossi

  • Hi,


    ich schmeiße mal den HP MicroServer Gen8 mit Xeon CPU in den Raum - darüber schonmal nachgedacht? Finds ein klasse Teil.


    EDIT_glatt überlesen - 4 DVB Karten passen dann leider nicht in den Microserver :/


    MFG

    TV: Toshiba 42XV635D 42 Zoll
    AV-Receiver: Yamaha RX-V473
    VDR: YaVDR 0.6, Zotac H77-ITX-C-E (onboard Geforce GT620 512MB RAM), Intel Pentium G630T@1,6GHz, 2x 2GB RAM, 1TB Media-HDD 2,5", 30GB System-mSATA SSD, DD Cine S2 V6 -> alles verbaut im InterTech Mini ITX E-i7, PS3 Remote
    NAS: Synology DS415+, 4x 3TB Raid5

  • ich schmeiße mal den HP MicroServer Gen8 mit Xeon CPU in den Raum - darüber schonmal nachgedacht? Finds ein klasse Teil.EDIT_glatt überlesen - 4 DVB Karten passen dann leider nicht in den Microserver :/


    Ich habe an meinem Gen8 eine L4M-Twin CT und 3 Sundteks dran, 5 Tuner reichen mir.


    Gerald


    HP Proliant MicroServer Gen8, Xeon E3-1230, 12 GB RAM, 3xWD red 2TB im RAID 5, 2xSundtek MediaTV Home DVB-C/T, L4M TWIN-C/T, Ubuntu Server 14.04.1, Plex Media Server
    Samsung UE55H6470

  • Ja den HP Microserver Gen8 hatte ich auch schon im Auge, wäre mir auch am liebsten, aber ich benötige schon die 4 Sat Eingänge, daher wird es wohl nix.




    Quote

    wenn die Hardware eh neu angeschafft wird, würde ich gleich auf Sockel 1150 (Haswell) setzen.
    Z.B. Supermicro X10...


    Hatte ich auch schon überlegt, aber dafür müsste ich bei meinen TV-Karten etwas ändern, da ich 3 PCI Karten besitze und ich kein Board mit 3 PCI-32 Slots bei Supermicro gefunden hab. Ich könnte aber auch gut erst einmal mit 3 Karten starten. So oder so sollen die auf kurz oder lang noch ausgetaucht werden, entweder 2 Dual oder die DD 4fach.


    Wäre aber eine Überlegung wert, da USB 3.0 für ein Backup auch nicht das schlechteste wäre.




    Quote

    Warum einer VM zuweisen? Leg alle VMs drauf und schneide eine große VMDK für FreeNAS raus ...



    Ja so ganz drin im Thema bin ich da leider noch nicht.


    Soweit ich das verstanden habe benötige ich ein Laufwerk für den Hypervisor selbst (USB Stick angedacht) dann eine, oder eben 2 gespiegelte Platten für die VM's selbst. Die 4x4TB Platten im RaidZ (FreeNAS) wären dann für alle VM via NFS/SMB.


    Wenn ich hier etwas zusammenfassen kann, z.B. eine Platte mit ESXi und den VM's zusammen würde das schon helfen. Aber dennoch würde das Problem weiterhin bestehen, das ich meiner Meinung nach gelesen hab, das es schwierig ist einzelne Platten durchzureichen (es geht um die 4 Platten für FreeNAS) sondern mal soll den Controller durchreichen. Somit hätte ich mit nur dem OnboardConroller aber dann ja nur die Chance mit USB Stick aber wohin dann mit den VM’s?


    Sorry, ich steige da bisher noch nicht so recht durch.




    Bei dem Netzteil bin ich noch offen, ich hatte das nur gewählt, weil es 80+ Gold und Kabelmanagement hatte, wenn es da was kleineres gibt, immer gerne :-)




    Ich finde es relativ schwierig mit dem RAM, hier was passendes zu finden und auch noch einigermassen im preislichen Rahmen zu bleiben, am liebsten wären mir auch 32GB aber mit ECC ist mir das im Moment zu viel, aber bei 4 Bänken kann ich ja nachträglich wenn es wirklich benötigt wird nachbessern.







    Quote

    ich denke das du die 2 tt-1600 nicht ans laufen bekommst. hatte mit der Karte mit esxi 5.0/1 Probleme ...


    Hattest du Probleme mit einer Karte, oder mit Beiden?


    Auf meiner aktuellen Installation (aus 2009/2010) geht das z.Z. auch nicht mit Beiden Karten, aber mit einer läuft es wunderbar. Ich hatte gehofft, das inzwischen das Problem gefixt wurde.




    Danke erstmal und Gruß


    Borgal

    [color=#000000][font='Tahoma, Arial, Helvetica, sans-serif']Server: [size=8]yaVDR 0.6 headless, Streamdev-Server, auf ESXi 6.0 mit DD Cine S2 V6.5 + Duoflex v4 im PCI Pass-through
    Client 1: [size=8]MLD 5.0.0 Streamdev-Client, ohne TV Karte, ASRock ION 330 Nettop

  • Quote

    Ich habe an meinem Gen8 eine L4M-Twin CT und 3 Sundteks dran, 5 Tuner reichen mir.

    Habe ich gerade erst gesehen.


    Das klingt allerdings auch nicht ganz schlecht, das werde ich mir einmal genauer anschauen, Danke für die Info.
    Ich habe auf die Schnelle gesehen, das es möglich ist diese auch ohne Netzteil zu betreiben, funktioniert das bei Dir?



    Gruß
    Borgal

    [color=#000000][font='Tahoma, Arial, Helvetica, sans-serif']Server: [size=8]yaVDR 0.6 headless, Streamdev-Server, auf ESXi 6.0 mit DD Cine S2 V6.5 + Duoflex v4 im PCI Pass-through
    Client 1: [size=8]MLD 5.0.0 Streamdev-Client, ohne TV Karte, ASRock ION 330 Nettop

  • Ich habe auf die Schnelle gesehen, das es möglich ist diese auch ohne Netzteil zu betreiben, funktioniert das bei Dir?


    Ich habe DVB-C, die sind immer ohne Netzteil.


    Gerald


    HP Proliant MicroServer Gen8, Xeon E3-1230, 12 GB RAM, 3xWD red 2TB im RAID 5, 2xSundtek MediaTV Home DVB-C/T, L4M TWIN-C/T, Ubuntu Server 14.04.1, Plex Media Server
    Samsung UE55H6470


  • Ich habe an meinem Gen8 eine L4M-Twin CT und 3 Sundteks dran, 5 Tuner reichen mir.


    Gerald


    stimmt, mit den Sundteks geht`s natürlich.


    Der Server ist einfach klasse! :]

    TV: Toshiba 42XV635D 42 Zoll
    AV-Receiver: Yamaha RX-V473
    VDR: YaVDR 0.6, Zotac H77-ITX-C-E (onboard Geforce GT620 512MB RAM), Intel Pentium G630T@1,6GHz, 2x 2GB RAM, 1TB Media-HDD 2,5", 30GB System-mSATA SSD, DD Cine S2 V6 -> alles verbaut im InterTech Mini ITX E-i7, PS3 Remote
    NAS: Synology DS415+, 4x 3TB Raid5

  • Der Server ist einfach klasse! :]


    Könnte leiser sein. Die fixen den Bios-Bug einfach nicht.


    Gerald


    HP Proliant MicroServer Gen8, Xeon E3-1230, 12 GB RAM, 3xWD red 2TB im RAID 5, 2xSundtek MediaTV Home DVB-C/T, L4M TWIN-C/T, Ubuntu Server 14.04.1, Plex Media Server
    Samsung UE55H6470

  • Jepp,


    auch gelesen,
    wäre mir aber egal, kommt in den Abstellraum und ist nur an, wenn benötigt. :D

    TV: Toshiba 42XV635D 42 Zoll
    AV-Receiver: Yamaha RX-V473
    VDR: YaVDR 0.6, Zotac H77-ITX-C-E (onboard Geforce GT620 512MB RAM), Intel Pentium G630T@1,6GHz, 2x 2GB RAM, 1TB Media-HDD 2,5", 30GB System-mSATA SSD, DD Cine S2 V6 -> alles verbaut im InterTech Mini ITX E-i7, PS3 Remote
    NAS: Synology DS415+, 4x 3TB Raid5

  • Ich habe auf die Schnelle gesehen, das es möglich ist diese auch ohne Netzteil zu betreiben, funktioniert das bei Dir?


    Bei mir funktionierte es nicht ohne Stromversorgung der 4x Sundtek DVB-S2 Sticks.
    Habe mir die nötigen 12V von einem Molex Stecker intern geholt und alle 4 Sticks versorgt.
    Ich glaube bei 2 Sticks ging es noch... ab dem dritten Stick fingen die Probleme an.


    War zwischenzeitlich am überlegen auf ein miniITX Board mit VT-d zu wechseln, aber das vorhandenen muss erstmal noch tun.
    Mittlerweile wäre z.B. das ASRock E3C226D2I ein guter Nachfolger.


    Munter bleiben, Rossi

  • Sorry, ich steige da bisher noch nicht so recht durch

    Hmm, das ist aber wichtig, lass Dir Zeit bis Du verstanden hast was Du willst und tust. Es macht keinen Sinn wenn der Server Dich im Griff hat ... ;)


    Ich finde es nur Quark einen ESXi Server aufzubauen und einen großen RAID Verbund nur einer VM zuzuweisen, entweder Du machst in Virtualisierung oder läßt es.


    Da Du einen Server aufbaust, haben doch alle VMs eine gewisse Wichtigkeit für Dich, also sollten all VMs entsprechend abgesichert liegen. Den größten Brocken aus dem Topf gibst Du eben dem FreeNAS, dem ist das doch wurscht ob das eine VMDK oder ein nativer RAID Controller ist, für Dich vmtl. einfacher alle VMs mit VMDKs auszustatten. Ich habe auch einen LSI basierten Controller am Start, hp SmartArray P400 mit 256MB Cache und Battery ... da brauchts aber keinen FW Hack für, nur den VMWare Treiber habe ich gepatched, damit das hpsa Module verwendet wird und nicht cciss, was eine 2TB Grenze für LUNs hat ...


    Regards
    fnu

    HowTo: APT pinning

  • Ich glaube hier wird mit den Platten etwas vermischt und das sorgt für Missverständnisse.


    Der eine Part ist der Plattenplatz, auf dem ESXi seine VMs ablegt.
    Der zweite Part ist der Plattenplatz, der als Datenspeicher für echte Daten dient und in diesem Falle von eine FreeNas-VM zur Verfügung gestellt werden soll.


    Es gibt hier nun mehrere Konfigurationsmöglichkeiten, die man nutzen kann.
    Die eine ist die, das man an einem Hardware-Raid-Controller einen Plattenverbund betreibt. ESXi sieht ein einen großen Datastore. Auf diesem kann man die VMs ablegen. Außerdem kann man eine große virtuelle Platte darauf ablegen, die man dann als ganzes an eine VM weiterreicht.
    Der Vorteil dieser Lösung ist, das es einfach ist.
    Der Nachteil ist, das man an dem Hardware-Raid-Controller festklebt. Wenn einem dieser verreckt, dann braucht man dasselbe Modell wieder, um das Raid wieder auslesen zu können.
    Davon abgesehen kann man so die Vorteile des RaidZ in FreeNas nicht nutzen. Weil FreeNas dann nur noch eine große Platte sieht. Für RaidZ-Betrieb braucht es aber physischen Zugriff auf die einzelnen Platten.
    Außerdem hat die Lösung den Nachteil, das ESXi die Platten nicht in den Standby schickt. D.h. die Platten drehen immer und brauchen immer Strom. Ob man das möchte kann jeder für sich entscheiden. Ich möchte es bei einem Home-Server nicht.
    Außerdem hat diese Lösung in meinen Augen den Nachteil, das die VMs und die eigentlichen Daten nicht getrennt sind. Aber das ist auch etwas Geschmacksache.


    Eine andere Möglichkeit ist, das man ein oder zwei Platten nur für VMs nutzt. Und zusätzlich hat man mehrere Platten als Datenplatten.
    Die Datenplatten werden an eine VM durchgereicht (als einzelne VMDK's), die dann z.B. ein RaidZ darüber anlegt.
    Vorteil ist die saubere Trennung zwischen VMs und eigentlichen Daten.
    Nachteil ist wiederum, das ESXi die Platten nicht schlafen legt. Und leider kann man auch aus einer VM heraus die Platten nicht schlafen legen. Selbst wenn jeweils eine komplette Platte durchgereicht wird.


    Die letzte Möglichkeit ist, das man die Datenplatten an einen eigenen Controller hängt. Die Platte(n) für die VMs können am Onboard-Controller bleiben.
    Es wird dann der ganze Controller an eine VM durchgereicht. Damit hat die VM direkten Zugriff auf die Platten und es funktioniert auch der Standby wieder. Eben so, es gäbe es keine Virtualisierung.


    Ich würde die letztere Möglichkeit bevorzugen. Das ist auch die Konfiguration, die ich hier laufen habe. Die VMs liegen auf zwei SSDs. Grund ist wiederum, das ESXi die Platten nicht schlafen legt. Die SSDs sind dann halt sparsamer.
    Als Controller würde ich allerdings nicht mehr auf dem M1015 setzten. Das Teil kann zum einen "nur" SATA II. Zum anderen verheizt er relativ viel Energie. Nach meinen Messungen gehen so ca. 12 Watt für den Controller drauf. Für den RaidZ-Betrieb braucht man außerdem die Raid-Funktionen ja gar nicht. Ich habe als Controller ein Highpoint RocketRaid 2720 im Einsatz. Ein Rocket 2720 (ohne Raid-Funktion) wäre auch gegangen, da ich die Raid-Funktion nicht nutze. Ich wollte das RocketRaid aber, da es Zugriffs und Fail-LED-Ausgänge für die einzelnen Platten hat.
    ESXi kennt den Controller nicht. Aber das spielt aber keine Rolle, da er eh komplett an eine VM durchgereicht wird. Der RocketRaid 2720 genehmigt sich ca. 6 - 7 Watt.


    Die Fileserver-VM, an die der Raid-Controller durchgereicht wird, stellt allen anderen VMs dann auch Speicherplatz über Freigaben zur Verfügung.


    Bzgl. FreeNas würde ich mir auch mal NAS4Free anschauen. Das ist eigentlich auf FreeNas7 hervorgegangen und hat einen recht guten Funktionsumfang. FreeNas8 war anfangs sehr eingeschränkt. Ich weiß nicht wie das zwischenzeitlich aussieht.

  • Ich glaube hier wird mit den Platten etwas vermischt und das sorgt für Missverständnisse.

    Du mußt ja wissen, ich vermische hier gar nichts. Ich halte es nur für Quatsch einen RAID Contoller/Verbund nur einer VM zuzuweisen und dem Rest der Installation vorzuenthalten.


    Sicher gibt es da unterschiedliche Meinung, aber bei meinen Kunden im Feld gibt es diesen früher durchaus mal gängigen Konstrukt der virtualisierten HBAs heute nicht mehr, da wird alles virtualisiert, auch die großen Plattenbereiche ...


    Regards
    fnu

    HowTo: APT pinning

  • Das ist Ansichtssache, wie man das gerne implementiert und KANN auch Performance und Handling Vorteile haben, je nachdem wie man das löst.


    Ich habe auch den Raid Controller komplett an eine VM durchgereicht, binde allerdings den VM Datastore, welchen die VM zur Verfügung stellt dann wiederum per NFS in den ESXi ein, so liegt auch alles auf dem RAID....

    VDR: yavdr-ansible/18.04 LTS auf Intel NUC (BOXNUC6CAYH), 2x Kingston KVR16LS11/4, Harmony 700, yaUSBIR

    VDR-Server: yavdr-ansible/18.04 LTS in ESXi VM


  • KANN auch Performance und Handling Vorteile haben

    Eben genau das hat es eher nicht, weil ein RAID Verbund für alle VMs Speed-Vorteile und Sicherheit bringt. VMDKs sind halt auch eben mal ganz easy von A nach B gezogen, der RAID Controller nicht ...


    binde allerdings den VM Datastore, welchen die VM zur Verfügung stellt dann wiederum per NFS in den ESXi ein, so liegt auch alles auf dem RAID....

    Hmm, hört sich nach gordischer Knoten oder Perpetuum mobile an, ich hoffe Du hast im Fehlerfall keine größeren Problem ... :)


    Aber ja, jeder hat seine Meinung und Erfahrung.


    Regards
    fnu

    HowTo: APT pinning

  • Ich habe schon einige Konzepte ausprobiert, aber diese All-In-One Konstellation hat die meisten Vorteile für mich geboten, daher finde ich sie am besten.


    Probleme hat man da nicht, im Gegenteil:


    Wenn die Kiste mal abraucht, hast du bei einer Hardware RAID Lösung das Problem, dass du wieder den gleichen Controller haben musst falls defekt. Bei ZFS, wie ich das habe nicht... Controller ist soweit unabhängig.


    Also in Case of Emergency, Neuinstallation von ESXi auf alter oder neuer Hardware. ESXi neu installieren, dann Storage VM ist in 30 Minuten neu installiert oder noch besser man hat ein Backup :), da ist eh nichts wichtiges drauf, die Config wird aus kleinem Backup zurück gespielt. Storage VM hochfahren, VM und Daten Pools importieren, wieder per NFS einbinden. VMs wieder hochfahren - Fertig. Sache von einer Stunde insgesamt.


    Genauso bei Datenumzug auf neue oder andere Hardware ist das Konzept einfach sehr flexibel.


    Das muss jeder für sich entscheiden wie er das löst, aber die generelle Aussage man virtualisiert heute generell alles auch den gesamten Speicherplatz finde ich nicht richtig. Man muss einfach die Anforderungen und das Umfeld prüfen und für sich die beste Lösung suchen. Das Konzept mag sich kompliziert anhören, aber ich glaube jeder der sowas mal wirklich eingesetzt hat und sieht wie gut das ist und welche Vorteile es hat, will nie wieder davon weg....


    EDIT: Alleine schon automatische ZFS Snapshots vom VM Pool sind unschlagbar, wenn mal was schief geht, ist man in Minuten auf einem alten Snapshot und die VM kann wieder wie gewohnt gestartet werden.

    VDR: yavdr-ansible/18.04 LTS auf Intel NUC (BOXNUC6CAYH), 2x Kingston KVR16LS11/4, Harmony 700, yaUSBIR

    VDR-Server: yavdr-ansible/18.04 LTS in ESXi VM