xen mit freenas und vdr

Hallo Leute,

leider funktioniert die Suche nach xen hier im Forum nicht, aber wenn man nach xen in Verbindung mit vdr über google sucht, gibt es einige wenige Beiträge die auf das vdr-portal verweisen. Leider ist da aber für mich nicht wirklich was aussagekräftiges dabei.

Nunja, wie dem auch sei.., Da ich mir Anfang nächsten Jahres ein NAS zusammenstellen möchte, hege ich nun schon länger den Gedanken, diese Hardware direkt entsprechend überzudimensionieren, so dass von diesem neuen Server gleich mehrere Aufgaben wahrgenommen werden können.

Folgende Hardware stelle ich mir vor:

• Mainboard : Asus, Intel, 2x GigEth
• Prozessor : Core i5 / i7
• RAM : 16GB / 32GB
• 2HDDs für os : 200 GB
• 4-6HDDs für data : 2TB / 3TB
• HDD-Controller : Supermicro AOC-USAS2-L8e
• CineS2 Octopus : 6 Tuner

Folgende Software:

• host : debian squeeze
• guest1 : freenas 8
• guest2 : debian / gentoo vdr
• guest3 : debian / gentoo vdr (testumgebung)
• guest4 : ...

Den wesentlichen Vorteil von xen gegenüber vmware sehe ich einfach darin hardware bis an den Gast durchreichen zu können (vorerst nur cines2). Beginnen werde ich mit dem freenas-guest, da gerade meine große Movie-Platte abgeraucht ist, obwohl sie erst ca. 1,5Jahre alt und sich in meinem HTPC befindet, der ca./max. 2-3Std. am Tag läuft. Nichtsdestotrotz konnte ich alle Daten retten, puuh!

Folgende Überlegungen zum NAS:

• freenas 8
• zusätzlicher HDD-Controller, ohne Raid-Funktionalitäten
• min. 8GB RAM für guest1
• Dateisystem ZFS

Um kein Chaos zwischen ZFS und einem Hardware-Raid zu verursachen, möchte ich gern den o.g. Controller verwenden, der wird von linux unterstützt und verwendet einen guten chipsatz (LSI SAS 2008 ). Mit diesem können sas- und sata3-hdds (6Gb/s) angebunden werden. Lohnt es es sich denn überhaupt sata3-hdds zu kaufen? Kann ich die Performance überhaupt nutzen? Ich tendiere zu HDDs mit über 7000U/min, da ich nach Möglichkeit dann auch alles streamen möchte. Hat damit jemand von euch Erfahrungen?

Der VDR soll eine möglichst stabile Umgebung erhalten. Dazu mache ich mir dann aber erst später Gedanken, wenn freenas als xen-guest läuft.

Also wie sind eure Erfahrungen mit xen in Verbindung mit freenas bzw. vdr?

Viele Grüße

Hoppel

Wow, mit so viel Resonanz habe ich wenn ich ehrlich bin gar nicht zu diesem Thema in diesem Forum gerechnet. Da habt ihr mich eines besseren belehrt.

Zitat von schnoefftel

freenas habe ich vor kurzem mal auf klassischer Hardware getestet. Auf Grund von openBSD ist aber auch nicht viel zu machen, wenn einem die Grundfunktionen nicht ausreichen.

Ich denke, mir werden die Grundfunktionen zumindest erstmal reichen, da ich bisher nichts in der Richtung habe. Hatte ne ganze Zeit lang mal eine NSLU2 mit nem debian. Dieses Gerät wurde aber nicht konsequent von mir genutzt, da ich damals auch nur ne dbox2 hatte. Nun sieht das mittlerweile aber etwas anders aus und ich möchte meine Bilder-, Filme- und Musik-Sammlung zentral verfügbar machen. In welchem Fall reichte denn freenas für dich nicht aus? Handelte es sich um freenas 7 oder 8?

Zitat von schnoefftel

Verbaut habe ich einfache sparsame SATA- Platten. Bei zwei zeitgleichen zuriffen auf Videodateien ruckelt nichts. Mehr habe ich noch nicht getestet. Ich denke aber das dann das Netzwerk das begrenzende Medium ist bei mir.

Hast du die in einem Raid-Verbund? Um was für Video-Dateien handelt es sich dabei? Rein theretisch müssten doch sogar mehrere HD-Aufnahmen gleichzeitig gestreamt werden können. Da ich aus der Netzwerktechnik komme, schwebte mir sowieso noch zusätzlich ein 8-Port-Cisco-Switch vor, mit dem ich dann eine link aggregation von 2 gig-eth-ports zwischen dem switch und dem Server realisiere. Eine weitere Anforderung an das Mainboard wären also min. 2x gig-eth. Dies würde aber erst dann zum Tragen kommen, wenn ich ein Netzwerk-Performance-Problem hätte, also die link aggregation.

Zitat von schnoefftel

Jucken tut es mich aber noch, alles auf VM' s zu machen.
Ich werde das hier auf jeden Fall weiter verfolgen. Insbesondere die Hardwareauswahl.

Ja, bei mir juckts auch tierisch. Mein ursprünglicher Plan war ein Server lediglich für freenas. Jedoch kam ich dann relativ schnell die Idee auch noch dvb-tuner hinzuzupacken. Dann kam mir aber aber der Gedanke, dass falls tatsächlich mal was verbasstelt würde, immer gleich das gesamte Server-System irgendwie in Mitleidenschaft gezogen wird. Was nicht so schön wär, wenn man ein Software-Raid oder sowas wie zfs betreibt. Da meine Erfahrungen auf dem gesamten Gebiet gleich null sind (naja, sagen wir auf einer Skala von 0 bis 100, bei ca. 10), möchte ich da lieber kein Risiko eingehen und alles (vdr, nas, testumgebungen usw.) miteinander vermischen. Da ich auch viel Dinge aus Testing-Bereichen gerne ausprobiere, komme ich zukünftig um virtuelle Maschinen nicht drum herum.

Zitat von Razorblade

Das allerwichtigste ist tatsächlich bei der Hardwareauswahl insbesondere beim Motherboard auf VT-d Unterstützung zu achten.

Ja, das ist eine sehr wichtige Info für mich und somit hat sich dieser Thread schonmal absolut gelohnt. Denn da ich mich auch mit xen noch nie beschäftigt habe, war mir vt-d bisher noch kein Begriff. Also danke an euch für diese absolut wichtige Info.

Zitat von Razorblade

Ich habe eine Zeit selbst im Xen-Wiki (http://wiki.xen.org/xenwiki/VTdHowTo) kompatible Boards gepflegt, aber das entspricht inzwischen nicht mehr so dem Stand der Technik. Als sehr zuverlässig haben sich jedoch Intel und SuperMicro erwiesen.

Interessant, diesen Link hatte ich mir bereits vor deinem Beitrag hier angesehen und "wunderte" mich darüber, dass dort leider keine aktuellen Boards aufgeführt werden. Da ich ja sowieso den SAS/SATA3-Controller von Supermicro anstrebe, habe ich auch schon mal kurz den Gedanken über ein Mainboard dieses Herstellers mit einem intergrierten Controller gehegt, jedoch nicht wirklich als Alternative betrachtet. Andersherum ist ein Mainboard mit integriertem Controller wahrscheinlich günstiger als beides einzeln zu kaufen. Wie du schon schreibst gibt es ja scheinbar sowieso keine wirklichen Alternativen zu Intel und Supermicro.

Hier mal ein Link zu sämtlichen Intel-CPUs die VT-d unterstützen: http://ark.intel.com/search/advanced?VTD=true

Zitat von Razorblade

Wenn ihr konkrete Fragen im Zusammenhang mit Xen und Hardware-Passthrough habt, dann her damit.

Noch nicht, aber die werden kommen! Ich werde diesen Beitrag aufrecht erhalten, vom Kauf bis hin zur Installation der einzelnen Teilbereiche. Aber wie gesagt, losgehen soll das ganze frühestens Anfang nächsten Jahres. Aber so ein System soll ja auch gut geplant sein. Ich möchte mich nicht mit Fehlkäufen und daraus resultierenden Nicht-Funktionen beschäftigen müssen, weil ich eine Kurzschlussreaktion bei ebay hatte!

Zitat von Razorblade

Insbesondere I/O und DMA-lastige Fälle (was bei DVB wohl nicht so selten ist) laufen bei PCI-Passthrough ab und zu an die Wand. Mein letzter Test mit einer TT-S3200 funktionierte erstmal, nach ca. 30min wars dann aber vorbei. Einige andere berichten, dass die Treiber zwar geladen werden, aber sie keinen Lock auf dem Tuner bekommen...

Hat das denn überhaupt schon jemand mit der octopus cines2 oder mit der normalen cines2 versucht?

Zitat von Razorblade

Passthrough des SATA/SAS Controller würde ich mir vorher überlegen ob das Sinn macht, oder ob man nicht lieber den Controller in der dom0 läßt und nur die verbundenen Block-Devices (mit PV Treibern in der domU) durchreicht. Der primäre Anwendungsfall für Passthrough sind Netzwerkkarten.

Hm..., ich wollte damit erreichen, dass freenas den vollständigen Zugriff auf den Controller erhält und somit nicht von einem anderen System in irgendeiner Form abhängig ist. Da die Daten sich ja dann auf nem zfs befinden sollen, möchte ich da ungern noch was anderes "davor" haben, geschweige denn irgendwelche PV Treiber. Aber das war wie gesagt nur der erste Gedanke dazu, ich lasse mich da auch gern noch umstimmen.

Zitat von Razorblade

Allerdings bin ich selbst (im privaten Umfeld) wieder etwas zurückgerudert. Zentralisierung auf "ein großes System" mit beliebigen virtuellen Maschinen ist zwar schön, aber da ergeben sich einige Seiteneffekte an die man nicht sofort denkt:
- was geht alles *nicht* wenn das (eine) System gestört ist/nicht läuft?
- wie sieht es mit dem Stromhunger aus? Habe 2-3 einzelne Systeme sind die jeweils auf ihre Last optimierbar und können bei Bedarf abgestellt werden, ein VM-Server mit NAS und VDR wird vermutlich 7/24 laufen und dementsprechend Leistung ziehen...
Ganz zu schweigen von dem Wartungsaufwand, weil halt doch vieles Handarbeit ist.

• Was geht denn alles nicht, wenn ein Server von mehreren nicht virtualisierten Servern mal nicht funktioniert? Wo siehst du den Unterschied?
• Stromhunger... Das ist auf jeden Fall ein wichtiger Punkt. Wenn ich aber jedem Server (=Anwendungszweck) eine einzelne Hardware spendiere, spare ich doch auch kein Strom, eher im Gegenteil.
• Bei dem NAS erhoffe ich mir, dass ich zumindest den Festplatten-Verbund im Fall von Nicht-Verwendung down spinnen kann.
• Wartungsaufwand... Ja, sicherlich viel Handarbeit, aber nicht viel mehr als ohne xen! Das eine System mehr werde ich dann auch noch irgendwie bändigen! Das NAS und der VDR-Server sollen in jedem Fall irgendwann kommen.

Zitat von ochja

- fli4l Router (mit durchger. PCI ISDN-Karte und PCI Ethernet)
- VDR (noch Lenny mit VDR 1.6 mit durchg. Technisat Skystar, aber Squeeze mit VDR 1.7 ist schon parallel aufgesetzt)
- Webserver
- Blackberry-Funambol-Server
- Mailserver
- Fileserver mit ca 5TB Raid5
- Windows XP Installation für RDP

Alles anzeigen

Wow, sind das alles einzelne guests? Wie hast du das mit dem Raid5 realisiert? Hast du den Raid-Controller komplett durchgereicht?

Zitat von schnoefftel

Die suche nach einem passenden Mainbord gestaltet sich aber schwierig. Das Bord sollte schon aus dem Anwenderbereich kommen. Ich will mir keine Teure Serverhardware kaufen. Wenn meine Versuche scheitern kann ich aus der Hardware dann immer noch einen guten Desktop zusammenbasteln. Google war mir bei der Suche nicht sehr hilfreich.
Hat jemand einen Tipp für ein bezahlbares Mainbord mit Sockel für einen i5 und VT-d Unterstützung, dass nicht viel mehr als 130€ kostet?

Also wenn es da einen guten Tip für was bezahlbares gibt, bin ich gern dabei. Aber mich würde die "Mark" mehr jetzt nicht scheuen bei einer Anschaffung diesen Umfangs. Was ich bereits gelernt habe, dass ich mit meinem bisher so geliebten Mainboard-Hersteller "Asus" hier wohl nicht wirklich glücklich werde oder nur auf Umwegen, da VT-d nicht wirklich durch den Hersteller supported wird.

PS: Da hab ich mir scheinbar echt mal was vorgenommen. Da ich aber linux nicht fremd bin, ca. 4 Jahre Erfahrungen aus verschiedensten Distris (privater und beruflicher Natur), denke ich, dass dieses Thema für mich zu wuppen ist. Außerdem habe ich diesen Floh jetzt im Kopf, den krieg ich da auch nicht mehr raus.

Viele Grüße

Hoppel

Zitat von ochja

Raid5 auf der Dom0 und dann die log. Volumes als PV an die jeweiligen Guests durchgereicht.

Was wäre denn die sinnvollste Vorgehensweise, um mit freenas als guest ein zfs realisieren zu können? Hardware-Raid kann ich bei zfs nicht gebrauchen.

Zitat von ochja

Und macht die Sache sehr einfach, sowohl für Backup als auch bei einem Serverupgrade.

Das ist auf jeden Fall ein generelles Argument für die Virtualisierung.

Hallo Leute,

hab gestern nochmal ein Bisschen geforscht. Folgendes Board von SuperMicro gefällt mir schon mal ganz gut: SuperMicro X8SI6-F

Es hat den zusätzlichen SAS-Controller "LSI 6Gbps SAS 2008" direkt onboard und unterstützt laut dieser Liste einige 2TB- und 3TB-SATA3-Modelle. Des Weiteren steht im dazugehörigen guide auf Seite 1-11, dass VT-d vom intel 3420 chipsatz unterstützt wird, was auch bei Intel selbst zu lesen ist.

Was mir daran nicht so gut gefällt ist:

• es sind nur 2 PCI-E-Interfaces vorhanden (wobei die ausreichen müssten, LSI2008-Controller ist onboard, ansonsten benötige ich zumindest vorerst lediglich einen Steckplatz für die Octopus cines2)
• es wird nur Core i3 unterstützt, eigentlich wollte ich min. einen Core i5 haben, mit einem Core i7 könnte ich mich zur Not auch anfreunden Wobei der ja wieder mehr Strom will.

Was denkt ihr? Genügt ein Core i3 für meinen Bedarf aus? Oder habt ihr einen anderen Vorschlag für ein Mainboard?

tecfreak: Zu IRQ-Sharing und MSI kann ich im guide jetzt explizit nichts finden. MSI gehört so wie ich das sehe zu PCI-E-Interfaces mittlerweile standardmäßig dazu und auch das IRQ-Sharing sollte mittlerweile überall implementiert sein, da es laut einem heise-Bericht ein Vorteil von PCI-Interfaces ggü. ISA ist.

Viele Grüße

Ja, angesehen habe ich mir dieses Board auch schon. Nur irgendwie war ich jetzt aus Kostengründen auf dem Trip, dass der SAS-/SATA3-Controller direkt onboard sein müsste (LSI SAS 2008). Jedoch habe ich nun gerade wegen deines Tips nochmal darüber nachgedacht und bin zu dem Entschluss gekommen, dass 4x SATA3 auch erstmal reichen werden. Hab ja bisher gerade mal 2 TB Daten und bis ich dann 6, 9 oder 12 TB Daten voll habe, sollte ich mir wahrscheinlich sowieso neue Hardware zulegen.

Danke nochmal für den TIp mit Core i3, das war mir bisher nicht bekannt.