Raid5 mit Mainboard Controller... Performance=???

Zitat

Original von Robsta
Frage: Was taugen die Onboard Raid5 Controller von aktuellen Mainboards? Ein Performance-Schub gegenueber einem Einplattensystem kombiniert mit ein wenig Sicherheit beim Plattencrash waere natuerlich das Optimum...

...die einhellige Meinung in allen Threads, die ich bislang hierzu gelesen habe ist:

- Diese "Hardware" Kontroller bringen keinen Performance Vorteil gegenüber software-Raid
- Software Raid ist unabhängig vom verwendeten Kontroller. D.h. bei einem Ausfall des Kontrollers können die Daten noch verwendet werden.

Gruß
Wicky

Zitat

Original von Robsta

Damit aendere ich meine Frage ab zu:

Bringt ein Software-Raid 5 mehr Performance als ein Einplattensystem?

Robsta

Alles anzeigen

Klar doch !!!

ABER:
Wenn der HD-Kontroller über einen PCI-Bus angeschlossen ist, und der PCI-Bus noch durch DVB- und Netzwerkkarten belastet wird und zwei schnelle IDE-Platten parllel Daten liefern, dann wird der PCI-Bus schnell zum Flaschenhals.

2x schnelle HD -> Bis zu 2*50MByte/s a
DVB Karte -> 1MByte/s
Netzwerkkarte -> ... auch mal gerne noch 10MByte/s
Summa Summarum 111MByte/s -> Das schafft so gut wie kein PCI-Bus.

Anders sieht es aus, wenn der HD-Kontroller über PCIe .... angebunden ist. Dann spielt es keine Rolle, ob andere Karten noch Traffic erzeugen, da PCIe kein BUS ist.

Aber nun wird es mal Zeit, dass jemand aus Erfahrung spricht !!!

Gruß
Wicky

Zitat

Original von Wicky
[Aber nun wird es mal Zeit, dass jemand aus Erfahrung spricht !!!

Also bei meinem 3Ware-Controller sind die Schreibzugriffe gegenüber Lese-Operationen sehr langsam. ("Write Penalty").
Da meine Samsungs nicht zum Betrieb am Raidcontroler im Raid-Betrieb geeignet sind,betriebe ich diese am 3Ware mit einem Softwarereaid. Dort habe ich diese "Write Penalty" komischerrweise nicht. Und nochmal zum Einprägen:

NEVER,NEVER USE MASTER-SLAVE-KONFIGURATION

Das ist oft beschrieben worden und stimmt wirklich. Glaubt mir :=)

Mfg
gehlhajo

Zitat

Original von gehlhajo
Also bei meinem 3Ware-Controller sind die Schreibzugriffe gegenüber Lese-Operationen sehr langsam. ("Write Penalty").

Gegenueber den Leseoperationen am gleichen Kontroller, klar.
Es war aber die Frage, inwieweit RAID5 Geschwindigkeitsvorteile gegenueber Einzelplattensystemen bringt. Du hast zwar den Aufwand, die Paritaet zu berechnen, aber dafuer hast Du mindestens drei Spindeln, die sich drehen. Je mehr Spindeln sich drehen, um so eher macht sich auch ein Geschwindigkeitsvorteil bei Schreiboperationen bemerkbar.
Einschraenkungen:
1. Wenn Du viele kleine Bloecke liest, die unterhalb der stripe size des RAID liegen, bis Du natuerlich deutlich langsamer.
2. Die CPU spielt normalerweise keine Rolle bzgl. der Geschwindigkeit, egal wie langsam sie ist. Bei HardwareRAID ja sowieso nicht.
SW-RAID ist deshalb langsamer, weil er die Daten alle ueber den Bus in den RAM ueber die CPU lesen, berechnen und anschliessend wieder pro Spindel einzeln schreiben muss. Bei HW-RAID passiert das im Controller und belastet weder CPU, noch RAM noch Bus.

Zitat

NEVER,NEVER USE MASTER-SLAVE-KONFIGURATION

100% ACK!

Zitat

Original von knebb
Gegenueber den Leseoperationen am gleichen Kontroller, klar.
Es war aber die Frage, inwieweit RAID5 Geschwindigkeitsvorteile gegenueber Einzelplattensystemen bringt. Du hast zwar den Aufwand, die Paritaet zu berechnen, aber dafuer hast Du mindestens drei Spindeln, die sich drehen. Je mehr Spindeln sich drehen, um so eher macht sich auch ein Geschwindigkeitsvorteil bei Schreiboperationen bemerkbar.
Einschraenkungen:
1. Wenn Du viele kleine Bloecke liest, die unterhalb der stripe size des RAID liegen, bis Du natuerlich deutlich langsamer.
2. Die CPU spielt normalerweise keine Rolle bzgl. der Geschwindigkeit, egal wie langsam sie ist. Bei HardwareRAID ja sowieso nicht.
SW-RAID ist deshalb langsamer, weil er die Daten alle ueber den Bus in den RAM ueber die CPU lesen, berechnen und anschliessend wieder pro Spindel einzeln schreiben muss. Bei HW-RAID passiert das im Controller und belastet weder CPU, noch RAM noch Bus.
!

Alles anzeigen

Lieber knebb
Es wurde nach Erfahrungen gefragt :=) Und meine Erfahrung ist eben, daß das Raid am teueren 3Ware Controller (8 Spindeln!) beim schreiben wesentlich langsamer ist, als ein Software-Raid am gleichen Controller.
Mich hat dies nie sonderlich gestört, da ich das Ding sowieso nur als Datengrab benutze. :=)
Was ich damit sagen wollte: Theorie ist das eine , Praxis das anderere..

Zitat

Original von Robsta
Zieht so ein Software RAID viel CPU-Power? Bei nem Multicore System sollte das allerdings auch nix ausmachen, oder?

Nein.
Ich hab ein SW RAID aus 5x 20GB partitionen. Das fällt nicht weiter gross auf (<5%).

Zitat

Frage ist dann noch: Software-Raid und Dual-Boot... Kommen Linux und Windows da miteinander klar? Mit dem Software-Mist hat man natuerlich wieder extra-Arbeit mit Treibern und Setup.

Software-RAID ist platform spezifisch.
Also finger weg von software-RAID wenn's unter Linux & Windoof funtionieren muss. Das geht mit sicherheit schief.
Das ist wiederum die domäne von hardware-RAID.

Aber auch hier: Hardware-RAID nur mit wirklich professionellen controllern.
Finger weg von HW-RAID auf dem mainboard und von mittelpreisigen oder gar billigen RAID controllern. Sollte hier der controller versagen kannst du die daten abschreiben, wenn du keinen identischen ersatz findest.
Bei mainboard-controllern kommt die deutlich höhere ausfallwahrscheinlichkeit zum tragen, da sind nun mal noch mehr teile drauf die einzeln ausfallen und das mainboard schrottreif schiessen können.

gruss Peter

Zitat

Original von Robsta
Frage: Was taugen die Onboard Raid5 Controller von aktuellen Mainboards?

haengt natuerlich vom Mainboard ab wegen der Speicheranbindung der RAID Controller. Ich bin mit meiner Software RAID[05] Loesung recht zufrieden. Hier mal ein paar Zahlen. Siehe auch hier.

Mainboard: A8N-SLI Premium
Platten: SAMSUNG HD401LJ
Prozessor: Athlon64 X2 4200+

cat /proc/mdstat

md0 : active raid0 sda1[0] sdd1[3] sdc1[2] sdb1[1]
      390636032 blocks 64k chunks


md1 : active raid5 sda2[0] sdd2[3] sdc2[2] sdb2[1]
      874763136 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

hdparm -Tt /dev/md0; hdparm -Tt /dev/md1

/dev/md0:
 Timing cached reads:   3548 MB in  2.00 seconds = 1773.64 MB/sec
 Timing buffered disk reads:  802 MB in  3.01 seconds = 266.85 MB/sec


/dev/md1:
 Timing cached reads:   3556 MB in  2.00 seconds = 1778.53 MB/sec
 Timing buffered disk reads:  562 MB in  3.00 seconds = 187.06 MB/sec

Zitat

Original von Robsta
Bringt ein Software-Raid 5 mehr Performance als ein Einplattensystem?

sicher, nur zum Vergleich, 'ne einzelne Platte bringt das:
hdparm -Tt /dev/sda

/dev/sda:
 Timing cached reads:   3536 MB in  2.00 seconds = 1769.33 MB/sec
 Timing buffered disk reads:  234 MB in  3.02 seconds =  77.51 MB/sec

Ich habe mir jetzt auch ein M2NPV-VM zugelegt. Da muesste Wicky eigentlich schon Provision von ASUS bekommen:-) Auf die Software RAID-Performancewerte von diesem Board bin ich schon sehr gespannt.

Zitat

Original von gehlhajo
Und meine Erfahrung ist eben, daß das Raid am teueren 3Ware Controller (8 Spindeln!) beim schreiben wesentlich langsamer ist, als ein Software-Raid am gleichen Controller.

Das hast Du nicht so ausdruecklich geschrieben- ich dachte, Du meinst im Vergleich zu einer einzelnen Platte
Dann wundert mich das in der Tat allerdings massiv! Es gibt auf der Seite von 3ware einige Tips zur Performanzsteigerung, weil 3ware die Teile per default in sichereren Modus betreibt. Hier ist noch einiges an Potential drinnen! Insbesondere Schreibcache Settings.
Welchen 3ware hast Du?
Wirklich 8 Platten HW Raid im Vergleich zu den gleichen 8 Platten SW RAID?

Zitat

Mich hat dies nie sonderlich gestört, da ich das Ding sowieso nur als Datengrab benutze. :=)

Meiner auch. Aber ich merke doch, dass die Platten das langsamste am System sind. Laeuft auf meinem VDR gleichzeitig Schnitt, Burn und Wiedergabe, hakt die Wiedergabe stark

Zitat

Original von sparkie

Code

/dev/md0:
 Timing cached reads:   3548 MB in  2.00 seconds = 1773.64 MB/sec
 Timing buffered disk reads:  802 MB in  3.01 seconds = 266.85 MB/sec


/dev/md1:
 Timing cached reads:   3556 MB in  2.00 seconds = 1778.53 MB/sec
 Timing buffered disk reads:  562 MB in  3.00 seconds = 187.06 MB/sec

Code

/dev/sda:
 Timing cached reads:   3536 MB in  2.00 seconds = 1769.33 MB/sec
 Timing buffered disk reads:  234 MB in  3.02 seconds =  77.51 MB/sec

Ist bei mir nicht so eindeutig:

/dev/hda:
 Timing cached reads:   452 MB in  2.01 seconds = 224.88 MB/sec
 Timing buffered disk reads:  132 MB in  3.03 seconds =  43.56 MB/sec
vdr:~# hdparm -t -T /dev/sda


/dev/sda:
 Timing cached reads:   456 MB in  2.01 seconds = 226.87 MB/sec
 Timing buffered disk reads:  138 MB in  3.02 seconds =  45.70 MB/sec
vdr:~# hdparm -t -T /dev/md0


/dev/md0:
 Timing cached reads:   468 MB in  2.01 seconds = 232.84 MB/sec
 Timing buffered disk reads:  150 MB in  3.01 seconds =  49.83 MB/sec
vdr:~# hdparm -t -T /dev/md0

Interessanterweise bricht das RAID aber bei einer gleichzeitigen wiedergabe kaum ein, im gegensatz zu den einzelnen platten:

/dev/md0:
 Timing cached reads:   324 MB in  2.00 seconds = 162.00 MB/sec
 Timing buffered disk reads:  136 MB in  3.00 seconds =  45.33 MB/sec
vdr:~# hdparm -t -T /dev/hda


/dev/hda:
 Timing cached reads:   348 MB in  2.00 seconds = 174.00 MB/sec
 Timing buffered disk reads:   98 MB in  3.02 seconds =  32.45 MB/sec
vdr:~# hdparm -t -T /dev/sda


/dev/sda:
 Timing cached reads:   360 MB in  2.01 seconds = 179.10 MB/sec
 Timing buffered disk reads:   96 MB in  3.01 seconds =  31.89 MB/sec
vdr:~# hdparm -t -T /dev/sdb

Ist ein seperater Dawicontrol DC154 am PCI bus.

gruss Peter

Zitat

Original von knebb
Dann wundert mich das in der Tat allerdings massiv! Es gibt auf der Seite von 3ware einige Tips zur Performanzsteigerung, weil 3ware die Teile per default in sichereren Modus betreibt. Hier ist noch einiges an Potential drinnen! Insbesondere Schreibcache Settings.
Welchen 3ware hast Du?:(

Ich glaube es ist der 7608. Also 8-Fach PATA. Ich muß aber gestehen, daß ich mich nie um das Tuning gekümmert habe, da der Controller mit den Samsung Platten nie vernünftig lief. (Siehe auch 3ware Probleme)
So habe ich entnervt aufgegeben und bin auf das Software-Raid umgestiegen. Seitdem keine Probleme. Werde aber eh über kurz oder lang meinen Server verkaufen.

Zitat

Original von knebb
Wirklich 8 Platten HW Raid im Vergleich zu den gleichen 8 Platten SW RAID? ?:(

Ja ,man glaubt es kaum..

Zitat

Original von Robsta
Da ich mich garantiert nicht auf ein OS festlegen will. faellt Software-Raid wohl weg... Man will ja alles mal laufen haben, XP, Vista, verschiedene Linuxe mit evtl. Xen usw... Wenn man sich da jedes mal mit unterschiedlichen configs wieder das Raid zerschiesst ist das nicht so das Wahre...

Wenn Du das RAID zwischen verschiedenen BS teilst, darfst Du aber auch gleich wieder an die Filesystemproblematik denken. Es nimmt einfach kein Ende

Zitat

Das die Mainboard-Controller nix taugen wundert mich irgendwie...

Mich nicht. Das sind einfach die billigsten Teile genommen, damit sich das Board mit "RAID" schmuecken kann. Im Endeffekt sind die Dinger (insbesondere IMHO die nvidia Teile) nichts als normale Controller, denen ueber die (ausschliesslich Windows!) Treiber die RAID-Intelligentz beigebracht wird. Erst, wenn die Teile bessere RAID Levels anbieten (RAID5 etc.), sind sie halbwegs brauchbar. Dann ist es meist naemlich kein Pseudo-HW.

Zitat

Warum werden sie dann ueberhaupt angeboten? Hat jemand denn tatsaechlich Praxiserfahrungen mit den Dingern?

Unter Windows laufen die Dinger. Genausogut wie SW RAID unter Linux.

Zitat

Sieht wohl so aus als waere dies die beste Loesung... Was muss man denn da so zur Seite legen um sich so ein Ding leisten zu koennen?

Haengt davon ab, was Du willst. Ziemliche Oberklasse sind die 3ware Teile. SATA, Gute Leistung, stabile Treiber und ein guter Support ohne Mehrkosten.

Zitat

Original von gehlhajo

Ja ,man glaubt es kaum..

Also ich kann nicht meckern:

black:~ # hdparm -Tt /dev/sda; hdparm -Tt /dev/sdb; hdparm -Tt /dev/md0; hdparm -Tt /dev/hda


/dev/sda:
 Timing buffer-cache reads:   3356 MB in  2.00 seconds = 1677.42 MB/sec
 Timing buffered disk reads:  510 MB in  3.00 seconds = 169.86 MB/sec


/dev/sdb:
 Timing buffer-cache reads:   3368 MB in  2.00 seconds = 1683.41 MB/sec
 Timing buffered disk reads:  622 MB in  3.01 seconds = 206.88 MB/sec


/dev/md0:
 Timing buffer-cache reads:   3232 MB in  2.00 seconds = 1616.25 MB/sec
 Timing buffered disk reads:  126 MB in  3.02 seconds =  41.70 MB/sec


/dev/hda:
 Timing buffer-cache reads:   3348 MB in  2.00 seconds = 1672.58 MB/sec
 Timing buffered disk reads:  128 MB in  3.01 seconds =  42.59 MB/sec
black:~ # cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 hdc2[1] hda2[0]
      31463232 blocks [2/2] [UU]


unused devices: <none>

Interessanterweise ist das Lesen von md0 genauso schnell wie von der einzelnen Platte. Was mich da eher zur Vermutung fuehrt, dass die hdparm Messmethode nicht so perfekt zu sein scheint. Da wird man wohl mit nem richtigen Benchmark rangehen duerfen.

Zitat

Originally posted by knebb
Meiner auch. Aber ich merke doch, dass die Platten das langsamste am System sind.

Was für Platten hast'e denn ?

Zitat

Original von gehlhajo

Was für Platten hast'e denn ?

....die Frage müsstest du bei Knebs System eher so stellen:

Wie schnell ist denn dein System, damit die HDs das langsamste am System sind.

Nachtrag:
Ach, in knebs Signatur stehts ja auch: "Quad Opteron, SLES9 mit 2,4 TB HDD (RAID5+ LVM)"

Gruß
Wicky

Zitat

Originally posted by Wicky
[....die Frage müsstest du bei Knebs System eher so stellen:

Wie schnell ist denn dein System, damit die HDs das langsamste am System sind.

Nachtrag:
Ach, in knebs Signatur stehts ja auch: "Quad Opteron, SLES9 mit 2,4 TB HDD (RAID5+ LVM)"

Gruß
Wicky

Alles anzeigen

Naja, mir gings bei der Frage nicht um die Geschwindigkeit, sondern darum, welche Platten überhaupt vernünftig mit dem Raid zusammenarbeiten. Aus dem "höher schneller weiter" Alter bin ich mitllerweile raus :=)

Zitat

Original von gehlhajo
Naja, mir gings bei der Frage nicht um die Geschwindigkeit, sondern darum, welche Platten überhaupt vernünftig mit dem Raid zusammenarbeiten.

4x 400GB Hitachi HDS724040KLSA80
4x 500GB Seagate ST3500630NS
Beide Serien jeweils 24x7 RAID spezifiziert, laufen einwandfrei.

Zitat

Aus dem "höher schneller weiter" Alter bin ich mitllerweile raus :=)

Ich eigentlich auch, aber auf dem Server nutze ich zusaetzlich noch intensiv VMware mit virtuellen Maschinen. Und den Plattenplatz brauchen die ganzen Kindersendungen