Software-RAID - Erfahrungen und Tips gesucht...

Matzetronic

Ich habe privat solch eine Konstellation nicht am laufen und kann Dir nur aus meinem beruflicher Erfahrung als Storage Berater berichten.

Als Grundregel gilt bei uns RAID-Verbünde niemals in Software zu lösen (sehr böse). Hardware ist immer schneller resourcen-schonender, weniger Fehler anfällig und sicherer in jeder Beziehung. Die einzige mir bekannte Software, die einen brauchbaren RAID5 Verbund herstellt ist der "Veritas Volume Manager". Diese Suite kostet aber eine Stange Geld.

Lt. Deiner Beschreibung machst Du aber kein Software RAID sondern per SIL-Chip einen Hardware RAID, losgelöst vom Betriebssystem. Das finde ich nicht so schlecht. Aber RAID5 würde ich damit in keinem Fall machen, das können auch nur wenige Disk-Arrays richtig gut und schnell. Für den Preis dieser bekommst Du aber auch 1-2 Häuser

Was aber preisgünstige Chips recht gut können, ist das Spiegeln von Platten (RAID1) und das zusammenfügen von Platten (RAID0 aka Stripping). Einen Mix daraus können diese Chips auch sehr gut abwickeln und es entsteht eine gute Kombination aus Performance (Stripping über mehrere Platten) und Datensicherheit (Spiegeln dieser Stripesets auf die gleiche Anzahl an Platten).

Wenn Dein Chip RAID1/0 Mix kann, spricht auch nichts dagegen zwei Platten an einen Controller (oder 4 an 2) zu hängen. Du mußt nur darauf achten, das ein Stripeset (RAID0) über 2 Platten am selben Controller hängt und der Spiegel auf die 2 anderen Platten auf den 2ten Controller geht. Auf keinen Fall den RAID0 über die Controller machen, sonst fehlen Dir die Daten beim Ausfall eines Controllers.

Viele Erfolg.

Kind regards
hummingbird_de

[EDIT]
PS.: Die beste Datensicherheit ist immer noch ein Backup mit funktionierendem Restore!
[/EDIT]

Zitat

Original von hummingbird_de
Als Grundregel gilt bei uns RAID-Verbünde niemals in Software zu lösen (sehr böse). Hardware ist immer schneller resourcen-schonender, weniger Fehler anfällig und sicherer in jeder Beziehung.

Da hast Du grundsätzlich recht. Als professioneller Berater muß man aber nicht die beste Lösung aufzeigen, sondern diejenige, die die Ansprüche des Kunden am besten abdeckt. Und beide Lösungen müssen nicht übereinstimmen.

In diesem Falle kommt es weder auf die Perfomanz, noch auf eine hohe Verfügbarkeit, sondern einzig und alleine auf die Ausfallsicherheit an. Und dafür ist Software-RAID wunderbar geeignet.

Von den "Billig-Chips" auf den üblichen Mainboards rate ich deutlich ab. Die sind auch nichts anderes als Software-RAID, dafür aber dan propietär. Nimmt man ein Linux-SW-RAID, kann man die Platten auch an ein anderes System hängen (z.B. bei Mainboard-/ Controllerupgrade) und hat die Daten wieder da.
Also auch bzgl. des Chips ein deutlicher Widerspruch. Laß' die Finger davon, egal ob RAID5 oder RAID1 oder RAID0 oder RAID10!

Zitat

Wenn Dein Chip RAID1/0 Mix kann, spricht auch nichts dagegen zwei Platten an einen Controller (oder 4 an 2) zu hängen.

Im Prof-Bereich mit SCSI oder S-ATA hast Du recht, aber nicht mit IDE. Wenn eine Platte am Bus beschäftig ist, ist die zweite blockiert!

Zitat

Du mußt nur darauf achten, das ein Stripeset (RAID0) über 2 Platten am selben Controller hängt und der Spiegel auf die 2 anderen Platten auf den 2ten Controller geht.

Käse. Gerade bei IDE verzichtest Du damit auf den einzigen Vorteil eines RAID0: Geschwindigkeit! Wie gesagt, solange eine schreibt, ist die zweite blockiert. Und dann kann ich auch gleich nur eine einbauen. Ist sogar ausfallsicherer, weil dann nur eine Platte ist.
Wenn RAID0 mit IDE, dann über zwei Controller! Nochmal, es geht nicht um Ausfallsicherheit, sondern Verfügbarkeit. Fällt ein Controller aus, hängst Du die Platte an einen anderen IDE und da Teil läuft wieder.

Zitat

PS.: Die beste Datensicherheit ist immer noch ein Backup mit funktionierendem Restore!
[/EDIT]

Klar. Aber wärst Du bereit, für die sicherung Deiner Video-Daten Geld auszugeben (außer DVDs über's Burn-Plugin)?

Fazit:
Du kannst problemlos Software- RAID unter Linux einsetzen. Meine Erfahrungen sind diesbezüglich sehr gut- natürlich unter den genannten Einschränkungen.
Ich würde Die auch ein RAID5 vorschlagen, da es den besten Kompromis aus Redundanz und Speicherkapazität darstellt. Dafür ist es aber (gerade auch unter IDE!) deutlich langsamer. Bist Du bereit, etwas Speicherplatz zu opfern, solltest Du Dir ein RAID10 überlegen.
Die vier Platten klemme ruhig an Deine beiden Controller- es ist nicht ideal, aber tolerabel für den Zweck.

Prinzipiell geht es es auf Jedenfall.

Ich vermute, dass die Geschwindigkeit aufgrund der Festplattencaches nicht allzu sehr leidet (sofern Controller und Festplatten UDMA100 sind). Wobei Schreibchaches in Bezug auf Datensicherheit böse sind.
Aber spricht den etwas gegen einen weiteren Controller? 2-Channel PATA PCI-Controller kosten nicht die Welt.

@hummingbird_de: Bei billigen Raidcontrollern würde ich behaupten, dass eher das Gegenteil stimmt. Ein vernünftiger RAID-5-Controller (mit Cache und Prozessor) ist was schönes, aber nicht bezahlbar.
Billige Controller sind quasi auch nur Software (der Treiber macht das xor auf der CPU) oder sind verglichen mit aktueller Hardware deutlich langsamer (neulich in einen Test von Sata-raid-controllern mit 4-8 Ports gesehen).

RAID-1 oder -10 ist auch unpraktisch, da der OP dann für die gleiche Kapazität noch 2 Festplatten mehr bräuchte, die er nirgens anschließen kann.

ps: RAID ist kein Backup, RAID-(1,4,5,6,10) schützt sicher nur gegen einen oder zwei Festplattenausfälle. Ein kaputter Controller, Ram oder CPU, fehlerhafte Software oder Benutzerfehler können weiterhin Daten schrotten.

zu 1.)

cat /proc/mdstat 
Personalities : [raid1] [raid5] 
md0 : active raid5 hdi5[3] hdg5[2] hde5[1] hdc5[0]
      351726720 blocks level 5, 128k chunk, algorithm 2 [4/4] [UUUU]

unused devices: <none>

Das ist /video des vdr; läuft seit langem problemlos.

zu 2.) Ich habe keine Bedenken bei Softwareraid unter Linux. In unserem Verein läuft es
seit Jahren ohne Probleme (Raid0, 1, 5).

zu 3.) Man sollte vorher mal einen Plattenausfall simuliert haben, um im Ernstfall zu wissen,
was zu tun ist.

zu 4.) Ich setze pro IDE Kanal nur eine Platte ein. Ich hatte mal ein RAID5 mit zwei Platten
an einem Kanal, als eine Platte ausfiel und den Kanal komplett blockierte -> zweite Platte
weg -> RAID5 hinüber. Naja, Backup regelt. In meinem Server läuft das RAID5 für den
vdr an zwei IDE Kontrollern. Wenn ein Kontroller ausfällt, wird das vom RAID natürlich
ebenfalls nicht mehr kompensiert.

abend leute!
wenn wir schon dabei sind, was könnt ihr mir für einen raidcontroller für meinen fileserver empfehlen? auf dem server sind dokumente, bilder, mp3s und eventuell mal vdr aufnahmen. und welches raid-system würdet ihr mir raten?

und da ich noch nie was mit raid zutun hatte, wie läuft die installation unter debian ab? muss da noch etwas umgestellt werden?

freue mich über eure hilfen!
schönen abend noch,
gruß ape

raid5: automatically using best checksumming function: pIII_sse
pIII_sse : 3056.000 MB/sec

Das bezieht sich auf die "checksumming function".

Bei Reichelt steht nichts über den Chipsatz der Karten. Dieser entscheidet, ob die Karte
vom Kernel unterstützt wird. Ich nutze Karten mit Silicon Image (CMD680) Chipsatz:

lspci | grep Silicon
00:09.0 RAID bus controller: Silicon Image, Inc. (formerly CMD Technology Inc) PCI0680 Ultra ATA-133 Host Controller (rev 02)
00:0b.0 RAID bus controller: Silicon Image, Inc. (formerly CMD Technology Inc) PCI0680 Ultra ATA-133 Host Controller (rev 02)

Zitat

Original von ape
abend leute!
wenn wir schon dabei sind, was könnt ihr mir für einen raidcontroller für meinen fileserver empfehlen? auf dem server sind dokumente, bilder, mp3s und eventuell mal vdr aufnahmen. und welches raid-system würdet ihr mir raten?

3Ware 9500er S-ATA-Serie. Genial die Teile. Habe ich zwei im Einsatz. Einmal mit 8Ports, einmal mit 4 Ports. Einfach nur klasse!

Zitat

und da ich noch nie was mit raid zutun hatte, wie läuft die installation unter debian ab? muss da noch etwas umgestellt werden?

Controller einbauen, im BIOS die Devices einrichten, Module (3x-9xxx) laden, fdisk, glücklich sein

Zitat

Original von Matzetronic
PS.: Ok, kann ich mir aus dem "checksumming"-Wert eine ungefähre Performanceabschätzung ableiten ?

Nicht wirklich. Performance hämmend sind in erster Linie der PCI Bus, bzw., daß alles über
diesen einen Bus läuft, wenn man nicht gerade "Server-Boards" einsetzt, und die IDE
Platten. Schneller wäre ein HardwareRAID-Kontroller, aber die von knebb vorgeschlagenen
3ware Teile sind nicht gerade "günstig". Für den Hausgebrauch sollte SoftwareRAID aber
ausreichend sein.

Zitat

Original von Matzetronic
Dann wirds halt dieses WE noch nix....

Warum? Du kannst das RAID5 doch einrichten und probieren. Wenn's zu langsam ist, holste Dir halt noch einen Controller nach. Das ist ja der Vorteil von SW-RAID:
Ist unabhängig vom Controller

Hab schon seit vielen jahren ein software raid 5 im betrieb als daten server und bin voll zufrieden damit. Hab aber vorher einiges ausgetestet und so wurde ich zum beispiel erweiteren mit eine weitere festplatte nicht (mehr) tun.

zum array:

Zitat

/dev/md2:
Version : 00.90.01
Creation Time : Tue Aug 10 18:37:46 2004
Raid Level : raid5
Array Size : 1393991424 (1329.41 GiB 1427.45 GB)
Device Size : 199141632 (189.92 GiB 203.92 GB)
Raid Devices : 8
Total Devices : 9
Preferred Minor : 2
Persistence : Superblock is persistent

Update Time : Thu Feb 23 06:29:41 2006
State : clean
Active Devices : 8
Working Devices : 9
Failed Devices : 0
Spare Devices : 1

Layout : left-asymmetric
Chunk Size : 32K

UUID : e6b45a60:b4a70e94:7293b3f5:5fb50b79
Events : 0.1426397

Number Major Minor RaidDevice State
0 34 1 0 active sync /dev/hdg1
1 33 1 1 active sync /dev/hde1
2 56 1 2 active sync /dev/hdi1
3 57 1 3 active sync /dev/hdk1
4 88 1 4 active sync /dev/hdm1
5 89 1 5 active sync /dev/hdo1
6 90 1 6 active sync /dev/hdq1
7 91 1 7 active sync /dev/hds1

8 22 4 - spare /dev/hdc4

Alles anzeigen

verwende 8 200 GB platten fur's raid5. die systeemplatte sind gespiegelt wobei eine 40 GB ist und die andere 250GB mit 40 GB partition. Die verbleibende 200 GB dienen als spare fur das raid5 systeem

die systeemplatten hangen direkt am mainboard, das raid5 array an 2 HPT374 controller

Zitat

0000:00:09.0 RAID bus controller: Triones Technologies, Inc. HPT374 (rev 07)
0000:00:09.1 RAID bus controller: Triones Technologies, Inc. HPT374 (rev 07)
0000:00:0c.0 RAID bus controller: Triones Technologies, Inc. HPT374 (rev 07)
0000:00:0c.1 RAID bus controller: Triones Technologies, Inc. HPT374 (rev 07)
0000:00:0d.0 Ethernet controller: Intel Corp. 82541GI/PI Gigabit Ethernet Controller

Netzwerk geht mit GB controller.

Also was habe ich beachtet:
- Nur eine festplatte pro ide kanaal.
- Array wird nicht erweitert mit zusatzliche festplatte. Bei unterschiedliche partition grosse konnte ich damals reproduzierbar absturzte und dann ALLE daten weg wahren.
- Gutes netzteil da die lastverteilung pro spannung (3.3 v 12 volt) mit vielen festplatten nicht fur jedes netzteil geeignet ist
- Gute kuhlung der festplatten ! Da server mit viele platten steht er so wie so irgend weit weg :p

Was wurde ich anders machen wenn ich wieder eine datenserver bauen wurde:
- SATA (nur ein kanaal)
- Wahrscheinlich ein mainboard wo die GB netzwerk karte nicht uber die PCI bus geht und vielleicht sogar SATA controller uber PCI-e.

Das ganze lief am anfang mit eine 700 MHz duron, jetzt mit eine gedrosselte 1.4 Athlon.

Ycat

Mit Software-RAID hat man vor allem den Vorteil, nicht von einem speziellen Controller abhängig zu sein. Geht nämlich der über den Jordan und es ist kein Ersatz aufzutreiben (weil man irgendwas erschwingliches gekauft hat), ist es mit den Daten auch vorbei. Hat man das RAID per Software realisiert, ist es ja egal, woran die Platten hängen.

Allerdings hat man vermutlich auch mehr Möglichkeiten, irgendwas durch Vertipper kaputtzukonfigurieren.

Ich bin eigentlich mit meiner (Budget-) SW-Raid-Lösung ganz zufrieden. Von der 250GB-Platte werden 80GB im RAID1 gespiegelt... und der Rest normal genutzt.

Zitat

Original von knebb
...
3Ware 9500er S-ATA-Serie. Genial die Teile. Habe ich zwei im Einsatz. Einmal mit 8Ports, einmal mit 4 Ports. Einfach nur klasse!

Controller einbauen, im BIOS die Devices einrichten, Module (3x-9xxx) laden, fdisk, glücklich sein

Und schön brav den 3dmd installieren und so konfigurieren, dass er regelmäßig das Array überprüft und bei Fehlern ne Meldung per Mail verschickt. Wenn man das vergisst, kann schnell mal ne defekte Platte verpassen und wenn dann noch ne zweite Platte aus dem Array tot ist, wars das dann...

iagm