Endlich geloest: RAID5 fuer /video incl. OS-Upgrade

Hallo Leute,
es wird ernst, aus meinem Festplattenzoo im dicken Desktop/Server soll fuer die Filme ein RAID5 gebaut werden.
Aktuelle Partitionsdaten:

/dev/sda7              11G  3,8G  6,3G  38% /
/dev/sda2             228M   18M  199M   8% /boot
/dev/sda5             436G  290G  147G  67% /video
/dev/hda5             230G  189M  230G   1% /video/srv_hda
/dev/hdb5             230G   34M  230G   1% /video/srv_hdb
/dev/hdd5             230G  188M  230G   1% /video/srv_hdd
/dev/sdb5             688G  526G  163G  77% /video/srv_sdb

(Unnuetzes Zeug rausgeschmissen, auf /dev/sda sind noch weitere Partitionen (ca. 11GB) fuer ein vollstaendiges zweites Linux).

Von LVM in Verbindung mit RAID5 lass' ich erstmal die Finger, ist mir ehrlich gesagt zu kompliziert.
Also: Ich wuerde gerne aus /dev/hda, /dev/hdb, /dev/hdd ein RAID5 bauen. Was muss ich da tun? Ich denke ich brauche erstmal per synaptic 'mdadm' oder?
Ich hatte vor einiger Zeit mal eine gute Beschreibung gefunden, finde die allerdings nicht mehr :o(

Alternativ/Optional:
Ich koennte auch fuer das o.g. RAID5 noch auf /dev/sdb eine 230G Partition bauen und die mit dazu nehmen. Dann koennte ich mit dem Rest von /dev/sdb (~500GB) sowie der /dev/sda5 noch ein RAID1 bauen. Damit haette ich erst mal 750GB RAID5 sowie 500GB RAID1 fuer Filme. Das reicht erstmal fuer mich...

Also, hat jemand Tipps, Links, ...? Das ganze muss halt im laufenden Betrieb statt finden (die /dev/hdX5 sind ja alle leer), ausserdem steht demnaechst der Update auf Ubuntu 8.04 an (auf den nicht gezeigten Partitionen von /dev/sda)

Gruss,
- berndl

Hi,
um das topic mal wieder auszukramen...

Ich habe 3xPATA 250GB im Rechner (sind alle 3 leer) und will ein RAID5 daraus machen. System ist Ubuntu 7.10. Ich hatte mal einen guten Link, wie das mit mdadm funktioniert (welche .conf muss gesichert werden, welche Kommandos gibt es, ...), finde den aber nicht mehr (Ubuntu Forum zeigt mir den Link nicht mehr an :o(

Also, wie gehe ich da am besten vor? Es handelt sich um die Partitionen /dev/hda5, ...hdb5 und ...hdd5. Ich muss mit fdisk und dem Partitionstyp anfangen, das ist mir klar, aber wie dann weiter machen?

Und wie binde ich das RAID5 wieder ein, wenn ich ein neues OS installiere? Welche .conf muss da wo liegen um das wieder ans laufen zu kriegen? Und was mache ich genau, wenn mal eine Platte abkackt? Wie erfahre ich das und wie bringe ich eine neue Platte/Partition ins RAID?

Und mit neueren Kernel Versionen kann man wohl auch ein RAID5 mit 3 Platten vergroessern (auf 4, 5, ... Platten). Wie geht das?

Hat hier jemand nen guten Link oder Tipps fuer mich? Wichtig fuer mich ist, dass ich verstehe wie ich beim naechsten OS Upgrade das RAID5 wieder ans laufen bekomme.

Any comments are highly appreciated...

Gruss,
- berndl

PS: RAID5 ist nur fuer Videoaufnahmen, also nix mit System und so...

Zitat

Originally posted by peda
http://www.linuxhaven.de/dlhp/…oftware-RAID-HOWTO-1.html

Hi,
tja, tote Links bzgl. den HowTo's...
LVM macht nur Sinn, wenn ich es in Verbindung mit RAID mache (bei LVM ist die Wahrscheinlichkeit eines Ausfalls noch groesser!). Knebb kann ja wohl ein Lied davon singen, fuer mich ist die Komplexitaet zu hoch, ich hatte da vor ein paar Jahren mal Schiffbruch erlitten...
Und ein HW-Controller ist fuer mich eigentlich nicht notwendig, der waere fuer bessere Performance das richtige. Brauche ich aber nicht, da nur die paar MBit an Videos drueber laufen sollen.

Ich will ja nur meine Daten gegen defekte Platten sichern, und das so, dass ich auch bei der naechsten Migration des OS einfach wieder darauf zugreifen kann.

Und laut www kann man ab Kernel 2.Haumichblau sehr wohl auch ein RAID5 erweitern, das waere fuer mich die optimale Loesung. Ich koennte dann z.B. von meiner 750GB Platte einen Teil mit 250GB in das RAID5 integrieren und einen weiteren Teil 250GB als Hot-Swap zur Verfuegung stellen. Das wuerde z.B. auch den Defekt der 750er locker ueberstehen, neue Platte reinstecken (mit >= 2x250GB) und gut ists.
Klingt fuer mich sehr sinnvoll.

Gruss,
- berndl

Hi,
danke fuer die Info, aber ich werde von LVM erstmal die Finger lassen...

Hat jemand 'nen guten Link zu 'mdadm'? Ein RAID5, erweiterbar (was ja mittlerweile funktionieren soll) ist fuer mich genau das richtige. Und ich hab' auch kein Problem, eine neue zusaetzliche Platte in 250GB chunks zu partitionieren um die dann dem RAID hinzu zu fuegen. Irgendwann mal fliegen die 250er raus und dann gibt's was neues...

Gruss,
- berndl

Zitat

Originally posted by knebb

Aehm- wo soll der Sinn dafuer sein?
Zwei Partitionen einer Platte in einem RAID Array? Faellt die Platte aus, ist das RAID nicht vollstaendig, da ein Datenteil fehlt. Den eingerichteten Hot-StandBy kann man ja auch nicht nutzen, die Platte ist ja weg. Faellt eine der anderen Platten aus, wird der Hot-Standby hinzugeschaltet und das Array scheint wieder 100%ig in Ordnung zu sein, d.h. es sieht so aus als koennte der Ausfall einer Platte dem Array nichts tun. Ist aber nicht so. Faellt die 750er jetzt aus, hast Du die A****karte gezogen.
Also, das ist Quatsch mit Sosse.

Hi Knebb,
noe, finde ich nicht. Wenn ich z.B. 3 Platten a 250GB habe und dann nochmal von einer Platte 250GB plus 250GB hot-swap nehme, dann habe ich immer noch eine gute Ausfallsicherheit, wenn eine der 3 ersten Platten die Graetsche macht. Wenn natuerlich die 500er (mit 2x250GB) hopps geht, dann sollte ich schleunigst eine neue Platte einbauen. Klar ist das nicht das nonplusultra, aber mit meinen 3x250GB IDE bin ich nun erstmal auf einer Partitionsgroesse von 250GB. Und das RAID5 mit 1x250GB zu vergroessern 'vermindert' mir erstmal die Verluste. Wenn ich dann den Plattenzoo mal wieder aufraeume, dann kann ich ja auf groessere Partitionen gehen. Ist zwar alles nicht perfekt, erscheint mir aber als guter Kompromiss im Moment (mit meiner existierenden HW).

Aber ich bin immer noch auf der Suche nach einem guten HowTo bzw. einer guten Anleitung fuer 'mdadm', speziell fuer das erweitern eines RAID5 und dem Einrichten wenn ich mal ein neues OS einspiele.
Hat da jemand 'nen Tipp fuer mich?

Gruss,
- berndl

Zitat

Originally posted by peda
Die geposteten Links funktionieren hier...

Hi peda,
sorry, heute tun sie auch bei mir, gestern (naja, war ja Sonntag) ging bei mehreren Links nichts...

Les' ich mir mal durch, danke!

Gruss,
- berndl

Zitat

Originally posted by mikeM
Hast Du schon mal hier geschaut : http://howtoforge.com
Gruß
Michael

N'abend, danke, schau' ich mir mal an

Gruss,
- berndl

Hi Matze,
super, genau sowas habe ich gesucht. Ich spiel mal damit rum.
Muesste dann doch auch mit einer Live-CD, z.B. Knoppix funktionieren. Dann kann ich im Vorfeld schonmal diverse Rettungsaktionen durchspielen.

Danke!
Gruss,
- berndl

Hi zusammen,
naechste Frage: Was stelle ich denn sinnigerweise fuer ein /video RAID5 als chunk-size ein? Performance ist ja nicht sooo wichtig und eine kleine chunk-size (sagen wir mal 32KB) wuerde doch gut zu den ganzen 'info.vdr' und 'marks.vdr' passen... Oder liege ich da falsch?

Und was hat es mit dem ominoesen 'stride' Parameter auf sich? Mit 'man mke2fs' hab' ich nix drueber gefunden...

Gruss,
- berndl

Zitat

Originally posted by knebb
Ueberlege Dir das mal:
Der Algorithmus schreibt einen Chunk auf eine Platte und schreibt den naechsten Chunk auf die naechste Platte..
Bei RAID5 am langsamsten sind Schreibvorgaenge, Lesen ist normalerweise recht fix. Also, was ist beim Schreiben als Video-Dir am kritischsten? Richtig, die Videodaten. Ich wuerde fuer videos die groesste Chunksize empfehlen. Habe es aber noch nie ernsthaft analysiert.

d.h. also, ich habe bei grosser chunk-size keinen nennenswerten 'Verschnitt' bei kleinen Dateien? Dann war das ein Denkfehler von mir...
Unabhaengig von der chunk-size muss dann beim schreiben auch der Rest der chunks gelesen werden und dann darueber die Parity gebaut werden, richtig? Also muss ich doch trotzdem auf alle anderen Platten (lesend) zugreifen...

Zitat

Nanana, nach chunk size und RAID sollte doch eigentlich einiges ergeben.

Kurz gesagt: ext2/3 optimiert seine Ausghabevorgaenge auf die Chunksize, so dass das Lesen/ Schreiben so schnell wie moeglich ist. Der Stride Parameter, den Du verwenden sollst, berechnet sich wie folgt: ((Blocksize des RAID Arrays)/ Blocksize des ext2/3 Dateisystems (ueblicherweise 4k)0. D.h. bei 256k Chunk, solltest Du 256/4=64.

das habe ich mittlerweile im www gefunden (und glaube ich auch verstanden, das filesystem allokiert halt n Bloecke am Stueck wenn es die stride info hat), aber bei 'man mke2fs' hatte ich's nicht drin... (oder ich bin halt auf dem Auge blind)

Gruss,
- berndl

Zitat

Originally posted by knebb
Ja, das ist aber systemimament (oder so :gap). D.h. Das muss er immer. Aber wenn er z.B. 512K zu schreiben hat, liest er von jeder Platte 2x Chunk, wohingegen dass bei entsprechend kleinerer GChunsize entsprechend mehr Zugriffe sind. Das RAID liestimmer Chunkweise. Hast Du also viele grosse Daten zu schreiben, sollte die Chunksize halt auch gross sein.

hmmm, dann hilf mir nochmal auf die Spruenge:
* Warum nimmt man dann kleine chunks?
Ich kann mir fuer chunks kleiner als unendlich nur vorstellen, dass, wenn Dateien geschrieben/kopiert werden, die in die n chunks des Arrays komplett reinpassen (und das raid/fs ueber die Groesse vorher Bescheid weiss) das zeitaufwaendige lesen der anderen chunks sowie die dauernde Paritygenerierung entfallen bzw. optimiert werden kann. In dem Fall koennte das System einfach alles schreiben, dabei 'unauffaellig' Parity generieren und diese Parity dann auch am Ende zurueck schreiben.

Kann ich mir das so in etwa vorstellen?

Gruss,
- berndl