RAID5 Speichergröße erweitern

dad401 · June 25, 2020 at 7:31 PM

Hallo,

ich spiele derzeit mit Openmediavault (OMV) in einer VM und einem RAID 5.

Die Speichergröße bei RAID5 kann man hier sehr schön berechnen lassen:

https://www.vdr-portal.de

Ich habe das ganze mit 2GB und 1GB virtuellen Platten getestet. Das RAID habe ich so eingerichtet:

2x 2GB

1x 1GB

=> nutzbare Größe somit: 2 GB

Nun habe ich die 1GB Platte mit einer 2GB Platte ersetzt. Demnach müsste es doch möglich sein, 4 GB u nutzen.

Geht so etwas nur durch Neuanlage eines RAID5 oder kann ich das laufende RAID5 mit mdadm etc. irgendwie auf diese 4GB anheben?

Bei einem RAID1 klappte das ja, wenn man erst die erste und dann die zweite Platte mit einer größeren tauschte.

Ich brauche nicht unbedingt die Anleitung für OMV - die GUI greift ja auch nur auf mdadm und Co. zurück...

Marcus

fnu · June 25, 2020 at 8:57 PM

Ein Suchauftrag in der Suchmaschine, 5sek: https://www.howtoforge.com/how-to-resize-…w-software-raid

Und die Frage ob es zielführend ist, den Einsatz von RAID Gruppen mit unterschiedlichen Plattengrößen zu planen ... ?

Der "korrektere" Ansatz wäre hier gewesen 2x 2GB als RAID1 zu nutzen und dann mit 1 oder 2 2GB Platten auf RAID10 oder RAID5 zu konvertieren.

dad401 · June 25, 2020 at 11:02 PM

Danke für den Link - es lag dann eher am falschen Befehl - mit diesem tut es einwandfrei:

Code

mdadm --grow /dev/md0 --size=max

Hintergrund zur Erläuterung:

Ich habe hier 2 NAS mit:

2x RAID1 (4TB) (Zyxel NAS)

2x RAID1 (3TB) (Zyxel NAS)

Plan war/ist:

1x neue Platte 4TB

1x erste alte Platte 4TB (altes RAID1)

1x erste alte Platte 3TB (altes RAID1)

=> neues RAID5 mit 6TB (Openmediavault)

befüllen des RAID5 von der zweiten alten Platte 4TB (RAID1)

Austausch der 3TB Platte im RAID5 mit der zweiten alten Platte 4TB (RAID1)

=> RAID5 hat nun 8TB mit dem o.g. Befehl (nach dem Resync)

weiteres befüllen des RAID5 von der zweiten alten Platte 3TB (RAID1)

zweite alte 4TB Platte noch dazu => 12 GB Platz

Somit brauche ich nur eine neue Festplatte nachkaufen.

Annahme:

- kein Speicher vorhanden um das alte 4TB-RAID1 zwischenzuspeichern.

- ich hätte etwas Angst mit dem direkten konvertieren des RAID1 (4TB) auf RAID5 durch Hinzunahme der neuen 4TB Platte. Wenn was schief geht, habe ich keine weitere Platte in der Hinterhand. Auch weil ich von Zyxel auf Openmediavault wechsle - ich bin mir nicht sicher ob das Zyxel NAS 326 auch 1:1 mdadm & Co. nutzt.

Getestet habe ich es gemäß https://www.vdr-portal.de - es geht einwandfrei, aber selbst dort steht: "Your raid will mostly not survive a single disk failure during rebuild, so you should have a recent backup, just in case."

In Summe habe ich dann 5TB mehr also vorher Nutzplatz, dennoch RAID-gesichert (HDD-Ausfall will ich damit absichern) und im Grunde noch 2x 3TB Platten über.

Oder übersehe ich eine bessere Lösung?

kfb77 · June 26, 2020 at 8:40 AM

Quote from dad401

"Your raid will mostly not survive a single disk failure during rebuild, so you should have a recent backup, just in case."

Hier gibt es einen Kalkulator, mit dem du die Wahrscheinlichkeit berechnen kannst, welche Erfolgschange ein Rebuild hat. Mit 3 x 4 TB Consumer Platten im RAID5 ist das gerade noch 50:50.

fnu · June 26, 2020 at 12:01 PM

Quote from dad401

Oder übersehe ich eine bessere Lösung?

Offen gestanden weiß ich gar nicht wo ich anfangen soll ... ? ... aber man kann sich das Leben echt selbst schwer machen.

Wenn man eine RAID Verbund plant, plant man den richtig und mischt nicht munter fröhlich alte Platten in unterschiedlichen Größen in einem Software RAID5 zusammen. Du hast Angst vor der Live-Konversation des RAID Levels? Ich hätte eher Angst um Deine Daten, bei dem was Du da planst ...

Vorschlag, vergiss die alten Platten, kauf Dir 2x WD MyBook 8TB für €139, bau die EZAZ aus. Konfiguriere damit ein RAID1 (7TB nutzbar) und migriere Deine Daten mit rsync, scp, sftp oder was auch immer auf Dein neues OMV System. Vorteile nur 2 Platten, aber neu und recht aktuelle Heliostor Laufwerke. Ausserdem sind Deine Daten immer doppelt während der Migration, weil die alten NAS Systeme erhalten bleiben bis kopiert ...

Anschliessend kannst Du drüber nachdenken, Deine 2x 3TB bzw. 2x 4TB Platten jeweils als weiteren RAID1 Pool in OMV aufzunehmen.

Natürlich ist ein RAID Verbund auch kein Ersatz für ein Backup ... sondern nur gegen kurzfristigen Ausfall von HW.

wmautner · June 26, 2020 at 1:02 PM

Ha, so hab ich es mit dem neuen VDR auch gemacht - eine RED allerdings regulär gekauft, die 2. im Book-Gehäuse über USB3 extern angeschlossen und rsync-Job. Die schaltet sich nur zum Syncen ein.

Bei den "MyBook" oder ähnlichen im externen Gehäuse muß man u.U. mit Problemen beim Einbau in ein Gerät rechnen, da gibt oder gab es "spezielle" Anschluß-Eigenheiten am SATA-Port.

Siehe auch https://www.hardwareluxx.de/community/thre…8/post-26384080

fnu · June 26, 2020 at 1:27 PM

Quote from wmautner

Bei den "MyBook" oder ähnlichen im externen Gehäuse muß man u.U. mit Problemen beim Einbau in ein Gerät rechnen, da gibt oder gab es "spezielle" Anschluß-Eigenheiten am SATA-Port.

Kein echtes Problem, man muss evtl. ein PIN abkleben, was aber niemanden vor eine Herrausforderung gestellt hat. Für den Preis von einer WD RED 8TB bekommt man halt 2x MyBook 8TB für sein RAID Verbund ...

Bei mir laufen 3 dieser HDDs seit über 2 Jahren 24/7, 3 weitere seit über einem Jahr. 4 St. im RAID6 Verbund an einem HW Controller, 2 St. unverändert, als USB Backup Laufwerke.

dad401 · June 29, 2020 at 6:05 PM

Ich habe mir das mit der Wahrscheinlichkeit und Berechnung mal angesehen.

D.h. also:

Ein Plattenausfall bei einem 3fach RAID5 mit 4TB führt zu 47% (im Link steht ~50%) zu einem Rebuild-Fehler. Macht das RAID dann noch viel Sinn? Ok - man müsste es weiter erhöhen (4-fach etc.)

Bei gleicher Annahme passiert bei einem 2fach RAID1 mit 4TB ein Fehler zu 27%. Da hatte ich wohl bisher 4x Glück beim Upgrade auf größere Platten meiner NAS:

3TB => 4TB

1. Rebuild Platte1 ersetzt mit 4TB

2. Rebuild Platte2 ersetzt mit 4TB

und das ganze nochmal mit einem anderen NAS.

D.h. also ein RAID1 ist ggü. einem RAID5 genau hier um 20% im Vorteil, bietet jedoch 8TB Platz statt 4TB?

Nun gut - Statistik. Welche Fehler sind mit URE eigentlich genau gemeint? Das 1 Bit meiner Daten nicht mehr lesbar ist - was bei einem Bild als Beispiel kaum bemerkbar ist, oder? Vermutlich ist das (unbemerkt) ja bereits bei mir passiert bei den o.g. Szenario.

Aber dasselbe Risiko habe ich ja auch, wenn ich die Daten auf einer zweiten Festplatte zwischenspeichere. RAID1 oder RAID5 wird 1x vollständig gelesen [ok, nur die Nutzdaten] und dann beim Rückschreiben wird Zwischenspeicher 1x voll gelesen. Quasi wie 2x Rebuild - oder wo ist der Denkfehler?

Die WD Books klingen sehr interessant und sind günstig, aber meine Kritikpunkte:

- gar keine Garantie (wegen Ausbau aus Gehäuse) statt 3 Jahre auf die WD RED

- ggf. Gefummel die auszubauen und "normal" lauffähig zu bekommen (USB-Pin abkleben etc.)

fnu:

Mal im Vergleich:

Lösung 1:

"Deine" Variante

oder

Lösung 2:

Ich nehme eine 8TB WD Book und nutze die als Zwischenspeicher und ergänzendes Backup (man sieht ja, dass auch bei HW-Defekt ein Rebuild zum Problem werden kann). Dazu nehme ich eine neue 4 TB RED und baue ein RAID5 neu auf:

1x WD RED neu

2x WD RED aus dem ersten RAID

Ich finde eine Mischung von älteren Platten hat doch eher den Vorteil, dass es unwahrscheinlicher ist, dass alle zum gleichen Zeitpunkt defekt gehen und man somit besser reagieren kann.

tendiere dann wegen der Garantie dann noch zu Lösung 2, muss es aber noch bzgl. der "Wichtigkeit" der Daten bewerten.

Das bringt dann aber Lösung 3 ins Spiel:

OMV mit:

RAID1 2x WD Book 8TB => eher unwichtigere Daten (Filme, Plattenimages von Produktsystemen die regelmäßig erneuer werden, ggf. Backup des anderen RAID1...)

RAID1 2x WD RED (das von der alten NAS) => die wichtigeren Sachen ([gescannte] Bilder, selbst erstellte und bearbeitete Videos etc.)

Marcus

wmautner · June 29, 2020 at 6:29 PM

Ein Software-Raid5 hatte ich auch schon, ursprünglich 3x 1TB, dann jeweils um eine weitere 1TB-Platte erweitert. Dauert etwas, und natürlich darf nach wie vor nur EINE der zuletzt 5 Platten ausfallen. Es ist aber kein komplettes Rebuild notwendig, mdadm kann vorhandene Raid-Partitionen erweitern, muß nur noch das Dateisystem Online-Erweiterung unterstützen.

Mittlerweile hab ich aber auch - in einem SFF-PC - eine 8TB-RED und extern über usb3 ein WD-BOOK mit ebenfalls 8TB und rsync-Synchronisation. Die externe Platte läuft nicht dauernd.

fnu · June 29, 2020 at 10:47 PM

dad401

Ich halte nichts von RAID5, dazu auf in Software realisiert, wenn man sich nicht permanent damit befasst. Vorallem nicht, wenn man es "auf Kante" mit nur 3 Platten näht. Du siehst nur den Platzgewinn aus den zusammen gestückelten HDDs, nicht die Risiken und Deinen Aufwand im Falle eines Ausfalls einer dieser HDDs im RAID5. Die Gruppe steht, Dir darf dann kein Fehler beim Reparieren unterlaufen oder Du musst Deine externes Backup auspacken. Damit verlierst je nach Backup Zeitplan 1-2 Tage Daten ... ganz abgesehen vom Zeitaufwand der Wiederherstellung, wir reden bei Consumer HW von langen Stunden evtl. Tagen.

Wenn dann:

- RAID5 mit 1x HDD Hotspare -- finde ich aber immer noch nicht so überzeugend (4 Platten)

- RAID6, also RAID5 mit Double-Parity, die Hotspare liegt nicht nur rum, sondern ist aktiver Teil des Bündels (4 Platten)

- Hardware-Controller, der Dir einige Aufgaben und Prüfungen abnehmen kann.

- Gäbe ja noch die Möglichkeit den "RAID Level" auf Filesystem-Ebene abzubilden, z.B. ZFS RAIDz2 (DoubleParity)

Die Idee Deine Daten mit einer zusätzlichen Platte umzuziehen, um immer eine vollständige funktionsfähige Kopie zu haben, ist absolut der richtige ... ??

wmautner · June 29, 2020 at 11:21 PM

Ich hatte eigentlich mit dem mdadm-Raid5 keine Probleme:

- egal, an welchen SATA-Anschlüssen die Platten waren

- eine beliebige Platte konnte ich abstecken, mußte sie dann aber mit hotadd wieder hinzufügen und die Synchronisation dauert natürlich

- das Raid hat auch einmal einen "Computer-Umzug" schadlos überlebt

Natürlich ist ein Raid5 mit mehr als 3 aktiven Platten auch schneller im Lesezugriff, da die Chunks "interlaced" gelesen werden können.

Nachteil: man merkt ohne regelmäßige Kontrollen nicht gleich, wenn eine Platte hier schwächelt, die andere vielleicht woanders.

Da hängt dann eine Platte beim Lesen eines kaputten Sektors solange, bis mdadm gleich die gesamte Platte als defekt markiert.

Wenn das passiert, kann bei Consumerplatten ohne vernünftigem Read-Timeout das Raid schon mal "auseinanderfallen", weil dann plötzlich ZWEI Platten als defekt "abgeworfen" werden.

fnu · June 30, 2020 at 12:02 PM

wmautner

Ich verdiene nun über 20 Jahre mein Geld im Tier1 Storage Bereich, meine Vorbehalte kommen nicht von ungefähr. RAID5 ist was für erfahrene Leute, da die meisten Consumer nur die Vorteile sehen und Nachteile komplett ausblenden. Deiner Schilderung nach auch Du, das nichts passiert ist, halte ich persönlich für ein Wunder. In meiner Branche gilt, HDDs fallen aus, es nur die Frage nach welcher Zeit.

Quote from wmautner

Natürlich ist ein Raid5 mit mehr als 3 aktiven Platten auch schneller im Lesezugriff, da die Chunks "interlaced" gelesen werden können.

RAID5 ist der falsche Weg und der (Speed) Gewinn von einer HDD mehr im RAID5 ist quasi nicht existent, vorallem mit Consumer Hardware, so dass dies kein Argument ist. Eine Verdopplung der Anzahl würde hier vllt. einen nennenswerten Unterschied machen ... Interlacing (Streifen) gibt es in der einfachen Form nicht bei einem RAID5/6 Rechenmodell, der Gewinn beim Lesen kommt daher, das Daten parallel von mehr als einer HDD kommen kann ...

Warum setzen z.B. viele Consumer NAS System primär auf RAID1 (Mirroring)? Weil das sehr einfach zu handhaben ist, vorallem im Fehlerfall, der immer dann kommt, wenn man keine Zeit, Muse oder Nerven dazu hat.

Wenn es unbedingt "mehr" als ein RAID1 sein soll, dann aber mit doppelter Parität, RAID6, min. 4 HDs, da kann dann immer eine HDD ausfallen, ohne das man unter Druck gerät. Die Gruppe läuft weiter und man kann sich ruhig und zügig um Ersatz bemühen.

Ich selbst nutze für RAID Gruppen nur HW Controller, aber auch damit bei HDDs niemals RAID5. Allerdings habe ich auch eine RAID5 Gruppe an den Controllern, ..., mit DC grade SSDs.

Eine Alternative zu RAID6 wäre RAID10, auch min. 4 HDDs, gilt als schnellste Platten Gruppierung und macht keine Probleme, sollten die Consumer HDDs ohne ERC, TLER, CCTL ausgestattet sein.

dad401 · July 9, 2020 at 11:27 PM

Ich plane nun mit dem 8 TB RAID1, wobei die WD myBook leider derzeit wieder recht teuer geworden sind. Werde da mal noch abwarten.

2 Fragen zum RAID1 wären da noch:

Ist es sinnvoll dieses direkt auf den Festplatten anzulegen, oder sollte man die Festplatten vorher mit einer Partition versehen?

Letzteres wäre doch evtl. sinnvoll für den Fall, dass man mal eine neue Platte verwenden muss, die wenige Bytes kleiner ist als die alte, oder? Also legt man vor der RAID-Erstellung 2 etwas kleinere (identisch große) Partitionen als die tatsächliche Größe der Festplatten an und kann dann im Bedarfsfall das RAID wiederherstellen, falls die neue Ersatzplatte etwas kleiner ist, als die Ausgangsplatten.

Zweite Frage: was passiert bei einem RAID1, wenn bei einer Festplatte Sektoren defekt sind und diese Platte dadurch weniger Speicherplatz bietet, als die zweite Festplatte? Wird das RAID1 dann in Summe automatisch kleiner?

M-Reimer · July 10, 2020 at 10:26 AM

Wie groß ist denn die Wahrscheinlichkeit das du in X Jahren eine Platte kaufst die etwas kleiner ist als die alten?

Defekte Sektoren werden durch die Platte ersetzt. Sie wird also eine ganze Zeit lang nicht kleiner weil Ersatzsektoren genutzt werden. Und wenn das beginnt, dann ist es ohnehin allerhöchste Zeit die Platte zu ersetzen.

dad401 · July 12, 2020 at 10:35 AM

Das stimmt allerdings - aber rein vom Verständnis, was würde bei einem RAID1 passieren, wenn eine Festplatte einen Sektor weniger hat, weil defekt? "Degrade" auf nur eine Festplatte?

Und rein theoretisch, sollte das ja mit den Partitionen funktionieren - auch wenn es wohl niemand in der Praxis macht - wenn die Wahrscheinlichkeit (Defekt einer Platte) ersetzen zu müssen klein ist

M-Reimer · July 12, 2020 at 11:31 AM

Also ich würde mal behaupten das eine Platte, die so stark defekt ist, dass die Größe verliert, vom RAID-Manager "abgeworfen" wird. Das sind dann die Fälle wo beim professionellen Storage die rote LED an der Platte blinkt und das System nach einem Plattenwechsel verlangt.

fnu · July 12, 2020 at 1:44 PM

Aus RAID Sicht gesehen halte ich es egal, ob man Partition anlegt oder nicht. Ohne Partition entspricht dem, was Arrays machen. Mit Partition hat man es bei Bedarf etwas leichter an die Daten einer einzelnen Platte aus einem RAID1 zu kommen.

Mit oder ohne Partition, 100% genau gleich wird nur der Ersatz mit dem identischen Platten-Typ. Und wie M-Reimer schon schreibt ersetzt man eigentlich gleich oder größer. Zur Erinnerung ein RAID ist keine Recycling-Einheit für HDDs die man so rumliegen hat ... ?

Eine Partition wird nie kleiner, schon gar nicht von defekten Sektoren. Eine solche Platte wird nicht nur von einem RAID Bündel als defekt markiert. Generell gilt für Einzelplatten und RAID Bündel, Datenverlußt geht immer nur auf fehlendes Backup zurück ... ?

dad401 · July 14, 2020 at 12:06 AM

Ok - Danke.

Ich habe nun über mydealz 2 WD MyBook 10TB (2x 157€) erstanden. Damit werde ich das RAID aufbauen.

Hintergrund bzgl. der Partitionen war wirklich der Fall, falls doch mal eine kaputt geht und ich diese durch eine andere 10 TB ersetzen muss, so dass diese dann nicht mehr identisch sind. Bei 10TB werde ich wohl - mind. mittelfristig - keine noch größere als Ersatz verwenden, z.B. wenn die MyBooks im Gegensatz zu den bisherigen REDs nicht (so) lange halten sollten.

In der ersten, die gerade mit badblocks teste, ist eine WDC WD100EZAZ-11TDBA0 laut hdparm verbaut. Die Platten kommen erst nach einem fehlerfreien badblocks aus dem Gehäuse...hoffe das bekomme ich zerstörungsfrei auf. Youtube hilft...

M-Reimer · July 14, 2020 at 7:59 AM

badblocks ist für moderne Platten das falsche Tool. Du suchst smartctl.

dad401 · July 14, 2020 at 7:38 PM

Verstehe ich jetzt nicht. Wie soll smartctl defekte Blöcke erkennen, die erst beim Schreiben/Lesen/Zugriff auf den Block auftreten? smartctl allein ist meiner Ansicht nach nicht ausreichend. Wenn badblocks auf defekte Blöcke trifft, sieht man das dann normalerweise auch in smartctl. Die SMART-Werte sind ok.

Bisher bin ich immer ganz gut mit dieser Testmethode gefahren. Entweder die Platte macht gleich Probleme, oder sie hält gewöhnlich länger. Ausnahmen bei letzteren hatte ich erfahrungsgemäß nur mit Seagate und Samsungplatten (2,5") - aber das ist "eigene" Statistik.

Achja, es ist keine SSD

Participate now!