Software-RAID - Erfahrungen und Tips gesucht...

knebb

Was wirklich unprofessionell ist, eine Lösung an gegebenen Vorraussetzungen zu akzeptieren nur um wischi-waschi schnell, schnell eine Lösung präsentieren zu können. Das ist unglaublich kurzsichtig und dient nur dem eigenen Ego.

Die Nachteile einer im Betriebssystem des Rechners verwirklichten RAID-Lösung finde ich aus der Erfahrung heraus zu gravierend. Ich würde mir lieber einen Finger abschneiden bevor ich das irgend jemandem empfehle. Zum spielen und ausprobieren mit LVM, mdtools o.ä. kein Thema, aber ich vertraue meine Daten lieber einer ungespiegelten Platte mit vernünftigem Backup/Restore an.

Aber, jeder findet für sich seine Lösung und muß damit leben. Matzetronic hat nur nach Erfahrungen und Meinungen gefragt und keine Grundsatzdiskussion losgetreten. Es ist ein Zeichen sozialer Kompetenz andere Meinungen zu akzeptieren:

Zitat

Freiheit ist immer nur Freiheit des anders Denkenden (Rosa Luxemburg)

Matzetronic

Finde Deine Lösung und trainiere das Recovery vor der Inbetriebnahme, ansonsten ist jede Lösung in dieser Richtung nutzlos.

Ich habe auch schon Plattenausfälle gehabt, aber ein gut geplante Backup/Recovery Lösung hilft da oft mehr als eine Materialschlacht. Soll heißen, ich betreibe mein VDR's mit ungespiegelten Platten und sichere nur für mich wichtige Daten. Also keine Aufnahmen, ausser die auf DVD konvertierten.

Was macht Aufnahmen so wertvoll für diesen Aufwand? Was hatten wir vor dem VDR? Wer hat den wirklich seine Videobänder gesichert? Und was passiert wirklich wenn die Aufnahmen der X-ten Wiederholung weg ist? Nix, oder? Es handelt sich schließlich nicht um die Steuererklärung, die Kontodaten oder die Diplomarbeit ein Tag vor dem Abgabetermin

Im absoluten Notfall hat die Aufnahme bestimmt noch jemand anderes hier im Board....

Bis dann
hummingbird_de

PS.: Aber der Spieltrieb läßt sich halt nicht abstellen, gell

Zitat

Original von hummingbird_de
Die Nachteile einer im Betriebssystem des Rechners verwirklichten RAID-Lösung finde ich aus der Erfahrung heraus zu gravierend. Ich würde mir lieber einen Finger abschneiden bevor ich das irgend jemandem empfehle. Zum spielen und ausprobieren mit LVM, mdtools o.ä. kein Thema, aber ich vertraue meine Daten lieber einer ungespiegelten Platte mit vernünftigem Backup/Restore an.

Magst du bitte erläutern, worin die gravierenden Nachteile bestehen (in Hinblick auf Linux MD).

- die Unabhängigkeit vom Controller-Typ ist es nicht
- der Mehraufwand auf aktuellen Prozessoren sicher auch nicht (deutlich unter 5%)
- die mangelnde Multi-OS Fähigkeit sicher auch nicht (warum sollte man auf Produktivsystemen das OS wechseln, und welches Dateisystem verwendet man auf dem RAID)
- die Nachvollziehbarkeit, wie die Daten auf den Festplatten verteilt werden
- Bugs dürften in ähnlichem Umfang im MD-Code und in den Treibern und der Firmware der RAID-Controllern sein. gleiches für die Tools
- die Kosten sind es sicher auch nicht

Ich sehe zwei Nachteile, die aber für Privatanwender verschmerzbar sein sollten.
- keine Support unnd keine Hotline, die man bei Fehlern zusammenstauchen kann (Haftung wird sicher begrenzt oder ausgeschlossen sein)
- Auslastung auf dem Weg CPU - Controller (SoftRAID und Gigabit-Ethernet auf gemeinsamen 32bit 33mhz PCI-Bus wird deutlich langsamer sein)

Dass RAID kein funktionierendes Backup/Restore ersetzen kann, wird niemand ernsthaft bestreiten wollen. RAID erhöht die Verfügbarkeit bei Festplattenausfällen (abgesehen von RAID-0), nicht mehr, nicht weniger. Das kann Backup nicht, dafür schützt es vor anderen Ursachen von Datenverlust (Stromausfall, Fehlbedienung, usw.).

Wenn es hauptsächlich um Dokumente geht und sie noch mit zu vertretbaren Aufwand zu sichern sind (z.B. auf einen DVD-Rohling), so ist dies jedem RAID vorzuziehen. Ich habe meine Dokumente, Unterlagen, Bilder und Sourcen auf einem RAID-1 liegen und sichere sie regelmäßig. Die MP3s liegen nur auf dem RAID-1, eigentlich sollte ich die auch mal sichern, wenn ich überlege wieviel Arbeit das Rippen, Taggen und Sortieren ist. Viedeos liegen auf normalen Festplatten oder sogar auf einem RAID-0.

Wo in dieser Diskussion die Freiheit von Irgendjemandem bedroht oder eingeschränkt wird möchtest du bitte auch erläutern. Sicher sagt der eine oder andere mal schlicht "falsch", wenn er meint "ich bin anderer Meinung". Aber damit will dir niemand verbieten eine andere Meinung zu haben und diese auch zu äussern.

Janne

Zitat

Original von Matzetronic
Das mkfs vorher ist natürlich Quatsch. Ich habe es jetzt nochmal ohne getestet - es funktioniert auch. Die Frage ist jetzt, wie spreche ich die Partitionen an ? cfdisk zeigte mir die Partitionen als md0p1 und md0p2, aber mkfs mag dieses gar nicht
Ein cat /proc/partitions zeigt mir auch nur md0.

/dev/md0 ist das Device, welches Du "bearbeiten" mußt. Du kannst damit umgehen, wie
mit einem "normalen" /dev/hda5 o.ä. Als erstes solltest Du ein Filesystem erstellen (ext3 fällt
wegen der Größe flach ) und dann die Partition mounten:

mke2fs -m0 /dev/md0
mkdir /mnt/raid
mount /dev/md0 /mnt/raid

Jetzt kannst Du auf /mnt/raid Daten speichern etc.

Zitat

Original von hummingbird_de
Was wirklich unprofessionell ist, eine Lösung an gegebenen Vorraussetzungen zu akzeptieren nur um wischi-waschi schnell, schnell eine Lösung präsentieren zu können. Das ist unglaublich kurzsichtig und dient nur dem eigenen Ego.

ACK.

Zitat

Die Nachteile einer im Betriebssystem des Rechners verwirklichten RAID-Lösung finde ich aus der Erfahrung heraus zu gravierend. Ich würde mir lieber einen Finger abschneiden bevor ich das irgend jemandem empfehle.

Stimmt. Wie gesagt- im Prof-Bereich. Sobald aber vollkommen klar ist, wofür der Speicherplatz benötigt wird- in diesem Fall für Videodaten unter Linux (dessen Daten ja sowieso schon soweit proprietär sind, daß sie ohne Konvertierung von nur wenigen Programmen verarbeitet werden können), habe ich keine Probleme mit einer Betriebssystembeschränkung. Wir sind uns da ja einig, wenn wir es auch anders geschrieben haben

Zitat

sichere nur für mich wichtige Daten. Also keine Aufnahmen, ausser die auf DVD konvertierten.

Hier haben wir aber andere Meinung- auch ich sichere die Daten nicht, aber sie sind mir dennoch zu "wertvoll", um sie einem üblichen Plattenausfall in den Rachen zu werfen. Deshalb hier RAID5 (ok, 2xHardware, 2x Software ;))

Zitat

Was hatten wir vor dem VDR?

Nun, Du wirst mir sicherlich zustimmen, wenn ich die Vergangenheit nicht als Referenz für die Gegenwart zulasse.

Zitat

PS.: Aber der Spieltrieb läßt sich halt nicht abstellen, gell

Das wiederum kannst Du uneingeschränkt für die ganze IT-Branche gelten lassen

Zitat

Original von jannex
Dass RAID kein funktionierendes Backup/Restore ersetzen kann, wird niemand ernsthaft bestreiten wollen. RAID erhöht die Verfügbarkeit bei Festplattenausfällen (abgesehen von RAID-0), nicht mehr, nicht weniger.

Yup. Und da mir früher nicht gefiel, wie vdr die Daten auf alle Platten verteilte, habe ich
mich dann für ein RAID5 entschieden. So ist die Verfügbarkeit beim Ausfall einer Platte
gewährleistet.

Hallo,
ich habe einen älteren DPT SmartRAID SCSI-Controller. Wenn ich damit einen kleinen File-Server (Raid5) aufsetzen würde und der Controller seinen Geist gibt, wie komme ich dann wieder an die Daten?
Brauche ich dann wieder genau den gleichen Controller oder reicht ein ähnliches Modell mit gleichen Spezifikationen.

Gruß MAK

Zitat

Original von MAK
ich habe einen älteren DPT SmartRAID SCSI-Controller. Wenn ich damit einen kleinen File-Server (Raid5) aufsetzen würde und der Controller seinen Geist gibt, wie komme ich dann wieder an die Daten?

Garnicht

du bräuchtest dann den gleichen Controller bzw. wenigstens vom gleichen Hersteller/ Chipsatz. Meistens akzeptieren bei Markenherstellern neuere Controller auch Arrays, die von älteren gebaut wurden.

Aber so pauschal ist das sonst schwer zu sagen.

knebb
Danke für die Antwort.
Im Klartext heist das für mich, gleichen Controller in der Schublade haben oder immer ein aktuelles Backup der Daten haben.
Gruß MAK

Hallo,

für alle die ein neues (Hardware-)Raid5 sich aussuchen, möche ich hier von meinem zum Glück (fast) verlustfreiem Ausfall meines Systems kurz berichten:

Alles lief ca. 14 Monate ohne Probleme, den Ausfall einer Disk hatte ich auch getestet.
Nun war eine Platte wirklich ausgefallen, dazu kaufte ich eine neue und stecket sie in Gerät. Es wurde auch sofort mit der Wiederherstellung begonnen.

Doch während der Wiederherstellung meldeten zwei weitere Platten Lesefehler, auch mein Server hatte dann keine Lust mehr die Datenstuktur auf diesem Plattenverbund zu akzeptieren. Die Reparatur wurde mit einem Serverabsturz immer abgebrochen. Spich meine Daten waren erst mal weg.

Die betroffenen Platten versuchte ich mit dem Herstellertool wieder zum Leben zu erwecken, was auch eventl. glückte, jedoch waren die betroffenen Sektoren einfach nun mit Nullen gefüllt, was der Repartur der Plattenstuktur nicht gut bekam, d. H. mein Server stürtze immer noch ab.

Mit einer mittlerweile zweiten neuen Platte versuchte ich dann die Wiederherstellung des RAID's und verglich dann die neu mit der alten (die mit den Null-Sektoren) und kopierte alle Sektoren, die auf der einen Platte nur Nullen enthielten auf die andere.

Nun funktionierte auch die Reparatur der Plattenstuktur, und meine Daten sind (fast) alle wieder da. Es gibt ein paar Verluste im eMail-System, was die letzten Eingänge waren.

Mit einem RAID5 ist man also nicht vor einem Plattenausfall sicher, den die Prüfsummen der Platten werden nur im Fehlerfall gelesen, so daß Aufälle einer Platte doch zum Datenverlust führen kann, wenn das System keine Lesekontrolle (was z.B. S.M.A.R.T. kann) anbietet.

Hardy

Zitat

Original von MAK
knebb
Danke für die Antwort.
Im Klartext heist das für mich, gleichen Controller in der Schublade haben oder immer ein aktuelles Backup der Daten haben.

Ist aber halt wieder mächtig teuer, einen zweiten Controller nur auf Halde zu haben. Die Wahrscheinlichkeit, daß ein Controller ausfällt ist mangels beweglicher Teile deutlich kleiner als bei HDDs.

Ich mache das so, daß recht neue Controller NICHT redundant gekauft werden. Erst, wenn sie schon recht alt sind, wird versucht, ein Reservergerät günstig ggf. gebraucht zu ersteigern
Dann sind die Preise auch deutlich gesunken. Man muß nur den richtigen Zeitpunkt finden, wo die Preise gut gesunken sind, das Teil aber noch zu besorgen ist (keine Liebhaberpreise).

Ein Argument für Software-RAID oder Markengeräte

Zitat

Original von HFlor
Doch während der Wiederherstellung meldeten zwei weitere Platten Lesefehler, auch mein Server hatte dann keine Lust mehr die Datenstuktur auf diesem Plattenverbund zu akzeptieren.

Das ist der kritische Punkt bei RAID5, ja.
Meist sind die Platten ja auch aus einer Serie, d.h. die Ausfallzeitpunkte liegen mit hoher Wahrscheinlichkeit nahe beieinander. Fällt die erste aus und man startet mit einer Neuen das Recovery, ist das natürlich eine Belastung der anderen Platten. Die stehen aber eh' auch schon kurz vor Ausfall. Die massive Belastung schiebt diesen Zeitpunkt nach vorne, so daß die Wahrscheinlichkeit eines weiteren Ausfalles während des Resyncs steigt.
Abhilfe schaffen hier nur konsequentes Mischen von HDDs oder aber neuere Systeme wie RAID6 ff. HotSpare Platten bringen da auch nicht viel.
Außerdem habe ich mir angewöhnt, nicht mehr als max. 4-5 Platten in einem Verbund zusammenzufassen.

Mit SCSI-Platten habe ich sehr gute Erfahrungen gemacht, mit IDE weniger im 24/7 Betrieb. Inzwischen wiche ich aus Kostengründen auf S-ATA aus. Bin mal gespannt, wie die es mit der Langlebigkeit halten.

Aber demnächst baue ich mit sowieso ein SAN auf

Um dem vorzubeugen läuft hier bei Systemen mit Software RAID jede Woche ein Scan der Einzelplatten auf Lesefehler (einfach ein "dd" nach /dev/null). Wenn da ein Fehler auftritt fliegt die Platte raus - ob sie nun vorher schon Smart Fehler gemeldet hat oder nicht.

Zu den Lobliedern auf die Hardware-Controller: wir hatten im letzten Jahr zwei Ausfälle bei Systemen mit Hardware-Controller.

1. Ausfall: Adaptec 2810SA: Background Scan (also das Äquivalent für das "dd" bei den SoftRAID Lösungen) war aktiviert. Das RAID meldet nach 3 Monaten einen Plattenausfall, fängt mit dem Restore auf die Hotswap-Platte an und findet Fehler auf einer weiteren Platte - Totalausfall. Woran lag es? Der Background Scan war im BIOS des Controllers noch nicht verdrahtet worden - 2 Monate später lieferte Adaptec eine neue Firmware, bei der ein aktivierter Background Scan dann auch ausgeführt wurde. Danke.

2. Ausfall: 3Ware Controller: In einem VMWare Server traten sporadisch Fehler im Filesystem von VMWare Maschinen-Images auf. Folge: Crashs in den VM's. Aufwendige Fehlersuche mit diversen Verify Läufen des RAID's - der Controller konnte keine Probleme feststellen. Was war es: eine der SCSI Platten hatte ein Problem mit dem Speicher für den Platten-Cache. Es traten sporadisch Bit-Fehler auf. Das hätte vom Controller spätestens beim Verify-Lauf festgestellt werden müssen. Wurde es aber nicht.

Fazit: Hardware-Controller sind auch nur Spezialrechner mit RAID-Software drauf. Und die ist eben nur so gut wie der Hersteller sie ausliefert. So wie es aussieht sind die Hersteller von RAID-Systemen mittlerweile sehr unter Kostendruck - man merkt es an der Software.

Ralf

Zitat

Original von knebb
Mit SCSI-Platten habe ich sehr gute Erfahrungen gemacht, mit IDE weniger im 24/7 Betrieb. Inzwischen wiche ich aus Kostengründen auf S-ATA aus. Bin mal gespannt, wie die es mit der Langlebigkeit halten.

Bei SATA-Platten für 24/7 RAID Systeme dringend darauf achten, dass die Platten einer "RAID-Edition" entstammen - auf keinen Fall mehr Desktop-Platten einsetzen. Im Rahmen unseres Storage Desasters im letzten Jahr durften wir hier die Erfahrung machen, dass Plattenhersteller die Unterscheidung in RAID und Desktop Platten mittlerweile ausgesprochen ernst nehmen. Wenn Desktop Platten nicht gelegentlich ausgeschaltet werden ist mit einer extremen Ausfallwahrscheinlichkeit schon im ersten halben Jahr zu rechnen. Von, wenn ich mich recht erinnere, 14 SATA Platten, die im letzten Jahr in 24/7 Systemen gelandet sind, hatten wir in der Firma 6 Ausfälle - verschiedene Chargen, verschiedene Hersteller. Dass nicht nur wir von dieser Politik-Änderung der Hersteller überrascht waren zeigt z.B. Dell, die im letzten Jahr noch in großem Umfang Desktop-Platten in ihren 19" Systemen eingesetzt haben und über die Rücklaufquote ziemlich sauer zu sein schienen ...

Ralf

Zitat

Original von ralf1970
...
Dass nicht nur wir von dieser Politik-Änderung der Hersteller überrascht waren zeigt z.B. Dell, die im letzten Jahr noch in großem Umfang Desktop-Platten in ihren 19" Systemen eingesetzt haben und über die Rücklaufquote ziemlich sauer zu sein schienen ...

FULL ACK !

Das selbe Spiel bei uns : erst die tollen NAS Lösungen von Dell verbaut und 6 Monate später die Ausfälle. Nun sind alle Platten getauscht und das Warten auf die nächsten Ausfälle geht weiter.

Gruß
marcedi

Hi,

ich habe auch vor der Entscheidung gestanden und lange überlegt ob Soft oder Hardware Raid.

Zuerst dachte ich warum sollst du 300€ für einen Controller ausgeben wenn ich über mdtools ein Raid bauen kann.

Schreibperformance war mir auch halbwegs egal, weil dort im Grunde die Daten gelagert werden und sich nicht permanent im Zugriff befinden.

Da ich aber dann auch an die Zukunft gedacht habe und den Controller in einem nicht so rechenstarken PC betreiben will habe ich nach möglichen Hardware Controllern gesucht.

Im Endeffekt bin ich dann beim 3Ware 8506 gelandet. 4 x SATA 1 Ports.

Bekommt man für ca. 200€. Mit Glück so wie ich es hatte für 165€. Natürlich gebraucht. Der Vorteil vom 3ware ist das er eine eigene CPU hat die die Rechenaufgaben übernimmt.

Raid5 Controller von Dawi, Promise, LSI oder Broadcom lassen leider die Informationen von der CPU rechnen --> Da ist der Vorteil eines richiten HW Controllers fast hin.

Die 7500 Serie ist teilweise auch noch bei Ebay vertren für ATA Platten und der geht für bissl mehr als 100€ weg.
Gucksu hier Ebay Nummer : 8769414560

Also kaufen Marsch Marsch !

P.S
Ich bin auch Storageadministrator und habe trotzdem über ein Softraid nachgedacht

ralf1970:

Na dann sollte Dell oder vom wem das NAS System ist mal drüber nachdenken was sie dem Kunden anbieten.

Ich persl. habe auf dem NetApp R200 System mit SATA Platten im letzten Jahr nur eine Platte tauschen müssen.

Es handelt sich um 56 SATA Platten.

Zitat

Original von peda
Na dann sollte Dell oder vom wem das NAS System ist mal drüber nachdenken was sie dem Kunden anbieten.

Ich kann das Verhalten von Dell durchaus nachvollziehen. Der Unterschied zwischen Desktop und Server Platten war bisher Lautstärke, Transferrate und ja, auch MTBF. Aber MTBF halt im Rahmen von einem Faktor 2-5. Wenn es also z.B. um Desktop PC's ging, die auch 24/7 liefen, bei denen es aber eher nicht um finale Performance ging, konnte man bisher ruhigen Gewissens auf Desktop-Platten zurückgreifen. Das gleiche bei anspruchslosen Servern. Mein eigener Arbeitsplatzrechner lief mit der letzten Platte ohne Probleme 3 Jahre 24/7 durch. Und die Platte davor hat auch mindestens so lange gehalten. Der Ausfall von 6 von 14 Platten im ersten halben Jahr + Austausch nur noch auf Kulanz wegen eigentlich "unsachgemäßem" Gebrauch ist ein wirklich neues Verfahren und tut richtig weh!

Zitat

Ich persl. habe auf dem NetApp R200 System mit SATA Platten im letzten Jahr nur eine Platte tauschen müssen.

Es handelt sich um 56 SATA Platten.

Wow. Gratuliere. Bei 56 Platten hätte ich allerdings gefühlsmäßig auch spontan zu Server/RAID Platten gegriffen.

Für den ohnehin überdimensionierten Router oder Miniwebserver mit RAID 1 (ob nun Softraid oder Hardraid) waren Server-Platten bis vor einem Jahr eigentlich rausgeschmissenes Geld. Die klangen zwar im Verkaufsgespräch gut haben aber keinen nennenswerten Vorteil für den Kunden gebracht. Das hat sich jetzt geändert.

Ralf