RAID5 nach PC Neustart meist defekt, Ursache?

    Hallo,


    ich habe für meinen Keller VDR Server ein RAID 5 System mit Debian Etch etwa seit 6 Monaten laufen. Das Gerät läuft eigentlich höchst zufriedenstellend, wenn mir md2 nicht immer nach dem Neustart den Dienst verweigern würde. Die md0 (RAID1, boot Partition) sowie md1 (RAID5, System) laufen tadellos, nur md2 (Daten) meldet immer dass nur mehr eine Platte okay sei... ich kann zwar per "mdadm -assemble /dev/md2 /dev/sda3 /dev/sdc3" das RAID wieder zum Leben erwecken, wenn ich aber dann /dev/sdb3 hinzufügen möchte, dann bekomme ich ein Failed und md2 verweigert den Dienst komplett. Ich hatte das Spiel jetzt schon 2 Mal und jedes Mal habe ich md2 gelöscht und neu angelegt und die Daten dann wieder vom Backup retour kopiert... aber das kann ja nicht Sinn der Sache sein, schließlich möchte ich mir mit den RAID5 meine Sorgen vertreiben und nicht welche machen :evil:
    Einen Plattenfehler schließe ich eigentlich aus, da die Herstellertools keinen Fehler finden und das System im Betrieb ansonsten wunderbar funktioniert. Stromausfälle fange ich mit einer USV ab und das System habe ich die letzten 6 Monate nur für Wartungszwecke neu gebootet...
    Ich getraue mich jetzt gar nicht mehr neu zu starten, aber gelegentlich kommt man ja nicht umhin - was könnte also die Ursache sein?
    Momentan fahre ich das System so:



    Es ist also beim md2 die Partition /dev/sdb3 nicht mehr aktiv dabei, womit RAID5 also im Notbetrieb läuft...


    Ich hoffe jemand hat eine Idee, hier noch das Syslog einer versuchten Reparatur:



    Hardware:
    Gigabyte M55Plus-S3G
    3x Samsung 1TB HDD 7200rpm sATA 32MB (HD103UJ)


    Vielen Dank für eure Hilfe,
    Martin

    Server: 19" Rack - yaVDR 0.5, 4x DVB-S2
    Server (Reserve): 19" Rack Server - Ubuntu 10.04 + yaVDR Repo (COMPUCASE 4HE, GIGABYTE 770TA-UD3, SNT-BA3151-1 Backplane, Athlon II X2 245e, 4 GB, 2x WD Caviar Green 2TB, 3x TT-budget S2-1600)
    Client "Wohnzimmer": Zotac ZBOX (MLD 4.0.1, Nvidia, Atom)
    Client "Schlafzimmer": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Kinderzimmer": Asus EeeBox EB1012P-B0550 (yaVDR 0.5, Nvidia, Atom)
    Client "Fitness": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Küche": Asus EeeBox B202 (Lubuntu+VLC)
    Client "Büro" (Lubuntu)
    Client "Terrasse": NSLU2 (Debian, MPD)

    Einmal editiert, zuletzt von Tiroler ()

    Hat dein Gigabyte Mainboard zufällig die zweifelhaft geniale Funktion "virtual Bios" bzw. "virtual dual bios" ?


    Da gabs mal einen Artikel in der c't zu, wenn ich mich recht erinnere kann man
    - diese Funktion des Bios nicht deaktivieren oder einfach rauspatchen
    - schreibt diese Funktion eine Bios-Kopie auf die erste! Platte im System (ich glaub das war ans Ende des Datenträgers)
    - wenn jetzt zufällig dort auch die Informationen zur raid partition liegen, dann sind sie nach jedem reboot schwups weg und das raid meint, dass die Partition nicht zu einem Raidverbund gehört


    Eine kurze google Suche lieferte das:
    http://www.technic3d.com/news-…tes-virtual-dual-bios.htm


    Ich hab nochmal in der c't geguckt Ausgabe 4/09 Seite 19.


    Danach legt ein Gigabyte Board mit Virtual Dual Bios ungefragt eine 1,1MByte große HPA (host protected area) am Ende der 1. Platte an, falls eine solche noch nicht exisitert und das auch dann, wenn der Bereich in einer vorhandenen Partition enthalten ist. Dummerweise speichert mdadm die Metadaten zum Raid auch am Ende des Datenträgers (oder der Partition?!?). Das Problem soll allerdings nur auftreten wenn der Sata Controller im IDE Modus läuft, da Virtual Dual Bios nicht mit AHCI harmoniert (steht afaik auch nicht im Handbuch).


    Nachdem ich das lese bin ich froh, dass ich bei meinem System schon immer AHCI an habe, denn auch in meinem Server werkelt ein Gigabyte Board mit dieser Scheiss Funktion.

    Server: Athlon II X2 250 - Asus M3N-H HDMI - 2x1GB RAM - 3TB HDDs -
    1 x Digital Devices Cine S2 V6 DVB-S2 (SD Sender im Highband funktionieren mit der Karte nach wie vor unter Linux nicht, unter Windows schon)
    3 x Nova Budget (die ich eigentlich durch die Cine S2 mit Erweiterungsmodul ersetzen wollte, leider aber für die SD Sender immer noch brauche)
    mit yavdr 0.4.0

    Einmal editiert, zuletzt von Egalus ()

    Hallo Egalus,


    der Tipp scheint mir sehr gut zu sein & würde das Fehlverhalten wohl erklären... mein Board hat lt. Gigabyte Homepage diese Funktion.
    Werde heute Abend gleich nachsehen - das wäre echt der Hammer :lol2


    Vielen Dank!

    Server: 19" Rack - yaVDR 0.5, 4x DVB-S2
    Server (Reserve): 19" Rack Server - Ubuntu 10.04 + yaVDR Repo (COMPUCASE 4HE, GIGABYTE 770TA-UD3, SNT-BA3151-1 Backplane, Athlon II X2 245e, 4 GB, 2x WD Caviar Green 2TB, 3x TT-budget S2-1600)
    Client "Wohnzimmer": Zotac ZBOX (MLD 4.0.1, Nvidia, Atom)
    Client "Schlafzimmer": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Kinderzimmer": Asus EeeBox EB1012P-B0550 (yaVDR 0.5, Nvidia, Atom)
    Client "Fitness": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Küche": Asus EeeBox B202 (Lubuntu+VLC)
    Client "Büro" (Lubuntu)
    Client "Terrasse": NSLU2 (Debian, MPD)

    Hallo Tiroler,


    Code
    Mar  7 00:48:12 srv01 kernel: [ 1090.213454] raid5:md2: read error not correctable (sector 1544 on sdc3).


    Diese Meldung der defekten Platte sdc interesiert Dich wohl nicht?
    Hast Du alle Platten z.B. mit "smartctl -t long ..." geprüft?


    Hardy

    Suche: 6 Richtige für die nächste Lottoziehung
    PS: Wer Rechtschreibfehler findet, darf sie behalten!

    Egalus:

    Zitat

    Danach legt ein Gigabyte Board mit Virtual Dual Bios ungefragt eine 1,1MByte große HPA (host protected area) am Ende der 1. Platte an, falls eine solche noch nicht exisitert und das auch dann, wenn der Bereich in einer vorhandenen Partition enthalten ist. Dummerweise speichert mdadm die Metadaten zum Raid auch am Ende des Datenträgers (oder der Partition?!?). Das Problem soll allerdings nur auftreten wenn der Sata Controller im IDE Modus läuft, da Virtual Dual Bios nicht mit AHCI harmoniert (steht afaik auch nicht im Handbuch).


    Ich habe mein Bios jetzt 3mal abgesucht, leider gibts bei mir keine Version um Virtual Bios abzuschalten oder die Platten anders (per AHCI) anzusteuern...
    Ob es helfen würde wenn ich das RAID neu anlege und die letzten 10 MB weglasse? Werde ich wohl testen müssen... aber nicht mehr heute, da brauche ich ein ruhiges Wochenende :evil:


    berndl:
    Also ich habe das RAID gleich am Anfang mit der installation gemacht, was eine ordentliche Datei erzeugt haben sollte... ich habe es jetzt nochmal gemacht, aber das hat auch nicht geholfen - nach dem Neustart ist nur mehr /dev/sda3 des md2 verfügbar...


    HFlor:

    Zitat

    Diese Meldung der defekten Platte sdc interesiert Dich wohl nicht? Hast Du alle Platten z.B. mit "smartctl -t long ..." geprüft?


    Interessiert hat die Meldung mich schon, jedoch ergab das Herstellertool keinen Festplattenfehler. Leider scheint die Platte auch kein Smart zu unterstützen(?):




    Unabhängig davon habe ich mein md2 RAID5 ja jetzt mit 2 Platten am Laufen - wenn ich neustarte ist /dev/sdc3 auch weg und md2 funktioniert logischerweise überhaupt nicht mehr. Das neu "assemblen" klappt jedoch und ich kann wieder darauf zugreifen... meiner Meinung nach müsste bei einem Neustart ja der Notbetrieb des RAID5 weiterlaufen und nicht abschalten... sehr strange - deshalb glaube ich nicht an einen Hardwaredefekt. Siehst du das anders?


    Bin für alle weiteren Tipps dankbar!

    Server: 19" Rack - yaVDR 0.5, 4x DVB-S2
    Server (Reserve): 19" Rack Server - Ubuntu 10.04 + yaVDR Repo (COMPUCASE 4HE, GIGABYTE 770TA-UD3, SNT-BA3151-1 Backplane, Athlon II X2 245e, 4 GB, 2x WD Caviar Green 2TB, 3x TT-budget S2-1600)
    Client "Wohnzimmer": Zotac ZBOX (MLD 4.0.1, Nvidia, Atom)
    Client "Schlafzimmer": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Kinderzimmer": Asus EeeBox EB1012P-B0550 (yaVDR 0.5, Nvidia, Atom)
    Client "Fitness": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Küche": Asus EeeBox B202 (Lubuntu+VLC)
    Client "Büro" (Lubuntu)
    Client "Terrasse": NSLU2 (Debian, MPD)

    Einmal editiert, zuletzt von Tiroler ()

    Hallo Tiroler,


    Zitat

    Original von Tiroler
    Ob es helfen würde wenn ich das RAID neu anlege und die letzten 10 MB weglasse? Werde ich wohl testen müssen... aber nicht mehr heute, da brauche ich ein ruhiges Wochenende


    wenn es diese Funktion des Bios ist, würde doch aber sda betroffen sein, soweit ich es gelesen habe ist nach dem kopieren des Bios in den letzten Bereich der Platte diese dann um diesen Bereich kleiner, kann also bei einer Neugestaltung der Partitionen voll genutz werden. Auf vielen Platten steht die Größe in Blöcken. Einfach den Wert von fdisk durch 512 teilen und vergleichen.


    Zitat

    Interessiert hat die Meldung mich schon, jedoch ergab das Herstellertool keinen Festplattenfehler. Leider scheint die Platte auch kein Smart zu unterstützen(?):


    dann hilft zur Not auch ein "dd if=/dev/sdx of=/dev/null bs=1M" zum vollen lesen der Platte.


    Hardy

    Suche: 6 Richtige für die nächste Lottoziehung
    PS: Wer Rechtschreibfehler findet, darf sie behalten!

    Zitat

    Original von Tiroler
    Interessiert hat die Meldung mich schon, jedoch ergab das Herstellertool keinen Festplattenfehler. Leider scheint die Platte auch kein Smart zu unterstützen(?):



    Bei Sata - Platten muss normalerweise der Paramete "-d ata" bei smartctl mit angegeben werden. Also z.B.:

    Code
    smartctl -a -d ata /dev/sdb


    Das geht aber auch nur, wenn der Kernel + smartmontools neu genug sind.


    Gruss Alex

    Danke, das klappt - allerdings kann ich die Ausgabe nicht wirklich negativ deuten(?)

    Server: 19" Rack - yaVDR 0.5, 4x DVB-S2
    Server (Reserve): 19" Rack Server - Ubuntu 10.04 + yaVDR Repo (COMPUCASE 4HE, GIGABYTE 770TA-UD3, SNT-BA3151-1 Backplane, Athlon II X2 245e, 4 GB, 2x WD Caviar Green 2TB, 3x TT-budget S2-1600)
    Client "Wohnzimmer": Zotac ZBOX (MLD 4.0.1, Nvidia, Atom)
    Client "Schlafzimmer": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Kinderzimmer": Asus EeeBox EB1012P-B0550 (yaVDR 0.5, Nvidia, Atom)
    Client "Fitness": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Küche": Asus EeeBox B202 (Lubuntu+VLC)
    Client "Büro" (Lubuntu)
    Client "Terrasse": NSLU2 (Debian, MPD)

    Current_Pending_Sector steht auf 2.


    Das sollte normalerweise nicht sein, d.h. eigentlich müssten diese defekten Sektoren in der Platte auf andere umgemappt werden. Wenn das nicht passiert hilft evtl. ein Lowlevel Format, oder das badblocks - Tool von Linux.


    Du könntest auch mal wie oben beschrieben mit "-t long" einen Selbsttest der Platte anstossen.


    Gruss Alex

    Auf das wäre ich jetzt nicht gekommen...
    /dev/sda zeigt den Wert 0
    /dev/sdc zeigt den Wert 1



    Jetzt frage ich mich, ob die 2 Platten (sdb + sdc) womöglich doch (zumindest teilweise) defekt sind(?)


    EDIT: lt. diesem Link müsste die Platte "nur" neu formatiert werden - ist damit die ganze Platte oder nur die Partition gemeint?

    Server: 19" Rack - yaVDR 0.5, 4x DVB-S2
    Server (Reserve): 19" Rack Server - Ubuntu 10.04 + yaVDR Repo (COMPUCASE 4HE, GIGABYTE 770TA-UD3, SNT-BA3151-1 Backplane, Athlon II X2 245e, 4 GB, 2x WD Caviar Green 2TB, 3x TT-budget S2-1600)
    Client "Wohnzimmer": Zotac ZBOX (MLD 4.0.1, Nvidia, Atom)
    Client "Schlafzimmer": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Kinderzimmer": Asus EeeBox EB1012P-B0550 (yaVDR 0.5, Nvidia, Atom)
    Client "Fitness": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Küche": Asus EeeBox B202 (Lubuntu+VLC)
    Client "Büro" (Lubuntu)
    Client "Terrasse": NSLU2 (Debian, MPD)

    Einmal editiert, zuletzt von Tiroler ()

    Hallo Tiroler,


    bevor Du neu formatierts o.ä. machst, so starte doch erst mal den Test aller 3 Platten gleichzeitig (der Test läuft auf der Platte selbst ohne Rechner) und lasse Deinen Rechner 3,3 Stunden (Zeit wird angezeigt) in Ruhe.


    Danach mit smartclt alles wieder auslesen im und im Bereich

    Code
    Warning: ATA Specification requires selective self-test log data structure revision number = 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
....

    steht Dein Ergebnis ...


    Hardy

    Suche: 6 Richtige für die nächste Lottoziehung
    PS: Wer Rechtschreibfehler findet, darf sie behalten!

    2 Mal editiert, zuletzt von HFlor ()

    Ich soll meinen Rechner 3,3 Stunden in Ruhe lassen? Ob ich das schaffe?? :unsch
    Nein, im Ernst - da ist es wohl besser ich starte den langen Test in der Nacht, wenn meine Familie schläft - nicht dass mir der Hausfrieden gefährdet ist :)
    Ist der Nachteil, wenn alles nur mehr per Netzwerk funktioniert...


    Der Befehl sollte wie folgt lauten, oder?
    smartctl ata --test=long /dev/sda /dev/sdb /dev/sdc



    Nicht dass ich da in der Nacht wieder wie blöd da steh :schiel


    Vielen Dank für eure tolle Hilfe!

    Server: 19" Rack - yaVDR 0.5, 4x DVB-S2
    Server (Reserve): 19" Rack Server - Ubuntu 10.04 + yaVDR Repo (COMPUCASE 4HE, GIGABYTE 770TA-UD3, SNT-BA3151-1 Backplane, Athlon II X2 245e, 4 GB, 2x WD Caviar Green 2TB, 3x TT-budget S2-1600)
    Client "Wohnzimmer": Zotac ZBOX (MLD 4.0.1, Nvidia, Atom)
    Client "Schlafzimmer": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Kinderzimmer": Asus EeeBox EB1012P-B0550 (yaVDR 0.5, Nvidia, Atom)
    Client "Fitness": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Küche": Asus EeeBox B202 (Lubuntu+VLC)
    Client "Büro" (Lubuntu)
    Client "Terrasse": NSLU2 (Debian, MPD)

    Einmal editiert, zuletzt von Tiroler ()

    Hallo Tiroler,


    Zitat

    Original von Tiroler
    Der Befehl sollte wie folgt lauten, oder?
    smartctl ata --test=long /dev/sda /dev/sdb /dev/sdc


    Ich weis nicht ob das so geht. Smartctl startet den Test auf der Platte nur und ist sofort wieder beendet. Also einfach den Befehl 3x mit a,b und c starten.


    Hardy

    Suche: 6 Richtige für die nächste Lottoziehung
    PS: Wer Rechtschreibfehler findet, darf sie behalten!

    Alles klar - vielen Dank! Ich berichte dann morgen wieder...

    Server: 19" Rack - yaVDR 0.5, 4x DVB-S2
    Server (Reserve): 19" Rack Server - Ubuntu 10.04 + yaVDR Repo (COMPUCASE 4HE, GIGABYTE 770TA-UD3, SNT-BA3151-1 Backplane, Athlon II X2 245e, 4 GB, 2x WD Caviar Green 2TB, 3x TT-budget S2-1600)
    Client "Wohnzimmer": Zotac ZBOX (MLD 4.0.1, Nvidia, Atom)
    Client "Schlafzimmer": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Kinderzimmer": Asus EeeBox EB1012P-B0550 (yaVDR 0.5, Nvidia, Atom)
    Client "Fitness": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Küche": Asus EeeBox B202 (Lubuntu+VLC)
    Client "Büro" (Lubuntu)
    Client "Terrasse": NSLU2 (Debian, MPD)

    Danke, mein Fehler...
    Auszug aus man:

    Server: 19" Rack - yaVDR 0.5, 4x DVB-S2
    Server (Reserve): 19" Rack Server - Ubuntu 10.04 + yaVDR Repo (COMPUCASE 4HE, GIGABYTE 770TA-UD3, SNT-BA3151-1 Backplane, Athlon II X2 245e, 4 GB, 2x WD Caviar Green 2TB, 3x TT-budget S2-1600)
    Client "Wohnzimmer": Zotac ZBOX (MLD 4.0.1, Nvidia, Atom)
    Client "Schlafzimmer": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Kinderzimmer": Asus EeeBox EB1012P-B0550 (yaVDR 0.5, Nvidia, Atom)
    Client "Fitness": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Küche": Asus EeeBox B202 (Lubuntu+VLC)
    Client "Büro" (Lubuntu)
    Client "Terrasse": NSLU2 (Debian, MPD)

    afaik gibts ja mehr als nur den long test.
    Probiers doch einfach mit nem short test, der dauert nur ein paar Minuten, dann musst du zum testen obs denn funktioniert nicht gleich mehrere Stunden warten.

    Server: Athlon II X2 250 - Asus M3N-H HDMI - 2x1GB RAM - 3TB HDDs -
    1 x Digital Devices Cine S2 V6 DVB-S2 (SD Sender im Highband funktionieren mit der Karte nach wie vor unter Linux nicht, unter Windows schon)
    3 x Nova Budget (die ich eigentlich durch die Cine S2 mit Erweiterungsmodul ersetzen wollte, leider aber für die SD Sender immer noch brauche)
    mit yavdr 0.4.0

    So, hier die Ausgaben - es scheint so, dass Ihr Recht hattet und die Platten tatsächlich einen Schaden haben:


    /dev/sda -> Completed without error
    /dev/sdb -> Completed: read failure
    /dev/sdc -> Completed: read failure









    Mein Fehler war wohl, dass ich mit der Start CD nur den Schnelltest probiert habe - jedenfalls werde ich die Platten ersetzen müssen, oder wie seht ihr das?


    Da die Platten 3 Jahre Garantie haben, wäre es ja nicht das Problem. Muss mir halt eine neue Platte kaufen, die dann gegen sdb tauschen... die dann einschicken und die neue Platte wieder gegen sdc tauschen und wieder einschicken.... :tdw


    Kann man als Fehlerursache "Smart-Test nicht bestanden" anführen?


    Besten Dank für eure Mühen!!!

    Server: 19" Rack - yaVDR 0.5, 4x DVB-S2
    Server (Reserve): 19" Rack Server - Ubuntu 10.04 + yaVDR Repo (COMPUCASE 4HE, GIGABYTE 770TA-UD3, SNT-BA3151-1 Backplane, Athlon II X2 245e, 4 GB, 2x WD Caviar Green 2TB, 3x TT-budget S2-1600)
    Client "Wohnzimmer": Zotac ZBOX (MLD 4.0.1, Nvidia, Atom)
    Client "Schlafzimmer": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Kinderzimmer": Asus EeeBox EB1012P-B0550 (yaVDR 0.5, Nvidia, Atom)
    Client "Fitness": Zotac ZBOX (MLD 3.0.3, Nvidia, Atom)
    Client "Küche": Asus EeeBox B202 (Lubuntu+VLC)
    Client "Büro" (Lubuntu)
    Client "Terrasse": NSLU2 (Debian, MPD)

    Wahrscheinlich "darfst" du die Platten vor RMA auch noch mal mit dem Tool des Festplattenherstellers testen. Da kommt man aber auch schonmal drum rum wenn man versichert, "ich habe garkein Windows und kein Diskettenlaufwerk". Außerdem sollte ein Hersteller, dem man glaubhaft versichern kann, dass der in seine Platte eingebaute smart Selbsttest einen Fehler ausspuckt, das auch als Reklamationsgrund anerkennen - wenn nicht würd ich den Hersteller wechseln - nur sind eh schon kaum noch kaufbare Marken da ;)

    Server: Athlon II X2 250 - Asus M3N-H HDMI - 2x1GB RAM - 3TB HDDs -
    1 x Digital Devices Cine S2 V6 DVB-S2 (SD Sender im Highband funktionieren mit der Karte nach wie vor unter Linux nicht, unter Windows schon)
    3 x Nova Budget (die ich eigentlich durch die Cine S2 mit Erweiterungsmodul ersetzen wollte, leider aber für die SD Sender immer noch brauche)
    mit yavdr 0.4.0

Jetzt mitmachen!

Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!

Benutzerkonto erstellen Anmelden