Bei RAID5 unter yaVDR trotz neuen HDs 2 von 3 degradet - wie kann ich die Daten Retten?

zahu · February 24, 2011 at 9:59 PM

Hallo Linuxspezialisten

Etwas seit einem Monat lief mein neu installerter yaVDR0.3.0a mit dem RAID5 3x2TB WD20EARS einwandfrei. (Mountpoint=/srv/vdr/) Darauf befand sich das Verzeichnis video.00 und andere wichtige Daten, die ich da abgelegt habe.

Am Mittwoch hat eines der Kids den VDR abgewürgt.
Nach dem reboot habe ich nachfolgende Benachrichtigungen bekommen:

Mi 23.02.2011 17:11
This is an automatically generated mail message from mdadm
running on yaVDR030aR5

A Fail event had been detected on md device /dev/md0.

It could be related to component device /dev/sdd1.

Faithfully yours, etc.

P.S. The /proc/mdstat file currently contains the following:

Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sdb1[0] sdd1[2](F) sdc1[1]
3907026816 blocks level 5, 64k chunk, algorithm 2 [3/2] [UU_]

unused devices: <none>

-------- 4 Min später dann diese Benachrichtigung --------

Mi 23.02.2011 17:15
^This is an automatically generated mail message from mdadm
running on yaVDR030aR5

A Fail event had been detected on md device /dev/md0.

It could be related to component device /dev/sdb1.

Faithfully yours, etc.

P.S. The /proc/mdstat file currently contains the following:

Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sdb1[3](F) sdd1[4](F) sdc1[1]
3907026816 blocks level 5, 64k chunk, algorithm 2 [3/1] [_U_]

unused devices: <none>

-------- Daraufhin habe ich mir auf dem Heimweg gleich zwei neue identische HDs gekauft. Am Abend mit Putty konnte ich dann etwas detaillierter schauen ---------

Linux yaVDR030aR5 2.6.32-28-generic #55-Ubuntu SMP Mon Jan 10 21:21:01 UTC 2011 i686 GNU/Linux
Ubuntu 10.04.2 LTS
Welcome to Ubuntu!
* Documentation: https://help.ubuntu.com/
You have new mail.
Last login: Tue Feb 22 22:58:00 2011 from hp-6100.lan.loc
root@yaVDR030aR5:~# hdparm -i -v /dev/md0
/dev/md0:
HDIO_DRIVE_CMD(identify) failed: Invalid argument
readonly = 0 (off)
readahead = 512 (on)
geometry = 976756704/2/4, sectors = 7814053632, start = 0
HDIO_GET_IDENTITY failed: Invalid argument
root@yaVDR030aR5:~# hdparm -i -v /dev/md1
/dev/md1: No such file or directory
root@yaVDR030aR5:~# hdparm -i -v /dev/sdb1
/dev/sdb1:
HDIO_DRIVE_CMD(identify) failed: Invalid exchange
IO_support = 1 (32-bit)
readonly = 0 (off)
readahead = 256 (on)
geometry = 243201/255/63, sectors = 3907026944, start = 2048
HDIO_GET_IDENTITY failed: No message of desired type
root@yaVDR030aR5:~# hdparm -i -v /dev/sdc1
/dev/sdc1:
multcount = 0 (off)
IO_support = 1 (32-bit)
readonly = 0 (off)
readahead = 256 (on)
geometry = 243201/255/63, sectors = 3907026944, start = 2048
Model=WDC, FwRev=51.0AB51, SerialNo=WD-WMAZA2719344
Config={ HardSect NotMFM HdSw>15uSec SpinMotCtl Fixed DTR>5Mbs FmtGapReq }
RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=50
BuffType=unknown, BuffSize=0kB, MaxMultSect=16, MultSect=off
CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=3907029168
IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
PIO modes: pio0 pio3 pio4
DMA modes: mdma0 mdma1 mdma2
UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
AdvancedPM=no WriteCache=enabled
Drive conforms to: Unspecified: ATA/ATAPI-1,2,3,4,5,6,7
* signifies the current active mode
root@yaVDR030aR5:~# hdparm -i -v /dev/sda1
/dev/sda1:
multcount = 1 (on)
IO_support = 1 (32-bit)
readonly = 0 (off)
readahead = 256 (on)
geometry = 3892/255/63, sectors = 29294592, start = 2048
Model=Corsair, FwRev=1.0, SerialNo=9014SW86ZF8391YFO690
Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs RotSpdTol>.5% }
RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=12288
BuffType=unknown, BuffSize=32767kB, MaxMultSect=1, MultSect=1
CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=62533296
IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
PIO modes: pio0 pio1 pio2 pio3 pio4
DMA modes: mdma0 mdma1 mdma2
UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
AdvancedPM=no WriteCache=enabled
Drive conforms to: Unspecified: ATA/ATAPI-5,6,7
* signifies the current active mode
root@yaVDR030aR5:~# hdparm -i -v /dev/sdb1
/dev/sdb1:
HDIO_DRIVE_CMD(identify) failed: Invalid exchange
IO_support = 1 (32-bit)
readonly = 0 (off)
readahead = 256 (on)
geometry = 243201/255/63, sectors = 3907026944, start = 2048
HDIO_GET_IDENTITY failed: No message of desired type
root@yaVDR030aR5:~#

------------ Da dachte ich mir, dass ich schnell handeln sollte ----------

Heute habe ich in den Foren nach Lunux RAID5 gegoogelt, wie ich einen Check machen könnte. Angefangen habe ich mal mit folgenden Befehlen:

Linux yaVDR030aR5 2.6.32-28-generic #55-Ubuntu SMP Mon Jan 10 21:21:01 UTC 2011 i686 GNU/Linux
Ubuntu 10.04.2 LTS

Welcome to Ubuntu!
* Documentation: https://help.ubuntu.com/
You have new mail.
Last login: Thu Feb 24 18:31:28 2011 from 192.168.4.156
root@yaVDR030aR5:~# mdadm -D /dev/md0
/dev/md0:
Version : 00.90
Creation Time : Thu Jan 27 23:15:57 2011
Raid Level : raid5
Array Size : 3907026816 (3726.03 GiB 4000.80 GB)
Used Dev Size : 1953513408 (1863.02 GiB 2000.40 GB)
Raid Devices : 3
Total Devices : 3
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Thu Feb 24 18:56:39 2011
State : clean, degraded
Active Devices : 1
Working Devices : 1
Failed Devices : 2
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

UUID : 471b18be:57b4794c:d67b51f7:8a41aa85
Events : 0.278

Number Major Minor RaidDevice State
0 0 0 0 removed
1 8 33 1 active sync /dev/sdc1
2 0 0 2 removed

3 8 17 - faulty spare /dev/sdb1
4 8 49 - faulty spare /dev/sdd1
root@yaVDR030aR5:~# mdadm -E /dev/sda1
mdadm: No md superblock detected on /dev/sda1.
root@yaVDR030aR5:~# mdadm -E /dev/sdb1
mdadm: No md superblock detected on /dev/sdb1.
root@yaVDR030aR5:~# mdadm -E /dev/sdc1
/dev/sdc1:
Magic : a92b4efc
Version : 00.90.00
UUID : 471b18be:57b4794c:d67b51f7:8a41aa85
Creation Time : Thu Jan 27 23:15:57 2011
Raid Level : raid5
Used Dev Size : 1953513408 (1863.02 GiB 2000.40 GB)
Array Size : 3907026816 (3726.03 GiB 4000.80 GB)
Raid Devices : 3
Total Devices : 3
Preferred Minor : 0

Update Time : Thu Feb 24 19:07:15 2011
State : clean
Active Devices : 1
Working Devices : 1
Failed Devices : 1
Spare Devices : 0
Checksum : b7d1ada9 - correct
Events : 280

Layout : left-symmetric
Chunk Size : 64K

Number Major Minor RaidDevice State
this 1 8 33 1 active sync /dev/sdc1

0 0 0 0 0 removed
1 1 8 33 1 active sync /dev/sdc1
2 2 0 0 2 faulty removed
root@yaVDR030aR5:~# mdadm -E /dev/sde1
mdadm: cannot open /dev/sde1: No such file or directory
root@yaVDR030aR5:~#

--------------------------------------------------------------

Danach versuchte ich den VDR neu zu booten, um zu sehen, ob sich die Platten wieder normal ins RAID integrieren.
Natürlich ist der VDR nicht mehr hochgekommen, da ja sein video.00 auf dem RAID5 liegt.
Also habe ich den VDR abgestellt und die Platten alle ausgezogen und meine alte yaVDR0.2.0 - Platte eingebaut, dass man wenigstens noch fern sehen kann.

Nun meine Frage:
Was für Möglichkeiten gibt es, um an die Daten, welche auf den 3 Platten verstreut sind ran zu kommen. Die Platten sind ziemlich sicher noch io. sie werden auch im BIOS beim Booten schön aufgelistet.
Ich bin auch bereit eine spezielle Software zu kaufen, mit der man die Daten weiderherstellen könnte.
Ich getraue mich nicht die Platten an einem anderm Board anzustecken und etwas zu üben. - Wenn dann mache ich es wieder auf der gleichen Hardware. (Das System ist übrigens auf einer separaten 2.5" Platte.)

Welcher Linuxpspezialist kann mir einen guten Rat geben??

Danke für alle Tipps zum voraus!!

Gruss zahu

Dirk · February 25, 2011 at 12:27 AM

Hoi

nur um sicher zu sein, sda und sdb warn auch die beiden anderen 2TB Platten?

Du schreibst ja, das das system auf einer 2,5" Platte ist und die sollte ja auch als sd? vorhanden sein.

ganz am anfang bekommste ja auch die nachricht:

Quote

md0 : active raid5 sdb1[0] sdd1[2](F) sdc1[1]

später versuchst du aber sda, sdb und sdc als raid zu verbinden

Versuch doch mal dir 3 udev regeln zu erstellen, so das die 3 Platten eindeutig werden oder nutz UUIDs ( /dev/disk/by-uuid/ ) falls die welche haben.

Ob die Platten ein Problem haben, findest du im übrigen nicht unbedingt mit hdparm raus. Dafür solltest du lieber smartctl benutzen

# auslesen
smartctl -a /dev/sda

# kurztest (paar minuten)
smartctl -t short /dev/sda

# ausführlicher test (bei 2TB >3h)
smartctl -t long /dev/sda

tefans · February 25, 2011 at 1:09 AM

Das hatten wir schon:

http://vdr-portal.de/board/thread.php?threadid=103946
http://vdr-portal.de/board/thread.php?threadid=99830

hdparm kann man nur auf Festplatten loslassen -- nicht auf Partitionen oder MD-Devices.

Ich bin gerade dabei wieder vom RAID auf eine einzelne Platte um zu ziehen.

cu, Stefan

zahu · February 25, 2011 at 8:36 AM

Besten Dank für eure Antworten!
Ich werde die Platten heute Abend wieder einbauen und kann dann weitere Details ausfindig machen.
Werde dann alles wieder posten ;-).

pc-medusa · February 25, 2011 at 1:14 PM

Hallo,

Normalerweise sind bei einem Raid5 mit 1 defekten Platte die Daten noch da und lesbar.

Bei Yavdr (und Ubuntu) wird aber (glaube ich) ein heruntergestuftes Raid nicht eingebunden bzw das System nicht gestartet.

Damit das System wieder startet (ohne Raid) kann man das Raid5 aus der /etc/fstab auskommentieren. Eventuell mit einer liveCD starten.

nach dem start kann man möglicherweise das Raid manuell mounten.

(mount /dev/md0 /srv/vdr)

vorher nochmal http://wiki.ubuntuusers.de/software-raid lesen.

Hatte mal einen Wackelkontakt an der Stromversorgung einer Raidplatte -- so konnte ich die wiederherstellung eines Raids --mehrfach-- testen. Hat immer ohne Datenverlust geklappt.

pc-medusa

Torsten73 · February 25, 2011 at 2:34 PM

Ich habe zwar keine Erfahrungen mit Linux Raids, aber wenn bei einem Raid 5 bestehend aus 3 Platten 2 defekt gehen, kannst Du die Daten nicht mehr wiederherstellen. Bei einem Raid 5 darf immer nur eine Platte ausfallen, und das ist egal ob das ein SoftRaid oder HardRaid mit Controller ist. Ausnahme bildet hier die HotSpare Platte, aber auch hier darf während des Rebuilds nichts passieren. Und dummerweise hat man meistens Platten aus der gleichen Charge und Alters, so dass während des stressigen Rebuilds gerne die nächste mal fliegen gehen kann.

Ein Raid egal welcher Art ersetzt niemals die Datensicherung!

Dirk · February 25, 2011 at 3:16 PM

ich denk trotzdem, das gestern bei im der denkteufel aktiv war.

abwarten und tee trinken erstmal, bis er die platten wieder drin hat

Torsten73 · February 25, 2011 at 6:24 PM

nur wenn er direkt 2 platten tauscht, hat er sowieso verloren!

Er muß erstmal feststellen welche Platte aus dem Raid rausgeflogen ist und diese tauschen. Dann den Rebuild abwarten. Bzw die 4. Platte würde ich direkt als Hotspare einbauen, wenn wirklich nur eine Platte defekt ist.

Ich stehe da eher auf die "echten" XOR Raidcontroller. Da gibt es kein Rätselraten was Sache ist, und einmal aus-versehen die falsche Platte abgenabelt und schon kann man u.U. die Sicherung zurück spielen. Ein Software Raid ist immer nur eine halbe Sache, genauso wie die Onboard SoftRaids.

Viel Glück und lerne was daraus

Piet · February 25, 2011 at 6:31 PM

Zum Thema HW- gegen SW-RAID:

ich habe auch schon vor einem (Marken-)Server gestanden, wo der (Marken-)HW-RAID-Controller der Meinung war, er müsste mal eben alle Platten schmeissen, statt nur der defekten

Auch die HW-Controller sind nur so gut, wie ihre Firmware.

Ciao

Piet

Tiroler · February 25, 2011 at 9:07 PM

zahu:
Das Problem hatte ich auch schon öfters...
Die "force" Option half mir immer gut aus der Misere...
mdadm --assemble /dev/mdX /dev/sdaX /dev/sdbX --force

siehe: http://wiki.ubuntuusers.de/software-raid

(mittlerweile bin ich auf Software RAID1 umgestiegen... hat bis dato noch nie seinen Dienst versagt)

zahu · February 25, 2011 at 11:12 PM

So, nun habe ich den VDR hardwaremässig wieder in seiner Ursprungskonstellation. Das Problem ist nun, dass er so nicht so weit hoch fährt, dass ich mit Putty drauf komme, (pingen geht) da ihm ja das Video.00 fehlt. Wie kann ich den Eintrag für das RAID aus der fstab auskommentieren, damit ich wenigstens das Betriebssystem hoch bekomme? Geht das nur mit einer Live Knoppix-CD?

gda · February 25, 2011 at 11:19 PM

Quote

Original von zahu
Geht das nur mit einer Live Knoppix-CD?

Nö, mit der yaVDR-Installations-CD geht das auch.

Gerald

zahu · February 25, 2011 at 11:39 PM

Ich bin jetzt mit der yaVDR-CD im Rettungsmodus beim Rechnernamen angelangt. Bin ich auf dem richtigen Weg?
Ich möchte einfach nichts falsch machen. Ich dachte, das ich irgendwie zu einem Terminal kommen muss. Wie soll ich denn am besten weiter fahren?
Sorry, für die banalen Fragen.

Jari

HFlor · February 26, 2011 at 12:17 AM

Hallo Jari,

sind den Deine alten Platten defekt?

mit mdadm -E /dev/.. siehst Du erstmal welche Platte als erstes ausgefallen ist (die ignorierst Du einfach).

Wenn Du sicher bist, daß sie defekt sind, so ist es noch eine Variante mit dd_rescue die Platte(n) zu kopieren versuchen (geht auch rückwärts).

Wenn Du nicht sicher bist lass einfach mal über Nacht smartctl -t long /dev/... laufen.

Wenn dann noch Fehler da sind läst sich die entsprechende Position mit etwas Rechnerei ermitteln.

Hardy

zahu · February 26, 2011 at 12:37 AM

Im Moment kämpfe ich damit, das System hoch zu bekommen und brenne mir gerade eine Knoppix6.4.3-Cd. Damit will ich dann das RAID aus der /etc/fstab raus nehmen, damit der Rechner überhaupt richtig hochfährt.
Falls es einfacher geht, bin ich für jede Art von Anleitung dankbar.

Dirk · February 26, 2011 at 1:08 AM

Hoi

ich würde über Nacht erstmal mit knoppix den smartcheck machen

per "fdisk -l" rausfinden, welche platten die 2TB sind und dann einfach mal für alle 3 nen smartcheck anwerfen(kann gleichzeitig passieren, da die platten das selbst machen) und schlafen gehen

wenn du dann aufstehst, sollten die checks schon lange fertig sein und dir hoffentlich 3 fehlerfreie Platten melden

ich für meinen teil würden dann (wenn dem so ist), dem ubuntu-wiki folgen (da knoppix wie ubuntu auch auf debian basiert sollte es gehen) und das Raid mal versuchen unter knoppix einzubinden.
(Vorsicht, mit RAID habe ich selbst bisher auch nur wenig Erfahrung und ich würde Ubuntu nehmen, da ich die CDs eh da habe!)

zahu · February 26, 2011 at 1:17 AM

Danke für den Tipp!
Mit Knoppix konnte ich den Rechner nicht booten - habe dann zu den 3 2TBs meine alte HD mit yaVDR0.3.0a eingebaut, wo nichts gemountet wird. So läuft er wenigstens auf der Single-Disk.
Nun versuche ich die anderen 3 2TBs zu checken über Nacht.
Aber auf dieser Systemdisk war nie ein RAID erstellt und eingebunden worden.
Falls Die Platten io. sind, kann ich auf der originalen kleinen 2.52-Disk das System neu installieren und nachträglich die 2 2TBs als RAID hinzukonfigurieren?

Dirk · February 26, 2011 at 1:53 AM

glaube nicht, das du deshalb das system neu machen mußt. und das einbinden sollte auch mit dieser systemdisk gehen (mdadm nachinstalliern falls nötig)

sobald das raid wieder läuft, sollte auch dein vdr auch wieder normal hochfahren.

wenn du die normale systemplatte einhängst, kannst du deine fstab auch editieren um das raid rauszunehmen, um es später wieder einzuhängen.

wenn das system wieder läuft, würde ich halt zusehen, das die platten per udev-regel eindeutige namen bekommen (gibt genug howtos dafür). oder sie über "/dev/disk/by-id/" / "/dev/disk/by-uuid/" zu nutzen.

halbfertiger · February 26, 2011 at 9:19 AM

Unabhängig vom Ergebnis - man sollte auch bedenken dass sich manche Platten einfach nicht für RAID eignen und manche auch nicht für Linux. Deine WD20EARS würde ich weder in ein RAID stecken, noch sie ohne besondere Vorkehrungen unter linux verwenden (Stichwort: schnelles Erreichen der maximalen Load-Cycles).

Meine WD20EARS sitzt jedenfalls nur im externen USB-Gehäuse, welches nur zeitweilig für Backup angeschlossen wird.

Dirk · February 26, 2011 at 9:52 AM

hmm jetzt wo du das sagts, da war was ...

aber das kann man mit verändertem Powermanagment entschärfen, dann isse nur nicht mehr ganz so green

da findet man bestimmt im netz auch raid-taugliche einstellungen

Bei RAID5 unter yaVDR trotz neuen HDs 2 von 3 degradet - wie kann ich die Daten Retten?

Participate now!

Users Viewing This Thread