mdadm Problem

[nr8]

Hallo Leute.

Ich habe gerade ein Problem mit meinem Raid5.
Ich habe ein /dev/md2 Device das ein Raid5 ist aus 4 Platten.

Der letzte Stand den ich gesehen habe war das er mir sagt das es 3 Working Devices gibt, 2 Activ, 1 Space und 1 Failed.

Jetzt wollte ich es wieder zum laufen bekommen jedoch ohne erfolg.

Hier mal ein paar Infos:

mdadm -D /dev/md2
mdadm: md device /dev/md2 does not appear to be active.


mdadm --examine /dev/sdc1
/dev/sdc1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : b422ba01:ec53da35:375ea4c6:32547f0f
Name : Bender:2
Creation Time : Thu Mar 10 19:32:14 2011
Raid Level : -unknown-
Raid Devices : 0

Avail Dev Size : 3907027037 (1863.02 GiB 2000.40 GB)
Used Dev Size : 3907025920 (1863.02 GiB 2000.40 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : active
Device UUID : eb7be722:97e98334:4ce1f239:3d8384ad

Update Time : Mon Feb 18 08:12:52 2013
Checksum : fbfdca48 - correct
Events : 1


Device Role : spare
Array State : ('A' == active, '.' == missing)


mdadm --examine /dev/sdd1
/dev/sdd1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : b422ba01:ec53da35:375ea4c6:32547f0f
Name : Bender:2
Creation Time : Thu Mar 10 19:32:14 2011
Raid Level : -unknown-
Raid Devices : 0

Avail Dev Size : 3907025920 (1863.02 GiB 2000.40 GB)
Data Offset : 1024 sectors
Super Offset : 8 sectors
State : active
Device UUID : 9e422ec8:2c16eeeb:55dad7e9:a1311f15

Update Time : Mon Feb 18 08:12:52 2013
Checksum : 702e5ca6 - correct
Events : 1


Device Role : spare
Array State : ('A' == active, '.' == missing)


mdadm --examine /dev/sde1
/dev/sde1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : b422ba01:ec53da35:375ea4c6:32547f0f
Name : Bender:2
Creation Time : Thu Mar 10 19:32:14 2011
Raid Level : -unknown-
Raid Devices : 0

Avail Dev Size : 3907027037 (1863.02 GiB 2000.40 GB)
Used Dev Size : 3907025920 (1863.02 GiB 2000.40 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : active
Device UUID : 4daad77f:9ab1aff7:cba7fc21:0a8bd6bc

Update Time : Mon Feb 18 08:12:52 2013
Checksum : 13758f00 - correct
Events : 1


Device Role : spare
Array State : ('A' == active, '.' == missing)


mdadm --examine /dev/sdf1
/dev/sdf1:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x0
Array UUID : b422ba01:ec53da35:375ea4c6:32547f0f
Name : Bender:2
Creation Time : Thu Mar 10 19:32:14 2011
Raid Level : -unknown-
Raid Devices : 0

Avail Dev Size : 3907027037 (1863.02 GiB 2000.40 GB)
Used Dev Size : 3907025920 (1863.02 GiB 2000.40 GB)
Data Offset : 2048 sectors
Super Offset : 8 sectors
State : active
Device UUID : 3adfe53c:ce7ab077:e506710d:225c7d71

Update Time : Mon Feb 18 08:12:52 2013
Checksum : f09fbd4f - correct
Events : 1


Device Role : spare
Array State : ('A' == active, '.' == missing)

Wenn ich versuche es wieder zu re-assemblen bekomme ich dies:

mdadm --assemble /dev/md0 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1
mdadm: /dev/sdc1 is busy - skipping
mdadm: /dev/sdd1 is busy - skipping
mdadm: /dev/sde1 is busy - skipping
mdadm: /dev/sdf1 is busy - skipping

Hat jemand eine Ahnung wie ich das ganze wieder zum laufen bekomme?
Möchte meine Daten natürlich nicht verlieren.
Danke.

[corresponder]

cat /proc/mdstat

bitte

gruss

c.

[nr8]

Hier die mdstats:

cat /proc/mdstat
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10]
md2 : inactive sdc1[0](S) sdd1[4](S) sde1[5](S) sdf1[3](S)
7814053515 blocks super 1.2

md1 : active raid1 sdb6[2] sda6[0]
471735160 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sdb5[2] sda5[0]
14646200 blocks super 1.2 [2/2] [UU]

unused devices: <none>

[corresponder]

/dev/md2 inactive...
was sagt

fdisk -l

?

gruss

c.

[nr8]

Hier mein fdisk jedoch sind die Platten sda und sdb in einem anderen Raid.
Diese muss man also nicht beachten


fdisk -l

Disk /dev/sda: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders, total 976773168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00054e7f

Device Boot Start End Blocks Id System
/dev/sda1 2048 3999743 1998848 82 Linux swap / Solaris
/dev/sda2 4001790 976771071 486384641 5 Extended
/dev/sda5 4001792 33296383 14647296 fd Linux raid autodetect
/dev/sda6 33298432 976771071 471736320 fd Linux raid autodetect

Disk /dev/sdb: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders, total 976773168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00054e7f

Device Boot Start End Blocks Id System
/dev/sdb1 * 2048 3999743 1998848 82 Linux swap / Solaris
/dev/sdb2 4001790 976771071 486384641 5 Extended
/dev/sdb5 4001792 33296383 14647296 fd Linux raid autodetect
/dev/sdb6 33298432 976771071 471736320 fd Linux raid autodetect

Disk /dev/md0: 15.0 GB, 14997708800 bytes
2 heads, 4 sectors/track, 3661550 cylinders, total 29292400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/md0 doesn't contain a valid partition table

Disk /dev/md1: 483.1 GB, 483056803840 bytes
2 heads, 4 sectors/track, 117933790 cylinders, total 943470320 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/md1 doesn't contain a valid partition table

WARNING: GPT (GUID Partition Table) detected on '/dev/sdc'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sdc: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sdc1 1 3907029167 1953514583+ ee GPT

WARNING: GPT (GUID Partition Table) detected on '/dev/sdd'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sdd: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sdd1 1 3907029167 1953514583+ ee GPT

WARNING: GPT (GUID Partition Table) detected on '/dev/sde'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sde: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sde1 1 3907029167 1953514583+ ee GPT

WARNING: GPT (GUID Partition Table) detected on '/dev/sdf'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sdf: 2000.4 GB, 2000398934016 bytes
255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Device Boot Start End Blocks Id System
/dev/sdf1 1 3907029167 1953514583+ ee GPT

[corresponder]

sieht doch gut aus....
bis auf

RaidLevel: unknown....

keine ahnung, muesste ich ne shell haben,
um da zu gucken.
die üblichen mdadm schritte oder die krake fragen.

gruss

c.

[nr8]

Naja mit einem --assemble bin ich nicht weiter gekommen.
Was würdest du empfehlen?
Danke.

[corresponder]

man mdadm

z.b.

mdadm -A

-A, --assemble
Assemble a pre-existing array.



gruss

c.

[nr8]

Das hätte ich versucht jedoch ohne Erfolg:


mdadm /dev/md2 --assemble -u b422ba01:ec53da35:375ea4c6:32547f0f
Hier bekam ich keinen Fehler jedoch hier weitere Infos:


mdadm -D /dev/md2
mdadm: md device /dev/md2 does not appear to be active.


cat /proc/mdstat
Personalities : [raid1] [linear] [multipath] [raid0] [raid6] [raid5] [raid4] [raid10]
md2 : inactive sdc1[0](S) sdd1[4](S) sde1[5](S) sdf1[3](S)
7814053515 blocks super 1.2

md1 : active raid1 sdb6[2] sda6[0]
471735160 blocks super 1.2 [2/2] [UU]

md0 : active raid1 sdb5[2] sda5[0]
14646200 blocks super 1.2 [2/2] [UU]

unused devices: <none>

[corresponder]

mir fällt grad nicht ein, wie du ein md auf active stellst....

do: http://superuser.com/questions/117824/how-to-get-an-inactive-raid-device-working-again

gruss

c.

[nr8]

Normal genau so :)
Das komisch ist ja das ich keine Fehlermeldung bekomme und auch nichts im Syslog sehe...

[nr8]

Jetzt habe ich mal ein wenig mehr Info bekommen:


mdadm -A /dev/md2
mdadm: /dev/md2 assembled from 0 drives and 4 spares - not enough to start the array.

Wie bringe ich die Platten jetzt wieder als "Active" hin ohne das ich meine Daten verliere?

Danke

[quinte17]

mh es ist allgemein etwas mutig ohne backup..
aber es könnte sein dass ein


mdadm -A --force /dev/md2

das ding aktiv macht... ein backup vorher wäre noch zu empfehlen...

[nr8]

Backup kann ich leider keines mehr machen und aktiv ist es ja schon.
Siehe Meldung von meinem vorigen Post.

Hier meine nächsten Versuche:

mdadm --assemble --force /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1
mdadm: device /dev/sdc1 exists but is not an md array.


mdadm /dev/md2 --add /dev/sdc1
mdadm: cannot get array info for /dev/md2

Jemand eine Idee?

[quinte17]

du könntest noch bei der linux-raid mailingliste nachfragen. die sind immer sehr nett und hilfsbereit und wissen vor allem mehr..

[corresponder]

die krake hat ja die antworten.
muss mensch halt lesen und gucken, was die mdadm.conf macht z.b.

gruss

c.

[nr8]

-v hat ein paar Infos mehr ausgegeben.


mdadm -A -v /dev/md2
mdadm: looking for devices for /dev/md2
mdadm: no RAID superblock on /dev/sdf
mdadm: no RAID superblock on /dev/sde
mdadm: no RAID superblock on /dev/sdd
mdadm: no RAID superblock on /dev/sdc
mdadm: no RAID superblock on /dev/md/1
mdadm: no RAID superblock on /dev/md/0
mdadm: /dev/sdb6 has wrong uuid.
mdadm: /dev/sdb5 has wrong uuid.
mdadm: no RAID superblock on /dev/sdb2
mdadm: no RAID superblock on /dev/sdb1
mdadm: no RAID superblock on /dev/sdb
mdadm: /dev/sda6 has wrong uuid.
mdadm: /dev/sda5 has wrong uuid.
mdadm: no RAID superblock on /dev/sda2
mdadm: no RAID superblock on /dev/sda1
mdadm: no RAID superblock on /dev/sda
mdadm: /dev/sdf1 is identified as a member of /dev/md2, slot -1.
mdadm: /dev/sde1 is identified as a member of /dev/md2, slot -1.
mdadm: /dev/sdd1 is identified as a member of /dev/md2, slot -1.
mdadm: /dev/sdc1 is identified as a member of /dev/md2, slot -1.
mdadm: added /dev/sde1 to /dev/md2 as -1
mdadm: added /dev/sdd1 to /dev/md2 as -1
mdadm: added /dev/sdc1 to /dev/md2 as -1
mdadm: added /dev/sdf1 to /dev/md2 as -1
mdadm: /dev/md2 assembled from 0 drives and 4 spares - not enough to start the array.

Der Superblock auf allen Platten dürfte hier defekt sein.

[nr8]

Eine Idee ist nur noch gekommen jedoch bin ich mir nicht sicher ob ich so meine Daten komplett verlieren oder nicht:


mdadm --create /dev/md2 -v -f -l 5 -n 4 /dev/sdc1 /dev/sdd1 /dev/sde1 /dev/sdf1
mdadm: layout defaults to left-symmetric
mdadm: layout defaults to left-symmetric
mdadm: chunk size defaults to 512K
mdadm: /dev/sdc1 appears to be part of a raid array:
level=-unknown- devices=0 ctime=Thu Mar 10 19:32:14 2011
mdadm: /dev/sdd1 appears to be part of a raid array:
level=-unknown- devices=0 ctime=Thu Mar 10 19:32:14 2011
mdadm: /dev/sde1 appears to be part of a raid array:
level=-unknown- devices=0 ctime=Thu Mar 10 19:32:14 2011
mdadm: /dev/sdf1 appears to be part of a raid array:
level=-unknown- devices=0 ctime=Thu Mar 10 19:32:14 2011
mdadm: size set to 1953381888K
Continue creating array?

Wird hier das alte Raid neu aufgebaut der ein neues?
Die Size die mir unten angezeigt wird zeigt mir nicht die komplette sondern die Size einer Disk oder?

Danke.

[quinte17]

also bevor du solch einen befehl absetzt frag bei der linux-raid mailingliste nach.
die können dir sagen was die daten verändert und was nur die header verändert.

[nr8]

Ich hab mein Raid jetzt erfolg wieder herstellen können mit:

mdadm --create /dev/md2 --assume-clean --verbose --level=5 --raid-devices=4 /dev/sdc1 /dev/sdd1 missing /dev/sdf1

Jedoch wäre es ja zu schön wenn jetzt alles funktionieren würde.
Jetzt will die Verschlüsselung nicht mehr :(

/sbin/cryptsetup luksOpen /dev/md2 md2_nas
Device /dev/md2 is not a valid LUKS device.

Hab schon ein bissl gegooglet jedoch ohne großen Erfolg.
Habt jemand eine Idee?

Danke.

[quinte17]

also wenn er luks nicht kennt, dann sitmmt die reihenfolge der daten nicht.. vielleicht andere assemble reihenfolge verwenden? aber wie schon gesagt, besser bei den profis hilfe holen

[nr8]

Hm möglich wäre es.
An die Burschen in der Maillingliste habe ich schon schrieben.
Mal sehn was dabei raus kommt.

Ich denke das ich das Raid vor ca. zwei Jahre auch so zusammen gebaut habe wie heute aber natürlich könnte hier der Fehler liegen.

Falls noch jemand Idee haben sollte dann bitte nur raus damit! :)
Wäre super wenn ich meinen 6Tb Bit-Haufen wieder in echte Daten verwandeln könnt. :ugly:

Danke.