tomekk228
27.07.09, 07:14
Guten Morgen Jungs,
ich habe es mal wieder geschafft. Ich habe es geschafft ein RAID5 nach dem Muster zu erstellen, wie ich es mir vorgestellt habe, und das der RAID5 beim neustart assembliert wird und als /home gemountet wird.
Allerdings, habe ich es auch es geschafft, dieses RAID5 vollkommen zu vernichten bzw "unbrauchbar" zu machen...
Ich werde jetzt nicht um den heißen Brei reden, und auch die "Symptome" des Problems von mir mit dem RAID nicht zu 100% erläutern da es schlicht gut 2 Seiten wegnehmen würde.
Ich habe (bzw will wieder) ein RAID5 nach folgenden Muster erstellt das ich mir ausgedacht habe:
http://www.schaltkreis-blog.de/wp-content/uploads/2009/06/raid.png
Das habe ich beim ersten Mal(!) auch geschafft:
midna:/home/tomekk# cat /proc/mdstat
Personalities : [raid0] [raid6] [raid5] [raid4]
md1 : active raid5 sdc[0] md0[2] sdd[1]
976772992 blocks level 5, 64k chunk, algorithm 2 [3/3] [UUU]
md0 : active raid0 sda1[0] sdb1[1]
488391808 blocks 64k chunks
unused devices:
midna:/home/tomekk#
midna:/home/tomekk# mdadm –detail /dev/md1
mdadm: metadata format 00.90 unknown, ignored.
mdadm: metadata format 00.90 unknown, ignored.
/dev/md1:
Version : 00.90
Creation Time : Fri Jul 24 01:41:54 2009
Raid Level : raid5
Array Size : 976772992 (931.52 GiB 1000.22 GB)
Used Dev Size : 488386496 (465.76 GiB 500.11 GB)
Raid Devices : 3
Total Devices : 3
Preferred Minor : 1
Persistence : Superblock is persistent
Update Time : Sun Jul 26 16:27:27 2009
State : clean
Active Devices : 3
Working Devices : 3
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 64K
UUID : 4d181081:f6d4ddb2:430fa026:6458319f
Events : 0.12410
Number Major Minor RaidDevice State
0 8 32 0 active sync /dev/sdc
1 8 48 1 active sync /dev/sdd
2 9 0 2 active sync /dev/disk/by-id/md-uuid-3c82d111:f97a8d1c:430fa026:6458319f
midna:/home/tomekk#
midna:/home/tomekk# fdisk -l
Disk /dev/hda: 81.9 GB, 81964302336 bytes
255 heads, 63 sectors/track, 9964 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0×000d62d1
Device Boot Start End Blocks Id System
/dev/hda1 1 8510 68356543+ 83 Linux
/dev/hda2 8511 9118 4883760 83 Linux
/dev/hda3 9119 9847 5855692+ 83 Linux
/dev/hda4 9848 9964 939802+ 82 Linux swap / Solaris
Disk /dev/sda: 250.0 GB, 250058268160 bytes
255 heads, 63 sectors/track, 30401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0×00000000
Device Boot Start End Blocks Id System
Disk /dev/sdb: 250.0 GB, 250058268160 bytes
255 heads, 63 sectors/track, 30401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0×00000000
Device Boot Start End Blocks Id System
Disk /dev/sdc: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0×00000000
Disk /dev/sdc doesn’t contain a valid partition table
Disk /dev/sdd: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0×00000000
Disk /dev/sdd doesn’t contain a valid partition table
Disk /dev/md0: 500.1 GB, 500113211392 bytes
2 heads, 4 sectors/track, 122097952 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Disk identifier: 0×00000000
Disk /dev/md0 doesn’t contain a valid partition table
Disk /dev/md1: 1000.2 GB, 1000215543808 bytes
2 heads, 4 sectors/track, 244193248 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Disk identifier: 0×00000000
Disk /dev/md1 doesn’t contain a valid partition table
midna:/home/tomekk#
(http://www.schaltkreis-blog.de/neuer-server-ist-online/)
Wie ihr aber allerdings sieht, hat /dev/sda und /dev/sdb eine Partitionstabelle (waren vorher schonmal im gebrauch).
/dev/sdc und /dev/sdd allerdings nicht, die sind auch neu.
Nun, als alles zusammen gebaut wurde, /dev/sda und /dev/sdb zu einem RAID0:
mdadm --create /dev/md0 --auto=yes --level=0 /dev/sda /dev/sdb
und /dev/sdc, /dev/sdd und dann /dev/md0 zu einem RAID5:
mdadm --create /dev/md1 --auto=yes --level=5 /dev/sdc /dev/sdd /dev/md0
funktionierte auch alles tadellos. Zu guter letzt habe ich
mdadm --detail --scan >> /etc/mdadm/mdadm.conf
ausgeführt, damit die RAID's beim neustart auch assembliert werden, was auch nach einem Neustart funktioniert hat.
Als ich jedoch einfach spaßeshalber, und um das RAID5 zu testen, das RAID5 mit Daten füllte, und dann eine der Platten als "faulty" makiert habe (/dev/md0):
mdadm --fail /dev/md1 /dev/md0
und dann mit
mdadm --remove /dev/md1 /dev/md0
entfernt habe, und somit ein [UU_] im RAID5 bekommen habe, war ich zufrieden das die Daten noch da waren, und wollte die Platte /dev/md0 wieder ins RAID5 einhängen:
mdadm --manage --add /dev/md1 /dev/md0
Nachdem hat er das RAID5 auch wieder hergestellt, bzw die "neue" Platte eingebunden (was gut 1 Stunde dauerte) hat, hatte ich wieder ein CLEAN [UUU] Status und ich wollte einfach mal den Server neustarten, um zu gucken ob auch alles beim Neustart noch funktioniert (halt der Ausfall einer Platte simuliert).
Das tut es anscheinend aber nicht. Denn beim Boot vorgang wird aufeinmal _zuerst_(!) md1 zusammen gebaut, und dann erst md0. Ich brauch es aber genau andersrum. Damit md1 korrekt zusammen gebaut werden kann, muss vorher schon md0 assembliert sein.
Die Reihenfolge in /etc/mdadm/mdadm.conf ist auch korrekt.
Daraus folgt das beim Hochfahren immer das RAID5 nur mit 2 Platten gebaut wird, und als "deprecated" maskiert wird.
Nachdem das System vollständig hochgefahren ist, kann ich mich als Root anmelden, und mit mdadm -a /dev/md1 /dev/md0 nachträglich hinzufügen. Allerdings synchronosiert er das RAID5 immer (was ja auch logisch ist).
Als ich im Internet keine Lösung gefunden habe, wie ich Debian (Stable) beibringe, das er zum verrecken erst /dev/md0 und dann /dev/md1 bauen soll (sprich die Reihenfolge), habe ich einfach das RAID5 mit:
mdadm --zero-superblock /dev/sda
mdadm --zero-superblock /dev/sdb
mdadm --zero-superblock /dev/sdc
mdadm --zero-superblock /dev/sdd
gelöscht, und die Einträge aus mdadm.conf entfernt.
Jedoch, steht nun bei jedem Booten, immer noch auf dem Bildschirm:
Assemble RAID Device md1: No Devices for md1, skipping
Assemble RAID Device md0: No Devices for md0, skipping
(oder so ähnlich, ganz frei gemerkt)
Dies habe ich aber getrost ignoriert, und habe mein RAID5 Plan neu gebaut (erst md0, dann md1). Funktionierte auch. Nur beim Booten baute er die falsch zusammen.
Also habe ich die RAID's wieder gelöscht, incl alle Einträge in Configs die nötig sind und habe es erneut versucht. Nur diesmal habe ich mein RAID5 nicht md1 genannt sondern md0 und mein RAID0 md1 statt md0 (habe natürlich die RAID-Create befehle angepasst). Und es funktionierte beim Hochfahren immer noch nicht! Jetzt nahm er md0 zuerst und dann md1.
Egal was ich probierte, er wollte immer erst das RAID5 starten.
Nach Stunden der Verzweiflung, habe ich sogar mdadm incl _allen_ Configs gelöscht (--purge) und neu installiert. Brachte nichts.
Habe sogar mal das /dev/md0 und /dev/md1 Device gelöscht, brachte ebenso nichts. Die waren nach nem Neustart wieder da.
Ich hatte ja das RAID5 mal zum laufen gebracht, beim besagten ersten mal, incl das beim Boot alles in Ordnung war und er die RAID's korrekt zusammen baute, und vorallem in der richtigen Reihenfolge, doch seitdem ich wie oben ein "Festplattenausfall" simuliert habe, funktioniert nichts mehr wie es soll.
Und das soll ja nicht so sein. Weil das ist ja der Grund weswegen ich ein RAID5 aufbauen will. Damit eine Festplatte ausfallen kann und dann einfach nur gegen eine neue tauschen und hinzufügen muss und alles ist gut, egal wie oft das System neugestartet wird - bis ende der Welt :)
Kann mir da einer bitte helfen oder erklären was mein Fehler ist/war?
Systeminfos:
tomekk@midna:~$ uname -a
Linux midna 2.6.26-2-686 #1 SMP Sun Jun 21 04:57:38 UTC 2009 i686 GNU/Linux
tomekk@midna:~$
| Debian Stable
//Edit: Ich sehe grad wie schrecklich ich alles Formuliert und Erklärt habe, und von der Rechtschreibung fangen wir erst garnicht an, aber ich Sitz im Büro und hatte mein Kaffee noch nicht *gg*
ich habe es mal wieder geschafft. Ich habe es geschafft ein RAID5 nach dem Muster zu erstellen, wie ich es mir vorgestellt habe, und das der RAID5 beim neustart assembliert wird und als /home gemountet wird.
Allerdings, habe ich es auch es geschafft, dieses RAID5 vollkommen zu vernichten bzw "unbrauchbar" zu machen...
Ich werde jetzt nicht um den heißen Brei reden, und auch die "Symptome" des Problems von mir mit dem RAID nicht zu 100% erläutern da es schlicht gut 2 Seiten wegnehmen würde.
Ich habe (bzw will wieder) ein RAID5 nach folgenden Muster erstellt das ich mir ausgedacht habe:
http://www.schaltkreis-blog.de/wp-content/uploads/2009/06/raid.png
Das habe ich beim ersten Mal(!) auch geschafft:
midna:/home/tomekk# cat /proc/mdstat
Personalities : [raid0] [raid6] [raid5] [raid4]
md1 : active raid5 sdc[0] md0[2] sdd[1]
976772992 blocks level 5, 64k chunk, algorithm 2 [3/3] [UUU]
md0 : active raid0 sda1[0] sdb1[1]
488391808 blocks 64k chunks
unused devices:
midna:/home/tomekk#
midna:/home/tomekk# mdadm –detail /dev/md1
mdadm: metadata format 00.90 unknown, ignored.
mdadm: metadata format 00.90 unknown, ignored.
/dev/md1:
Version : 00.90
Creation Time : Fri Jul 24 01:41:54 2009
Raid Level : raid5
Array Size : 976772992 (931.52 GiB 1000.22 GB)
Used Dev Size : 488386496 (465.76 GiB 500.11 GB)
Raid Devices : 3
Total Devices : 3
Preferred Minor : 1
Persistence : Superblock is persistent
Update Time : Sun Jul 26 16:27:27 2009
State : clean
Active Devices : 3
Working Devices : 3
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 64K
UUID : 4d181081:f6d4ddb2:430fa026:6458319f
Events : 0.12410
Number Major Minor RaidDevice State
0 8 32 0 active sync /dev/sdc
1 8 48 1 active sync /dev/sdd
2 9 0 2 active sync /dev/disk/by-id/md-uuid-3c82d111:f97a8d1c:430fa026:6458319f
midna:/home/tomekk#
midna:/home/tomekk# fdisk -l
Disk /dev/hda: 81.9 GB, 81964302336 bytes
255 heads, 63 sectors/track, 9964 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0×000d62d1
Device Boot Start End Blocks Id System
/dev/hda1 1 8510 68356543+ 83 Linux
/dev/hda2 8511 9118 4883760 83 Linux
/dev/hda3 9119 9847 5855692+ 83 Linux
/dev/hda4 9848 9964 939802+ 82 Linux swap / Solaris
Disk /dev/sda: 250.0 GB, 250058268160 bytes
255 heads, 63 sectors/track, 30401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0×00000000
Device Boot Start End Blocks Id System
Disk /dev/sdb: 250.0 GB, 250058268160 bytes
255 heads, 63 sectors/track, 30401 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0×00000000
Device Boot Start End Blocks Id System
Disk /dev/sdc: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0×00000000
Disk /dev/sdc doesn’t contain a valid partition table
Disk /dev/sdd: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0×00000000
Disk /dev/sdd doesn’t contain a valid partition table
Disk /dev/md0: 500.1 GB, 500113211392 bytes
2 heads, 4 sectors/track, 122097952 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Disk identifier: 0×00000000
Disk /dev/md0 doesn’t contain a valid partition table
Disk /dev/md1: 1000.2 GB, 1000215543808 bytes
2 heads, 4 sectors/track, 244193248 cylinders
Units = cylinders of 8 * 512 = 4096 bytes
Disk identifier: 0×00000000
Disk /dev/md1 doesn’t contain a valid partition table
midna:/home/tomekk#
(http://www.schaltkreis-blog.de/neuer-server-ist-online/)
Wie ihr aber allerdings sieht, hat /dev/sda und /dev/sdb eine Partitionstabelle (waren vorher schonmal im gebrauch).
/dev/sdc und /dev/sdd allerdings nicht, die sind auch neu.
Nun, als alles zusammen gebaut wurde, /dev/sda und /dev/sdb zu einem RAID0:
mdadm --create /dev/md0 --auto=yes --level=0 /dev/sda /dev/sdb
und /dev/sdc, /dev/sdd und dann /dev/md0 zu einem RAID5:
mdadm --create /dev/md1 --auto=yes --level=5 /dev/sdc /dev/sdd /dev/md0
funktionierte auch alles tadellos. Zu guter letzt habe ich
mdadm --detail --scan >> /etc/mdadm/mdadm.conf
ausgeführt, damit die RAID's beim neustart auch assembliert werden, was auch nach einem Neustart funktioniert hat.
Als ich jedoch einfach spaßeshalber, und um das RAID5 zu testen, das RAID5 mit Daten füllte, und dann eine der Platten als "faulty" makiert habe (/dev/md0):
mdadm --fail /dev/md1 /dev/md0
und dann mit
mdadm --remove /dev/md1 /dev/md0
entfernt habe, und somit ein [UU_] im RAID5 bekommen habe, war ich zufrieden das die Daten noch da waren, und wollte die Platte /dev/md0 wieder ins RAID5 einhängen:
mdadm --manage --add /dev/md1 /dev/md0
Nachdem hat er das RAID5 auch wieder hergestellt, bzw die "neue" Platte eingebunden (was gut 1 Stunde dauerte) hat, hatte ich wieder ein CLEAN [UUU] Status und ich wollte einfach mal den Server neustarten, um zu gucken ob auch alles beim Neustart noch funktioniert (halt der Ausfall einer Platte simuliert).
Das tut es anscheinend aber nicht. Denn beim Boot vorgang wird aufeinmal _zuerst_(!) md1 zusammen gebaut, und dann erst md0. Ich brauch es aber genau andersrum. Damit md1 korrekt zusammen gebaut werden kann, muss vorher schon md0 assembliert sein.
Die Reihenfolge in /etc/mdadm/mdadm.conf ist auch korrekt.
Daraus folgt das beim Hochfahren immer das RAID5 nur mit 2 Platten gebaut wird, und als "deprecated" maskiert wird.
Nachdem das System vollständig hochgefahren ist, kann ich mich als Root anmelden, und mit mdadm -a /dev/md1 /dev/md0 nachträglich hinzufügen. Allerdings synchronosiert er das RAID5 immer (was ja auch logisch ist).
Als ich im Internet keine Lösung gefunden habe, wie ich Debian (Stable) beibringe, das er zum verrecken erst /dev/md0 und dann /dev/md1 bauen soll (sprich die Reihenfolge), habe ich einfach das RAID5 mit:
mdadm --zero-superblock /dev/sda
mdadm --zero-superblock /dev/sdb
mdadm --zero-superblock /dev/sdc
mdadm --zero-superblock /dev/sdd
gelöscht, und die Einträge aus mdadm.conf entfernt.
Jedoch, steht nun bei jedem Booten, immer noch auf dem Bildschirm:
Assemble RAID Device md1: No Devices for md1, skipping
Assemble RAID Device md0: No Devices for md0, skipping
(oder so ähnlich, ganz frei gemerkt)
Dies habe ich aber getrost ignoriert, und habe mein RAID5 Plan neu gebaut (erst md0, dann md1). Funktionierte auch. Nur beim Booten baute er die falsch zusammen.
Also habe ich die RAID's wieder gelöscht, incl alle Einträge in Configs die nötig sind und habe es erneut versucht. Nur diesmal habe ich mein RAID5 nicht md1 genannt sondern md0 und mein RAID0 md1 statt md0 (habe natürlich die RAID-Create befehle angepasst). Und es funktionierte beim Hochfahren immer noch nicht! Jetzt nahm er md0 zuerst und dann md1.
Egal was ich probierte, er wollte immer erst das RAID5 starten.
Nach Stunden der Verzweiflung, habe ich sogar mdadm incl _allen_ Configs gelöscht (--purge) und neu installiert. Brachte nichts.
Habe sogar mal das /dev/md0 und /dev/md1 Device gelöscht, brachte ebenso nichts. Die waren nach nem Neustart wieder da.
Ich hatte ja das RAID5 mal zum laufen gebracht, beim besagten ersten mal, incl das beim Boot alles in Ordnung war und er die RAID's korrekt zusammen baute, und vorallem in der richtigen Reihenfolge, doch seitdem ich wie oben ein "Festplattenausfall" simuliert habe, funktioniert nichts mehr wie es soll.
Und das soll ja nicht so sein. Weil das ist ja der Grund weswegen ich ein RAID5 aufbauen will. Damit eine Festplatte ausfallen kann und dann einfach nur gegen eine neue tauschen und hinzufügen muss und alles ist gut, egal wie oft das System neugestartet wird - bis ende der Welt :)
Kann mir da einer bitte helfen oder erklären was mein Fehler ist/war?
Systeminfos:
tomekk@midna:~$ uname -a
Linux midna 2.6.26-2-686 #1 SMP Sun Jun 21 04:57:38 UTC 2009 i686 GNU/Linux
tomekk@midna:~$
| Debian Stable
//Edit: Ich sehe grad wie schrecklich ich alles Formuliert und Erklärt habe, und von der Rechtschreibung fangen wir erst garnicht an, aber ich Sitz im Büro und hatte mein Kaffee noch nicht *gg*