PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : RAID Stripe Align + LVM



marcdevil
22.01.08, 23:13
Hi

Ich bastel grad an einer Erweiterung unseres Fileservers.
Nach mühsamen WindowsLiveCD booten und mit Global Array Manager die neuen RAID5 Arrays konfigurieren habe ich nun 2 neue Arrays mit je ca. 1,2 TB. Raid50 kann das Ding nicht. Mehr als 6 300er Festplatten pro Array kann er auch nicht, wegen der 2TB Grenze.
Nun will ich mit den optimalsten Einstellungen aus diesen 2 RAID5 ein LVM mit stripes konfigurieren.
kurz mal die Daten:

Mylex eXtremeRAID 2000 (DAC960)
zwei mal 5*300 GB SCSI Platten mit 10k rpm als RAID5
je ein RAID5 pro Channel (SCSI-160)
64 kb stripe size
write cache an, batteriegepuffert + USV

Die Initialisierung des Raids hat knapp 11 Stunden gedauert. Also 30 MB/s schreibend, das spiegelt auch die lahme Geschwindigkeit des alten Raids wieder, deswegen will ich versuchen das mit LVM/Raid0 zu beschleunigen.
Macht das Sinn bei nur einem Controller? (Der allerdings 2 CPUs und 4 Channels hat)

Bei meinen Recherchen bin ich auf strip align gestoßen, das die Dateisystem blöcke am besten immer ein vielfaches der stripegröße sein sollen und natürlich der offset beim 2. Stripe starten sollte, da der erste Stripe mit dem Sektor 0 (Partitionstabelle & MBR) versaubeultelt ist, wenn ich das richtig verstanden habe.
Wo muss ich das mit dem offset berücksichtigen (muss meine Partition erst bei Block 128 (128 * 512 = 64kb) beginnen und bei einem Vielfachen von 128 aufhören?)

Bei meinen RAID5 habe ich nun 64kb stripes, schreibt man einen 256kb großen Block, so wird dieser perfekt aufgeteilt (weil RAID5 ja kapazitätsmäßig n-1 ist.)
Wo muss ich das stripe width berücksichtigen beim Formatieren mit XFS oder im LVM, oder beides?

noch andere Tips?

Vielen Dank schon mal im Vorraus.

bla!zilla
23.01.08, 08:09
Macht das Sinn bei nur einem Controller? (Der allerdings 2 CPUs und 4 Channels hat)

Durchaus. 5 Platten pro SCSI Kanal sind sicherlich schon das Maximum, aber wenn das auf die Kanäle verteilt ist, dann ist das okay.



Wo muss ich das mit dem offset berücksichtigen (muss meine Partition erst bei Block 128 (128 * 512 = 64kb) beginnen und bei einem Vielfachen von 128 aufhören?)

Ganz blau: Lass ein Offset von 1 MB. Passt vielleicht nicht dazu, aber lies das (http://support.microsoft.com/?scid=kb%3Ben-us%3B929491&x=2&y=12) mal.



Wo muss ich das stripe width berücksichtigen beim Formatieren mit XFS oder im LVM, oder beides?

Das ist Sache des Dateisystems, musst du also XFS mit auf den Weg geben.

marcdevil
21.02.08, 10:22
Hab das align jetzt mal mit einem Adaptec Controller und 10 HDs als RAID50 probiert:
linearer lesen: 151 MB/s

# dd if=zero.img bs=4M of=/dev/null
1024+0 records in, 1024+0 records out
4294967296 bytes (4.3 GB) copied, 28.4847 seconds, 151 MB/s

linear schreiben: nur 59 MB/s

# dd if=/dev/zero bs=4M of=./zero2.img count=1024
1024+0 records in
1024+0 records out
4294967296 bytes (4.3 GB) copied, 72.5995 seconds, 59.2 MB/s

bonnie++ ist auch nicht so überzeugend:


# bonnie++ -d . -s 8192 -m fileserver -x 1 -u foo
fileserver,8G,41790,98,55000,16,37950,10,41502,93, 142194,16,754.9,1,16,660,4,+++++,+++,535,3,658,4,+ ++++,+++,468,3

Das bonnie++-Ergebnis habe ich als Bild (http://www.linuxforen.de/forums/attachment.php?attachmentid=18367&d=1203585691) angehangen, damit man das auch lesen kann.

Partitionsschema, mit Startsektor bei 1M:

# parted /dev/sda print

Disk /dev/sda: 2399GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number Start End Size File system Name Flags
1 1024kB 2399GB 2399GB xfs HOME

Dateisystem mit der Angabe der RAID Blockgröße und netto zur verfügung stehende Platten:


# mkfs.xfs /dev/sda1 -b size=4k -d su=256k -d sw=8 -L HOME

Controllerconfig:


# /usr/local/StorMan/arcconf GETCONFIG 1
Controllers found: 1
----------------------------------------------------------------------
Controller information
----------------------------------------------------------------------
Controller Status : Optimal
Channel description : SCSI
Controller Model : Adaptec 2230S
Controller Serial Number : A261B
Physical Slot : 9
Installed memory : 128 MB
Copyback : Disabled
Background consistency check : Enabled
Automatic Failover : Enabled
Defunct disk drive count : 0
Logical devices/Failed/Degraded : 1/0/0
--------------------------------------------------------
Controller Version Information
--------------------------------------------------------
BIOS : 5.2-0 (11564)
Firmware : 5.2-0 (11564)
Driver : 1.1-5 (2409)
Boot Flash : 5.2-0 (11564)
--------------------------------------------------------
Controller Battery Information
--------------------------------------------------------
Status : Not Installed

----------------------------------------------------------------------
Logical device information
----------------------------------------------------------------------
Logical device number 0
Logical device name : HOME
RAID level : 50
Status of logical device : Optimal
Size : 2287992 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
Write-cache mode : Disabled (write-through)
Write-cache setting : Enabled (write-back) when protected by battery
Partitioned : Yes
Protected by Hot-Spare : Yes
Dedicated Hot-Spare : 1,11
Bootable : Yes
Failed stripes : No
--------------------------------------------------------
Logical device segment information
--------------------------------------------------------
Group 0, Segment 0 : Present (0,0) DA00P7C023CM
Group 0, Segment 1 : Present (0,1) DA00P7C023CL
Group 0, Segment 2 : Present (0,2) DA00P7C023CK
Group 0, Segment 3 : Present (0,3) DA00P7C023CJ
Group 0, Segment 4 : Present (0,4) DA00P7C023CH
Group 1, Segment 0 : Present (1,0) DA00P7C023CF
Group 1, Segment 1 : Present (1,1) DA00P7C023CG
Group 1, Segment 2 : Present (1,2) DA00P7C023C6
Group 1, Segment 3 : Present (1,3) DA00P7C023HD
Group 1, Segment 4 : Present (1,4) DA00P7C023FU


hat jemand irgendwelche verbesserungsvorschläge?

bla!zilla
21.02.08, 14:37
Kannst du das mal mit einem RAID 1+0 dagegensetzen?

marcdevil
21.02.08, 15:22
später vielleicht, ist ne produktivmaschine und außerdem dauert die initialisierung immer so lange ...

marcdevil
25.02.08, 17:54
RAID0 mit 10 Platten, dennoch nur 150 MB/s lesend und 65 MB/s schreibend
Neueste Firmware ist drauf.
Auf 2TB limitieren hilft auch nicht.

bla!zilla
25.02.08, 20:01
Wie sieht die Last aus? Was sagt top, speziell der Part WaitIO?

marcdevil
26.02.08, 11:43
wie zu erwarten: der Prozess wartet auf i/o.

top - 11:42:21 up 14:10, 2 users, load average: 0.89, 0.31, 0.16
Tasks: 197 total, 2 running, 195 sleeping, 0 stopped, 0 zombie
Cpu0 : 0.0%us, 14.9%sy, 0.0%ni, 0.0%id, 80.2%wa, 0.0%hi, 5.0%si, 0.0%st
Cpu1 : 2.0%us, 5.9%sy, 0.0%ni, 92.1%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu2 : 1.0%us, 0.0%sy, 0.0%ni, 99.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Cpu3 : 0.0%us, 0.0%sy, 0.0%ni,100.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 3766472k total, 1147456k used, 2619016k free, 794976k buffers
Swap: 1052216k total, 48k used, 1052168k free, 39296k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
13361 root 18 0 11952 10m 10m R 15 0.3 0:05.28 dd

wenn lesen und schreiben bei 150 limitiert wäre könnte es ja der Bus sein (1 PCI-X mit Brücke auf dem 2 Controller arbeiten)
aber 60 MB/s schreiben bei 10 Platten RAID0 ist schon seltsam.


# lspci
00:00.0 Host bridge: Broadcom CMIC-LE Host Bridge (GC-LE chipset) (rev 33)
00:00.1 Host bridge: Broadcom CMIC-LE Host Bridge (GC-LE chipset)
00:00.2 Host bridge: Broadcom CMIC-LE Host Bridge (GC-LE chipset)
00:04.0 VGA compatible controller: ATI Technologies Inc Rage XL (rev 27)
00:0f.0 Host bridge: Broadcom CSB6 South Bridge (rev a0)
00:0f.1 IDE interface: Broadcom CSB6 RAID/IDE Controller (rev a0)
00:0f.2 USB Controller: Broadcom CSB6 OHCI USB Controller (rev 05)
00:0f.3 ISA bridge: Broadcom GCLE-2 Host Bridge
00:10.0 Host bridge: Broadcom CIOB-E I/O Bridge with Gigabit Ethernet (rev 12)
00:10.2 Host bridge: Broadcom CIOB-E I/O Bridge with Gigabit Ethernet (rev 12)
00:11.0 Host bridge: Broadcom CIOB-X2 PCI-X I/O Bridge (rev 05)
00:11.2 Host bridge: Broadcom CIOB-X2 PCI-X I/O Bridge (rev 05)
01:0b.0 PCI bridge: Digital Equipment Corporation DECchip 21154 (rev 05)
01:0c.0 RAID bus controller: Adaptec AAC-RAID (Rocket) (rev 03)
02:08.0 RAID bus controller: Mylex Corporation eXtremeRAID 2000/3000 support Device
03:00.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5704 Gigabit Ethernet (rev 02)
03:00.1 Ethernet controller: Broadcom Corporation NetXtreme BCM5704 Gigabit Ethernet (rev 02)
# cat /proc/cpuinfo
processor : 0
vendor_id : GenuineIntel
cpu family : 15
model : 2
model name : Intel(R) Xeon(TM) CPU 2.80GHz
stepping : 9
cpu MHz : 2800.180
cache size : 512 KB
physical id : 3
siblings : 2
core id : 0
cpu cores : 1
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 2
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe cid xtpr
bogomips : 5604.17

processor : 1
vendor_id : GenuineIntel
cpu family : 15
model : 2
model name : Intel(R) Xeon(TM) CPU 2.80GHz
stepping : 9
cpu MHz : 2800.180
cache size : 512 KB
physical id : 0
siblings : 2
core id : 0
cpu cores : 1
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 2
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe cid xtpr
bogomips : 5600.89

processor : 2
vendor_id : GenuineIntel
cpu family : 15
model : 2
model name : Intel(R) Xeon(TM) CPU 2.80GHz
stepping : 9
cpu MHz : 2800.180
cache size : 512 KB
physical id : 0
siblings : 2
core id : 0
cpu cores : 1
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 2
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe cid xtpr
bogomips : 5600.61

processor : 3
vendor_id : GenuineIntel
cpu family : 15
model : 2
model name : Intel(R) Xeon(TM) CPU 2.80GHz
stepping : 9
cpu MHz : 2800.180
cache size : 512 KB
physical id : 3
siblings : 2
core id : 0
cpu cores : 1
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 2
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe cid xtpr
bogomips : 5600.53
# cat /proc/interrupts
CPU0 CPU1 CPU2 CPU3
0: 12864757 273 0 0 IO-APIC-edge timer
1: 3 5 0 0 IO-APIC-edge i8042
6: 2 1 0 0 IO-APIC-edge floppy
7: 0 0 0 0 IO-APIC-edge parport0
8: 0 1 0 0 IO-APIC-edge rtc
9: 0 1 0 0 IO-APIC-level acpi
11: 0 0 0 0 IO-APIC-level ohci_hcd:usb1
12: 99 3 0 0 IO-APIC-edge i8042
15: 62 1 0 0 IO-APIC-edge ide1
169: 261940 259049 102347 8991 IO-APIC-level Mylex eXtremeRAID 2000
177: 5906874 3469841 1617870 4548690 IO-APIC-level eth0
185: 155601 33403 22523 56785 IO-APIC-level aacraid
NMI: 0 0 0 0
LOC: 12865034 12865032 12865036 12865035
ERR: 0
MIS: 0
# cat /proc/ioports
0000-001f : dma1
0020-0021 : pic1
0040-0043 : timer0
0050-0053 : timer1
0060-006f : keyboard
0070-0077 : rtc
0080-008f : dma page reg
00a0-00a1 : pic2
00c0-00df : dma2
00f0-00ff : fpu
0170-0177 : ide1
02f8-02ff : serial
0376-0376 : ide1
0378-037a : parport0
037b-037f : parport0
03c0-03df : vga+
03f2-03f5 : floppy
03f7-03f7 : floppy DIR
03f8-03ff : serial
0cf8-0cff : PCI conf1
0e60-0e61 : ACPI PM1a_CNT_BLK
0e78-0e7b : ACPI PM1a_EVT_BLK
0e7c-0e7f : ACPI GPE1_BLK
1000-10ff : 0000:00:04.0
1400-140f : 0000:00:0f.1
1400-1407 : ide0
1408-140f : ide1
2000-2fff : PCI Bus #02
2000-207f : 0000:02:08.0
f000-f003 : ACPI PM1b_EVT_BLK
f004-f005 : ACPI PM1b_CNT_BLK
f008-f00b : ACPI PM_TMR
f014-f01b : ACPI GPE0_BLK
f080-f08f : motherboard
f090-f093 : motherboard
f100-f11f : motherboard
f100-f107 : piix4_smbus
# cat /proc/dma
2: floppy
4: cascade

# /usr/local/StorMan/arcconf GETCONFIG 1
Controllers found: 1
----------------------------------------------------------------------
Controller information
----------------------------------------------------------------------
Controller Status : Optimal
Channel description : SCSI
Controller Model : Adaptec 2230S
Controller Serial Number : A261B
Physical Slot : 9
Installed memory : 128 MB
Copyback : Disabled
Background consistency check : Enabled
Automatic Failover : Enabled
Defunct disk drive count : 0
Logical devices/Failed/Degraded : 1/0/0
--------------------------------------------------------
Controller Version Information
--------------------------------------------------------
BIOS : 5.2-0 (15611)
Firmware : 5.2-0 (15611)
Driver : 1.1-5 (2409)
Boot Flash : 5.2-0 (15611)
--------------------------------------------------------
Controller Battery Information
--------------------------------------------------------
Status : Not Installed

----------------------------------------------------------------------
Logical device information
----------------------------------------------------------------------
Logical device number 0
Logical device name : Device 0
RAID level : 0
Status of logical device : Optimal
Size : 2097140 MB
Stripe-unit size : 256 KB
Read-cache mode : Enabled
Write-cache mode : Disabled (write-through)
Write-cache setting : Enabled (write-back) when protected by battery
Partitioned : Yes
Protected by Hot-Spare : No
Bootable : Yes
Failed stripes : No
--------------------------------------------------------
Logical device segment information
--------------------------------------------------------
Segment 0 : Present (0,0) DA00P7C023CM
Segment 1 : Present (0,1) DA00P7C023CL
Segment 2 : Present (0,2) DA00P7C023CK
Segment 3 : Present (0,3) DA00P7C023CJ
Segment 4 : Present (0,4) DA00P7C023CH
Segment 5 : Present (1,0) DA00P7C023CF
Segment 6 : Present (1,1) DA00P7C023CG
Segment 7 : Present (1,2) DA00P7C023C6
Segment 8 : Present (1,3) DA00P7C023HD
Segment 9 : Present (1,4) DA00P7C023FU