PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : kopieren - server langsam - flaschenhals?



sam600
21.08.08, 10:24
hallo

ich habe einen server mit opensuse 10.3
kernel: 2.6.22.18-0.2-default x86_64

wenn ich daten auf ein externes raid ( msa1000 ) kopiere ist der fast nicht mehr zu bedienen.

wo ist der flaschenhals?

iostat sagt folgendes:
im leerlauf:
iostat -d 1


Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 0.00 0.00 0.00 0 0
sda 0.00 0.00 0.00 0 0

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 0.00 0.00 0.00 0 0
sda 0.00 0.00 0.00 0 0


beim kopieren ( von sda auf sda )


Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 200.00 66495.05 0.00 67160 0
sda 0.99 7.92 0.00 8 0

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 0.00 0.00 0.00 0 0
sda 0.00 0.00 0.00 0 0

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 0.00 0.00 0.00 0 0
sda 0.00 0.00 0.00 0 0

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 0.00 0.00 0.00 0 0
sda 0.00 0.00 0.00 0 0

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 1.98 0.00 150.50 0 152
sda 479.21 0.00 234487.13 0 236832

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 1.98 0.00 15.84 0 16
sda 0.00 0.00 0.00 0 0

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 0.00 0.00 0.00 0 0
sda 0.00 0.00 0.00 0 0

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 0.00 0.00 0.00 0 0
sda 0.00 0.00 0.00 0 0

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 211.88 86598.02 0.00 87464 0
sda 0.00 0.00 0.00 0 0

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 382.18 141893.07 0.00 143312 0
sda 0.99 7.92 0.00 8 0

Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
cciss/c0d0 91.09 18851.49 300.99 19040 304
sda 20.79 0.00 7889.11 0 7968


welche werte sind fuer mich ausschlaggebend?
bzw. wo kann ich den fehler suchen?

danke

bla!zilla
21.08.08, 11:07
Bitte mal während des Kopiervorganges vmstat 1 laufen lassen. Wie ist die MSA konfiguriert? Wieviele Platten im Array, welches RAID Level auf dem logischen Laufwerk? Wie ist die angebunden? Was für ein HBA, was für ein Switch?

sam600
21.08.08, 11:53
Bitte mal während des Kopiervorganges vmstat 1 laufen lassen.

vmstat 1


procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 1 84 36848 19048 5785208 0 0 24 53 29 20 0 1 99 1
0 2 84 37044 18884 5783476 0 0 40392 52024 2450 5484 1 6 73 20
0 3 84 36768 18820 5783380 0 0 11176 65620 1450 3200 0 3 58 39
0 3 84 36248 18820 5783280 0 0 0 65564 1223 3423 0 1 55 43
0 3 84 36124 18820 5783280 0 0 0 17040 979 3462 0 0 56 44
0 3 84 36124 18820 5783280 0 0 0 8840 972 3412 0 0 52 47
1 3 84 36124 18820 5783280 0 0 0 16756 964 3382 0 0 54 46
0 3 84 36000 18824 5783280 0 0 0 8856 982 3435 0 0 55 45
1 3 84 34964 18824 5784600 0 0 768 19612 1043 3399 0 1 54 46
0 4 84 38160 18840 5782172 0 0 2568 21860 1114 3403 0 0 54 46
0 4 84 35096 18848 5785072 0 0 1420 23940 1112 3460 0 0 54 46
0 4 84 34552 18856 5785720 0 0 344 10916 1071 3496 0 0 50 50
0 2 84 38064 18864 5782172 0 0 2048 484 995 3256 0 1 51 48
0 2 84 37820 18832 5782368 0 0 2056 0 912 2680 0 1 67 32
0 2 84 38712 18848 5788624 0 0 3200 22888 970 2687 0 1 60 38




Wie ist die MSA konfiguriert? Wieviele Platten im Array, welches RAID Level auf dem logischen Laufwerk? Wie ist die angebunden? Was für ein HBA, was für ein Switch?

- kann ich nicht sagen, die wurde mir so zuverfuegung gestellt
- das sind 4 festplatten raid 5
- ueber FibreChannel
- Hewlett-Packard Company Smart Array E200i

hilft uns das weiter?
mir ist gerade aufgefallen,
wenn ich von system auf system ( /dev/cciss/c0d0p2 ) ist das system auch langsam

danke

bla!zilla
21.08.08, 12:41
Der 200i ist der Controller für die SAS Platten, nicht für die MSA. Ich sehe extrem hohe IOwait Werte, die Kiste bekommt die Daten also nicht schnell genug weg. Das kann ein Problem mit den Platten sein, ein Problem mit der Konfiguration oder was anderes. Ohne Details wird das schwer.

UzumakiNaruto
21.08.08, 13:15
beim kopieren von einer internen hdd zur anderen internen hdd
die datei ist 170MB groß. start und ende des kopieren sieht man ganz genau.

sind die werte ok???



procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 3 178088 2768 5776 62148 2 1 11 14 0 11 2 1 92 5
0 2 178088 2612 3640 64656 0 0 15760 12436 506 648 0 9 0 91
0 2 178088 2468 1752 66880 0 0 14772 8440 511 609 0 9 0 91
0 2 178088 3068 1752 66284 0 0 15124 16576 502 604 0 14 0 86
2 2 178088 2540 1724 66392 0 0 17680 22468 515 584 1 19 0 80
0 5 178088 1960 1756 66988 0 0 14104 17616 497 598 0 11 0 89
0 3 178088 2724 1692 66492 0 0 13844 14064 504 600 0 13 0 87
1 0 178088 2652 1668 66836 0 0 15760 8252 508 628 0 12 0 88
0 2 178088 3140 1680 67032 0 0 17428 12452 506 596 0 15 0 85
0 1 178088 30492 1828 39816 0 0 2616 16936 468 334 0 4 22 74
2 0 178088 30680 1836 39808 0 0 0 104 265 128 0 1 97 2
0 0 178088 30680 1848 39816 0 0 0 40 265 149 0 0 100 0

bla!zilla
21.08.08, 20:53
Na ja, angesichts der hohen IOwait Werte für ich nicht von guten Werten reden. Die Anzahl der Contextswitches und Interrupts erscheint mir bei sam600 sehr, sehr hoch.

UzumakiNaruto
22.08.08, 07:59
Na ja, angesichts der hohen IOwait Werte für ich nicht von guten Werten reden. Die Anzahl der Contextswitches und Interrupts erscheint mir bei sam600 sehr, sehr hoch.

die werte die ich gepostet habe betrafen meine festplatten :D
ich dachte mir einfach mal, wenn da schon einer werte überprüft, gebe ich meine mal schnell mit :D

Contextswitches?????
die erklärung im web habe ich nicht wirklich verstanden :D

bla!zilla
22.08.08, 08:13
Es geht hier nicht um deine Werte, die sehen auch nicht gut aus. Mehr habe ich dazu nicht gesagt. Es ist extrem unhöflich einen Thread zu entern. Das mit den Contextswitches und Interrupts war auf das Posting des TE bezogen.

marce
22.08.08, 08:17
- das sind 4 festplatten raid 5
was für Platten denn und in welche Konfiguration (mit oder ohne Hotswap)?

Raid 5 ist für Write nicht unbedingt ideal...

bla!zilla
22.08.08, 08:36
Indeed. 25% nutzbare IOPS können sehr wenig sein.

sam600
22.08.08, 14:06
was für Platten denn und in welche Konfiguration (mit oder ohne Hotswap)?

Raid 5 ist für Write nicht unbedingt ideal...

sorry das sind nur 3 festplatten. - ohne hotswap

evt. habe ich den fehler gefunden

cat /proc/interrupts

16: 290073 1200 447057 1208 IO-APIC-fasteoi cciss0, uhci_hcd:usb1, ehci_hcd:usb6, lpfc


die beiden controller ( interner festplatte + externe festplatten ) teilen sich einen interrupt

jetzt muss ich mal schauen, ob ich den controllern unterschiedliche interrupts zuweisen kann
wenn jemand einen tip hat.... darf er ihn mir sagen....

das wurde erklaeren, warum das kopieren auf das raid das system lahm legt.
aber warum es beim kopieren auf die systemplatte auch so langsam ist... ?

bla!zilla
22.08.08, 14:22
Steck den HBA mal in einen anderen Slot. Warum das so langsam ist? Weil sich mehrere Geräte einen Interrupt teilen. Klingt für mich sehr plausibel.