PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Datentransfer Server zu Server



jano
09.08.08, 15:36
Hallo

Ich muss ca. 700GB daten von einem Server auf den anderen schaffen.
Dabei habe ich das Samba-Verzeichnis mit den Daten von Server A an Server B gemountet und die daten von A zu B angefangen zu kopieren.

Befehl ausgeführt an Server B: mount -t cifs -o username=Jan //192.168.0.1/daten /Adaten
cp -Rv /Adaten/* /daten

Server A:
3 GHZ
1 GB Ram
Raid 5 (5x S-ATA 150 Festplatten)
Raidcontroller HighPoint RocketRaid 1820 an PCI-X
Gigabit Ethernet onboard
Festplattenlesespeed gemessen mit hdparm: 350 MByte/sec
Netzwerkspeed gemessen mit NetIO: 110000Kbyte/sec ~100MByte/sec

Server B:
1,8 GHZ Pentium S
1 GB Ram
Raid 1 (2x S-ATA 300 Festplatten jeweils 1GB)
Raidcontroller Dawicontrol DC300e an PCIe1x
Intel Gigabit Ethernet Karte PCI
Chipsatz Intel G33
Festplattenlesespeed gemessen mit hdparm: 120 MByte/sec
Netzwerkspeed gemessen mit NetIO: 110000Kbyte/sec ~100MByte/sec

Verwendet werden 2x 3m Cat6 Netzwerkkabel und ein Netgear Gigabit Switch mit 32GB/s Backplane Bandbreite.


Übertragungsgeschwindigkeit der daten gemessen mit ntop:
max. 150Mbit/s = 18,75MByte/sec

Hat jemand ne Ahnung wieso das nur mit läppischen 18 MB/s läuft?
Wo könnte der Engpass liegen?

Liegt es vllt. am cifs Dateisystem?


Über Antworten/Spekulationen würde ich mich sehr freuen.

Gruß

Jan

Wene
09.08.08, 17:03
Lass doch mal auf beiden Servern während dem Transfer top mitlaufen. Da sollte ersichtlich sein welcher Prozess die Ressourcen verbraucht.

Abgsehen davon: wieso verwendest Du kein NFS? Sollte von der Performance her eigentlich besser sein.

Edit: Btw, Für 700 GB hst Du auf beiden Servern zu wenig Platz. :ugly:

bla!zilla
09.08.08, 18:41
Also ein Wert von 120 MB/s (sequential read) ist nett, aber auf die beiden Platten schreibst du ja, oder nicht? Wäre da nicht viel mehr der Wert für sequential write IO interessant? Lass auf beiden Kisten während des Kopiervorgangs mal vmstat 1 laufen. Achte dabei auf hohe IOwait Werte. Ich würde die Daten auch nicht per CIFS übertragen, sondern NFS oder FTP.

Wene
09.08.08, 18:49
Achte dabei auf hohe IOwait Werte.

Nur so aus Interesse: Wird das Warten auf Netzwerkressourcen eigentlich auch als IOwait gezählt?

bla!zilla
09.08.08, 19:11
Nein, Netzwerk IO wird da nicht reingerechnet. Aber so sieht man sehr schnell ob es ein Problem mit den Platten gibt, oder ob das Netzwerk das Problem ist.

jano
10.08.08, 12:48
vmstat 1 auf Server A

procs -----------memory---------- ---swap-- -----io---- --system--
----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 1 8 4868 46332 929128 0 0 371 10 228 472 0 6 90 4
0 0 8 4676 46316 929416 0 0 16872 0 5527 2428 1 8 88 4
0 0 8 6012 46268 927968 0 0 16784 0 5529 2399 0 8 89 2
0 0 8 5004 46284 929040 0 0 17680 0 5845 2551 0 8 90 2
0 0 8 4556 46284 929584 0 0 17208 0 5668 2483 1 8 88 3
0 0 8 5580 46404 928444 0 0 15572 216 5285 2302 0 7 85 7
0 0 8 5956 46348 928092 0 0 16348 0 5417 2352 1 7 91 2
0 0 8 6068 46324 927980 0 0 16524 0 5476 2370 1 7 91 2
0 0 8 6068 46340 927964 0 0 16664 0 5583 2430 0 7 89 3
0 0 8 5452 46336 928648 0 0 18960 0 6163 2707 0 9 90 1
0 0 8 5984 46368 928004 0 0 17684 40 5764 2548 1 8 86 5
0 0 8 4620 46364 929436 0 0 18064 0 5897 2587 1 9 88 3
0 0 8 5388 46368 928616 0 0 17552 0 5727 2511 0 8 90 1
0 0 8 5900 46356 928152 0 0 17812 0 5828 2536 1 8 91 1
0 0 8 5388 46348 928636 0 0 18832 0 6075 2696 0 8 90 1
0 0 8 5132 46324 928864 0 0 18580 24 6036 2676 1 8 89 2
0 0 8 5004 46324 929000 0 0 18452 0 6008 2648 0 8 91 0
0 0 8 5708 46340 928372 0 0 17680 0 5790 2527 0 7 90 2
0 0 8 5772 46356 928220 0 0 16528 0 5489 2367 0 6 92 2
0 0 8 5516 46360 928488 0 0 18580 0 6045 2661 0 8 89 3
0 0 8 5516 46300 928548 0 0 18448 24 6040 2673 0 8 89 4
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 8 5452 46300 928616 0 0 18324 0 5985 2602 0 7 92 0
0 0 8 5900 46304 928204 0 0 17936 0 5896 2572 1 9 89 2
0 0 8 5984 46304 928136 0 0 16528 0 5501 2377 0 8 90 1
1 0 8 5196 46296 928824 0 0 19092 0 6162 2726 1 9 89 2
1 0 8 5132 46252 929004 0 0 18448 32 5962 2651 0 9 89 2
0 0 8 5644 46244 928536 0 0 17812 0 5842 2577 1 8 90 2
0 0 8 5644 46248 928464 0 0 18320 0 5936 2605 0 9 89 1
0 0 8 6096 46252 927984 0 0 14480 0 4954 2092 1 7 92 1
0 0 8 5004 46260 929200 0 0 19476 0 6221 2772 1 9 90 1
1 0 8 6152 46224 927944 0 0 18704 24 6057 2705 1 8 89 2
0 0 8 5132 46236 928952 0 0 17684 0 5793 2514 1 8 90 3
0 0 8 5708 46232 928480 0 0 17808 0 5829 2551 1 8 89 2
0 0 8 5388 46228 928688 0 0 16912 0 5599 2431 1 7 92 1
0 0 8 4940 46120 929272 0 0 18836 0 6121 2704 0 8 89 2
0 0 8 4504 46104 929764 0 0 18708 24 6039 2677 0 8 90 2
0 0 8 5132 46112 929144 0 0 17680 0 5830 2537 1 7 90 3
0 0 8 5580 46108 928740 0 0 17936 0 5873 2568 1 9 89 2
0 0 8 5388 46112 928872 0 0 16656 0 5559 2384 0 7 91 1
0 0 8 4684 46016 929648 0 0 19092 0 6165 2748 1 8 90 2
0 0 8 6040 46008 928296 0 0 18580 24 6021 2688 1 9 88 3
0 0 8 4876 46024 929504 0 0 17808 0 5812 2547 0 8 89 3
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 0 8 5452 46032 928884 0 0 17680 0 5806 2546 1 9 90 1
0 0 8 5068 46044 929212 0 0 17044 0 5618 2432 0 7 91 1
0 0 8 4812 45992 929536 0 0 18576 0 6041 2667 0 8 89 2
0 0 8 4812 45964 929564 0 0 18324 24 5946 2671 1 9 85 6
0 0 8 5452 46020 928896 0 0 12712 0 4496 1902 0 6 86 7
0 0 8 4940 46008 929452 0 0 15500 0 5218 2256 1 6 91 4
0 1 8 5984 46012 928292 0 0 15496 0 5238 2266 1 7 90 3
1 0 8 5516 45972 928808 0 0 17216 0 5672 2470 1 8 89 3
0 1 8 5836 45928 928512 0 0 14552 108 5059 2148 0 7 87 5
1 0 8 5068 45920 929404 0 0 15716 0 5242 2270 1 6 87 7
0 0 8 5004 45916 929476 0 0 16696 0 5507 2407 0 6 90 3
1 0 8 5900 45928 928512 0 0 15880 0 5351 2315 0 6 91 3
0 1 8 5068 45908 929348 0 0 15852 0 5326 2311 1 7 89 3
0 1 8 4812 45908 929688 0 0 15216 108 5191 2232 0 7 85 8
0 1 8 5196 45896 929292 0 0 14560 0 5032 2162 0 7 88 5
1 0 8 5068 45892 929364 0 0 11700 0 4167 1718 0 5 91 4
1 0 8 5324 45896 929088 0 0 14780 0 5043 2154 1 6 93 2
0 0 8 5452 45852 929064 0 0 14928 0 5127 2198 1 7 92 1
0 0 8 5772 45932 928576 0 0 11244 132 4141 1677 0 6 84 9
0 0 8 6040 45876 928360 0 0 12920 0 4543 1912 0 5 92 4
0 0 8 4940 45844 929548 0 0 16252 0 5394 2342 1 7 90 2


vmstat 1 auf Server B


procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
1 0 236 9572 2680 899812 0 0 24 24625 259 40 18 39 35 7
1 0 236 10216 2672 897616 0 0 0 26760 8406 13524 0 48 43 8
1 0 236 9660 2676 898468 0 0 8 38856 6050 13024 0 46 42 12
1 0 236 9424 2672 897612 0 0 0 62136 6169 17061 1 65 35 0
1 0 236 9816 2692 897308 0 0 0 40416 6598 13863 0 57 43 0
0 0 236 9456 2716 900220 0 0 0 135828 4459 7148 1 63 7 29
1 1 236 10244 2744 899136 0 0 0 96 5976 6556 0 51 28 21
1 1 236 10300 2744 897744 0 0 0 22044 5803 9618 1 55 28 16
2 1 236 9244 2588 898644 0 0 0 43368 6770 14339 0 65 35 0
1 0 236 9404 2608 898156 0 0 4 34224 5411 11530 0 59 34 8
1 1 236 9796 2604 896056 0 0 4 153024 4657 6999 1 62 6 32
1 1 236 9540 2604 900104 0 0 0 672 5536 5927 0 47 44 8
2 1 236 9360 2604 899288 0 0 0 14880 7219 10519 0 50 37 12
1 0 236 9748 2612 897976 0 0 0 46440 8772 17525 0 55 43 2
0 0 236 9412 2572 897284 0 0 0 85536 7898 22972 0 53 45 1
1 1 236 10560 2548 895732 0 0 0 162720 6555 9464 0 56 13 31


CPU Server A nicht nennenswert.
CPU Server B ~55%

free -m Server A


total used free shared buffers cached
Mem: 1011 1007 4 0 47 905
-/+ buffers/cache: 54 957
Swap: 2055 0 2055

Server B


total used free shared buffers cached
Mem: 995 986 8 0 2 878
-/+ buffers/cache: 105 889
Swap: 2055 0 2054

bla!zilla
10.08.08, 17:45
Die IOwait Werte auf Server B sind interessant, möglicherweise liegt da das Bottleneck, wenn die Daten über das Netz nicht schnell genug übertragen werden.

Wene
10.08.08, 21:58
Hast Du mal auf Server B top mitlaufen lassen um zu sehen welcher Prozess während der Transfers die meisten Ressourcen benötigt?

jano
11.08.08, 12:28
cp verbraucht ca 55%
cifs verbraucht ca 8%

THEReapMan
11.08.08, 12:49
wie wärs mal mit ner kombination aus netcat und tar? da gehen die daten als tar-stream über die leitung, ohne irgendein netzwerk-fs zu nehmen. zumindest um zu schaun wie viel performance bei cifs draufgeht.



Server A:
tar cf - * | netcat serverB 7000

Server B:
netcat -l -p 7000 | tar x

Wene
15.08.08, 09:27
cp verbraucht ca 55%
cifs verbraucht ca 8%

Poste davon mal einen Auszug. Da gibt es bestimmt noch viele weitere interessante Werte zu sehen.