Langsames 1Gbit Netzwerk

[CaipiX]

Hallo,

bin seit ca. 4 Wochen an einem Netzwerkproblem zu gange bei dem ich nicht weiterkomme. Habe es auch schon mal in anderen Foren versucht leider ohne Erfolg, gibt es hier jemanden der mir helfen kann?

Habe zwei Systeme (eins Live-Server, eins zum testen)

1. Liveserver: Opteron auf einem Tyan K8S Pro, 3Ware-Raidcontroller an PCI-Bridge-A, 1Gbit 3com 3c966B-T an PCI-Bridge-B + 2x 1Gbit Onboardnetzwerkkarte (Broadcom). Gentoo 64bit-System

2. Test-Server: Athlon64 auf nforce4 mit 1Gbit Onboard Netzwerkkarte. Gentoo 64bit-System, aber auch schon mit Ubuntu 64bit und Gentoo 32bit getestet.

Bei der Übertragung großer Daten von einem Client zu einem der Server habe ich beim Download volle Bandbreite beim Upload nur die ersten 500MB ab dann gibt es fast keine Bandbreite mehr, wenn ich mir die Übertragung Grafisch anzeigen lasse (auf einem Client OSX oder WinXP) sehe ich, dass die Übertragung für 2-3 Sekunden komplett unterbrochen wird, dann eine Sekunde daten gesendet werden und dann wieder 2-3 Sekunden nichts usw. Stelle ich fest auf 100Mbit kann ich mit 10,5MB/s hoch- und runterladen.

- Jeder Rechner steht auf Autonegotation on, und wählt Automatisch 1Gbit Full duplex
- Habe die Protokolle Samba, FTP und NFS getesttet, keine großen Unterschiede
- Die Festplatten schaffen beim lokalen kopiern auf dem Server im Schnitt 50MB/s
- Bei direkter Verbindung (Crossoverkabel) gleiches Phänomen
- WinXP Pro auf Test-Server ergibt normale Übertragung (Up/Down ~35MB/s)
- OSX 10.3.9 mit Sambashare, ergibt auch normale Übertragung (Up/Down ~35MB/s)

Folgende Ausgaben habe ich mit ethtool:

Zitat:
--------------------
liveserver caipi # ethtool -k eth1
Offload parameters for eth1:
rx-checksumming: on
tx-checksumming: on
scatter-gather: on
tcp segmentation offload: off
--------------------
habe es auch schon mit ethtool -K eth1 tso on versucht.

Zitat:
--------------------
liveserver caipi # ethtool -g eth1
Ring parameters for eth1:
Pre-set maximums:
RX: 511
RX Mini: 0
RX Jumbo: 255
TX: 0
Current hardware settings:
RX: 200
RX Mini: 0
RX Jumbo: 100
TX: 511
--------------------

Zitat:
--------------------
liveserver caipi # ethtool -S eth1
NIC statistics:
rx_octets: 1498044470
rx_fragments: 0
rx_ucast_packets: 1153011
rx_mcast_packets: 0
rx_bcast_packets: 298
rx_fcs_errors: 0
rx_align_errors: 0
rx_xon_pause_rcvd: 0
rx_xoff_pause_rcvd: 0
rx_mac_ctrl_rcvd: 0
rx_xoff_entered: 0
rx_frame_too_long_errors: 0
rx_jabbers: 0
rx_undersize_packets: 0
rx_in_length_errors: 0
rx_out_length_errors: 0
rx_64_or_less_octet_packets: 65
rx_65_to_127_octet_packets: 135076
rx_128_to_255_octet_packets: 25394
rx_256_to_511_octet_packets: 458
rx_512_to_1023_octet_packets: 22109
rx_1024_to_1522_octet_packets: 970207
rx_1523_to_2047_octet_packets: 0
rx_2048_to_4095_octet_packets: 0
rx_4096_to_8191_octet_packets: 0
rx_8192_to_9022_octet_packets: 0
tx_octets: 1121310249
tx_collisions: 0
tx_xon_sent: 0
tx_xoff_sent: 0
tx_flow_control: 0
tx_mac_errors: 0
tx_single_collisions: 0
tx_mult_collisions: 0
tx_deferred: 0
tx_excessive_collisions: 0
tx_late_collisions: 0
tx_collide_2times: 0
tx_collide_3times: 0
tx_collide_4times: 0
tx_collide_5times: 0
tx_collide_6times: 0
tx_collide_7times: 0
tx_collide_8times: 0
tx_collide_9times: 0
tx_collide_10times: 0
tx_collide_11times: 0
tx_collide_12times: 0
tx_collide_13times: 0
tx_collide_14times: 0
tx_collide_15times: 0
tx_ucast_packets: 1243162
tx_mcast_packets: 0
tx_bcast_packets: 59
tx_carrier_sense_errors: 0
tx_discards: 0
tx_errors: 0
dma_writeq_full: 0
dma_write_prioq_full: 0
rxbds_empty: 0
rx_discards: 0
rx_errors: 0
rx_threshold_hit: 1153308
dma_readq_full: 0
dma_read_prioq_full: 0
tx_comp_queue_full: 0
ring_set_send_prod_index: 1243221
ring_status_update: 1367398
nic_irqs: 1334967
nic_avoided_irqs: 32431
nic_tx_threshold_hit: 86473
--------------------

Leider kann ich mit der Ausgabe von ethtool nicht wirklich so viel anfangen. Kann mir jemand helfen?

Grüße

Caipi

[Dellerium]

Hi..

Um mal nur die Performance des Netzwerks zu testen - also ohne andere Protokolle etc - kannst du z.B. netperf benutzen. Dort kannst du auch diverse Parameter angeben. z.B. wie grosse ide Daten Pakete sein sollen etc.

So kann man das Problem dann langsam einkreisen...

[CaipiX]

Kann ich das auch über eine zweite NW-Karte an der gleichen Maschine testen? Habe gerade keinen zweiten Linux rechner mehr und für WinXP oder OSX scheint es keinen client zu geben.

[CaipiX]

Ausserdem ist es ja auch bei einer Direktverbindung langsam, somit sollte ich ja netzwerkprobleme ausschliessen koennen!?

[emba]

tritt das phänomen nur zwischen den beiden rechnern auf oder generell mit dem live system?

greez

[CaipiX]

es tritt generell zwischen irgend einem client (WinXP oder OSX) und dem Server auf (egal ob test- oder live-). Beides sind 64bit Systeme habe aber auf dem Test-Server auch schon ein 32bit System gehabt.

[emba]

kannst du mal mit netio einen benchmark starten?

greez

[CaipiX]

tja leider bekomme ich netio unter 64bit nicht zum laufen, bringt netperf auch was?

[Dellerium]

Kann ich das auch über eine zweite NW-Karte an der gleichen Maschine testen? Habe gerade keinen zweiten Linux rechner mehr und für WinXP oder OSX scheint es keinen client zu geben.

Hmm... also ganz ehrlich - keine Ahnung. Das hab ich damit noch nicht versucht =)

Für Windows müsste es einen Client geben. Ich hab mit dem Tool mal die Datendurchsätze zwischen Windows/ Linux in allen möglichen Konfigurationen getestet...

Aber woher ich die Software hatte weiss ich nicht mehr.

[CaipiX]

So, habe jetzt netperf auf zwei Rechnern installiert und folgende Ausgaben.

TCP STREAM TEST to 192.168.1.123
Recv Send Send
Socket Socket Message Elapsed
Size Size Size Time Throughput
bytes bytes bytes secs. 10^6bits/sec

87380 16384 16384 10.01 940.52

------------------------------------------------

TCP REQUEST/RESPONSE TEST to 192.168.1.123
Local /Remote
Socket Size Request Resp. Elapsed Trans.
Send Recv Size Size Time Rate
bytes Bytes bytes bytes secs. per sec

16384 87380 1 1 10.01 14715.23
16384 87380

-------------------------------------


Grüße

Caipi