MAC address flapping bei Bonding in Mode 0

[timbo123]

Hi.

Ich habe folgende Interface-Konfiguration in CentOS:

eth0 und eth2 sind zusammengefasst zu bond0.

bond0 wird in vlan1 und vlan2 verwendet.

Habe dann mal versucht, den Server von meinem PC aus anzupingen:

[PC-NAME] C:\>hrping.exe <IP des Servers>
-t -s 100
This is hrPING v2.44 by cFos Software GmbH -- http://www.cfos.de

Using source IP address <IP MEINES PCs> to send packets
Pinging <IP1 des Servers>
with 32 bytes data (60 bytes IP):

[...] (verlorene Pings)

Reply from <IP1 des Servers>: seq=002c time=2.498ms TTL=63 ID=7a28
Reply from <IP1 des Servers>: seq=002d time=0.280ms TTL=63 ID=7a2a
Reply from <IP1 des Servers>: seq=002e time=2.196ms TTL=63 ID=7a2c
Reply from <IP1 des Servers>: seq=002f time=0.287ms TTL=63 ID=7a2d
Reply from <IP1 des Servers>: seq=0030 time=0.966ms TTL=63 ID=7a2e
Reply from <IP1 des Servers>: seq=0031 time=1.728ms TTL=63 ID=7a2f
Reply from <IP1 des Servers>: seq=0032 time=0.282ms TTL=63 ID=7a30
Reply from <IP1 des Servers>: seq=0033 time=1.083ms TTL=63 ID=7a31
Reply from <IP1 des Servers>: SEQ=0035 time=0.277ms TTL=63 ID=7a33
[...] (verlorene Pings)

Reply from <IP1 des Servers>: SEQ=00ca time=64.026ms TTL=63 ID=7a40
Reply from <IP1 des Servers>: SEQ=00c9 time=164.959ms TTL=63 ID=7a3f
Reply from <IP1 des Servers>: SEQ=00cb time=0.273ms TTL=63 ID=7a42
Reply from <IP1 des Servers>: seq=00cc time=2.070ms TTL=63 ID=7a44
Reply from <IP1 des Servers>: seq=00cd time=0.272ms TTL=63 ID=7a45
Reply from <IP1 des Servers>: seq=00ce time=0.918ms TTL=63 ID=7a46
Reply from <IP1 des Servers>: seq=00cf time=1.549ms TTL=63 ID=7a47
Reply from <IP1 des Servers>: seq=00d0 time=0.274ms TTL=63 ID=7a48
Reply from <IP1 des Servers>: seq=00d1 time=2.409ms TTL=63 ID=7a49
Reply from <IP1 des Servers>: SEQ=00d3 time=0.274ms TTL=63 ID=7a4b

[...] (verlorene Pings)

[Aborting...]
274 Requests timed out.

Statistics for <IP1 des Servers>:
Packets: sent=293, rcvd=19, error=0, lost=274 (93% loss) in 21.101700 sec
RTTs of replies in ms: min/avg/max/dev: 0.272 / 12.980 / 164.959 / 39.538
################################################## #############################

Das gleiche Problem tritt bei IP2 des Servers auch auf.
Eine ssh-Verbindung ist nahezu unmöglich, weil die Verbindung immer abbricht.

Habe mir jetzt mal angeguckt, was auf meinem Switch passiert.
Dort flappt die MAC-Adresse immer zwischen den beiden Ports hin und her, weil an beiden die gleiche Adresse anliegt. Liegt wohl daran, dass bond0 sich die MAC-Adresse von eth0 geschnappt hat und diese jetzt für beide Ports verwendet.

Kann ich dieses Problem irgendwie umgehen?

Danke.

[just4uk]

Die Vorgehensweise mit der MAC-Adresse ist aber so wie es sein soll!
Der bondingtreiber nimmt die MAC des ersten Interfaces und verwendet diese für alles drei (d.h. bond0 eth0 und eth1).
Das ist schon richtig so. Was jetzt aber Dein Switch macht sollte er eigentlich nicht tun.
Um was für einen Switch handelt es sich da? Lässt sich das etwas konfigurieren?

Gruß aus L.E.
Uwe
Hier mal der Output von meinem ifconfig

nas1:~# ifconfig
bond0     Link encap:Ethernet  Hardware Adresse 00:17:31:c4:63:79
          inet Adresse:192.168.99.221  Bcast:10.0.0.255  Maske:255.255.255.0
          inet6-Adresse: fe80::217:31ff:fec4:6379/64 Gültigkeitsbereich:Verbindung
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metrik:1
          RX packets:382128 errors:0 dropped:0 overruns:0 frame:0
          TX packets:307571 errors:0 dropped:0 overruns:0 carrier:0
          Kollisionen:0 Sendewarteschlangenlänge:0
          RX bytes:49207975 (46.9 MiB)  TX bytes:641951167 (612.2 MiB)

eth0      Link encap:Ethernet  Hardware Adresse 00:17:31:c4:63:79
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metrik:1
          RX packets:188047 errors:0 dropped:0 overruns:0 frame:0
          TX packets:153786 errors:0 dropped:0 overruns:0 carrier:0
          Kollisionen:0 Sendewarteschlangenlänge:1000
          RX bytes:24450310 (23.3 MiB)  TX bytes:319417684 (304.6 MiB)
          Interrupt:247

eth1      Link encap:Ethernet  Hardware Adresse 00:17:31:c4:63:79
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metrik:1
          RX packets:194081 errors:0 dropped:0 overruns:0 frame:0
          TX packets:153785 errors:0 dropped:0 overruns:0 carrier:0
          Kollisionen:0 Sendewarteschlangenlänge:1000
          RX bytes:24757665 (23.6 MiB)  TX bytes:322533483 (307.5 MiB)
          Interrupt:246 Basisadresse:0x2000

[timbo123]

Ich hab ein Cisco Switch.

Cisco sagt zu der Fehlermeldung, dass man etwas am Client ändern soll.
Scheint also nicht möglich zu sein

[honkstar]

Hast du am Cisco die Konfig angepasst, oder läuft die noch auf default?
Poste die Konfig mal (für die betreffenden Ports)

[timbo123]

Hast du am Cisco die Konfig angepasst, oder läuft die noch auf default?
Poste die Konfig mal (für die betreffenden Ports)

Für den Switch ist ein anderer Kollege zuständig. Er meinte, da lässt sich nichts umkonfigurieren.

Ports sind auf Trunk gesetzt, weil später mehrere VLANs darüber laufen sollen.


http://www.cisco.com/en/US/products/ps10118/index.html <- Dieser Switch müsste es sein.

[HBtux]

Bei Cisco müsste meines Wissens "Etherchannel" für die Port konfiguriert werden.... (so heißt bei Cisco das Bonding)

Beide Geräte müssen logischerweise im gleichen Bonding-Mode laufen.

Das flappen der MAC-Adresse deutet darauf hin, dass der Switch nicht im Etherchannel-Modus läuft und deshalb die MAC auf zwei verschiedenen Ports gleichzeitig sieht.... (also die MAC flappt zwischen den Ports)

[timbo123]

Danke Funktioniert.

Habe jetzt mal mit iperf ein paar Daten hin und her geschickt.

eth0:
RX bytes:123817392 (118.0 MiB) TX bytes:63136082 (60.2 MiB)

eth2:
RX bytes:2805 (2.7 KiB) TX bytes:63138460 (60.2 MiB)

Wie kommts, dass er auf eth2 keine Daten empfängt?

[BedriddenTech]

Weil einer Verbindung beim Senden dann eine MAC-Adresse zugeordnet ist.
Den Aufwand hättest Du Dir mit einem anderen Bonding-Modus eigentlich sparen können.

[timbo123]

Weil einer Verbindung beim Senden dann eine MAC-Adresse zugeordnet ist.
Den Aufwand hättest Du Dir mit einem anderen Bonding-Modus eigentlich sparen können.

Wäre das dann mode6?
Den hatte ich vorhin (nachdem ich etherchannel aktiviert hatte) mal ausprobiert. da ging gar nix :/

[HBtux]

Danke Funktioniert.
Habe jetzt mal mit iperf ein paar Daten hin und her geschickt.
eth0:
RX bytes:123817392 (118.0 MiB) TX bytes:63136082 (60.2 MiB)
eth2:
RX bytes:2805 (2.7 KiB) TX bytes:63138460 (60.2 MiB)
Wie kommts, dass er auf eth2 keine Daten empfängt?

Welchen Mode hast Du hier eingestellt....?
Ist auf dem Cisco-Switch nun Etherchannel konfiguriert?
Ist auf beiden Seiten der gleiche Mode eingestellt?

Ich weiß nicht genau was Du mit dem Bondig erreichen willst, aber dass was ich bisher gelesen habe, sollte für Dich der Mode 0, 5 oder 6 in Frage kommen.

http://www.cisco.com/en/US/tech/tk38...80094714.shtml

http://www.cisco.com/en/US/tech/tk38...ples_list.html

http://www.blazilla.de/index.php?/ar...ter-Linux.html

[timbo123]

Welchen Mode hast Du hier eingestellt....?
Ist auf dem Cisco-Switch nun Etherchannel konfiguriert?
Ist auf beiden Seiten der gleiche Mode eingestellt?

Ich weiß nicht genau was Du mit dem Bondig erreichen willst, aber dass was ich bisher gelesen habe, sollte für Dich der Mode 0, 5 oder 6 in Frage kommen.

http://www.cisco.com/en/US/tech/tk38...80094714.shtml

http://www.cisco.com/en/US/tech/tk38...ples_list.html

http://www.blazilla.de/index.php?/ar...ter-Linux.html

Ich habe momentan Mode 0. Dabei wird halt leider nur der Upstream auf beide Interfaces verteilt.

Eigentliches Ziel war es bspw. VLAN 1 bis 10 über eth0 laufen zu lassen und VLAN 11 bis 20 auf eth2. Wenn ein Interface ausfällt, sollen alle aufs andere umschwenken.
Dafür müsste ich 2 Bonding-Interfaces in Mode 1 konfigurieren. Das geht aber nicht, weil ein physikalisches Interface nur in einem bond Slave sein kann.
Also hab ich mich dafür entschieden nur ein Bonding-Interface zu erstellen, das Load-Balancing betreibt.

Etherchannel wurde auf dem Switch konfiguriert. Sonst würde Mode nicht funktionieren (hatte ich ja am Anfang. Stichwort: MAC address flapping).

Zu den empfohlenen Modes:
0: nur der Upstream wird verteilt
5: klingt für mich genau so wie 0
6: da verstehe ich die Beschreibung nicht wirklich


Was meinst du mit "Ist auf beiden Seiten der gleiche Mode eingestellt?"?

[HBtux]

Zu den empfohlenen Modes:
0: nur der Upstream wird verteilt
5: klingt für mich genau so wie 0
6: da verstehe ich die Beschreibung nicht wirklich

Das ist meine ich nicht ganz richtig....
Einen Upstream in dem Sinne gibt es nicht.....
Jeder Reguest wird beantwortet. Egal ober er vom Server oder vom Client aus geht....
Im Ethernet redet man deshalb nicht vom Upstream.

Mode 0 (balance-rr)
Round-robin Policy: Übertragt Pakete über alle im Bonding
enthaltene NICs. Dieser Modus bietet Lastverteilung und Redundanz.

Bei Mode 0 (Round-robin) werden die Pakete meines Wissens einfach abwechselnd auf alle Interfaces verteilt....

Mode 5 (balance-tlb)
Adaptive transmit load balancing: Ausgehender Verkehr wird, abhängig von
der Last, über alle NICs verteilt. Eingehender Verkehr wird von der
jeweiligen NIC empfangen. Fällt eine NIC aus, übernimmt eine andere
NIC im Bonding die Mac-Adresse der ausgefallenen Karte.

Hier wird je nach Last verteilt....
Wobei die Antwort dann wieder an die Netzwerkkarte zurückgeschickt wird, von der auch der Request kam....
Also - Pakete versenden mit gleichmäßiger Lastverteilung - Rückantwort allerdings auf das gleiche Interface - egal wie dieses gerade ausgelastet ist.

Mode 6 (balance-alb)
Adaptive load balancing: Wie balance-tlb, aber mit einer Lastverteilung
für IPv4 Traffic. Dazu werden ausgehende ARP Anfragen manipuliert und jedes
Mal eine andere Mac-Adresse einer NIC im Bonding verwendet.

Ähnlich wie Mode 5 - nur wird beim ARP-Request die MAC-Adresse variabel zurückgegeben....

Quelle: Blog von bla!zilla
http://www.blazilla.de/index.php?/ar...ter-Linux.html

Was meinst du mit "Ist auf beiden Seiten der gleiche Mode eingestellt?"?

Das soll heißen, dass der Server und der Switch im gleichen Bonding-Mode betrieben werden muss....
Server z.B. auf Mode 0 und Switch z.B. auf Mode 5 ist so, wie wenn sich ein Japaner und ein Franzose unterhalten.....

[BedriddenTech]

Eigentliches Ziel war es bspw. VLAN 1 bis 10 über eth0 laufen zu lassen und VLAN 11 bis 20 auf eth2. Wenn ein Interface ausfällt, sollen alle aufs andere umschwenken.
Dafür müsste ich 2 Bonding-Interfaces in Mode 1 konfigurieren. Das geht aber nicht, weil ein physikalisches Interface nur in einem bond Slave sein kann.
Also hab ich mich dafür entschieden nur ein Bonding-Interface zu erstellen, das Load-Balancing betreibt.

Das verstehe ich nicht. Wenn Du Ausfallsicherheit haben willst, dann packst Du beide Schnittstellen in einen Verbund, und der wird bspw. mit Modus 1 konfiguriert. Dann ist eine der Schnittstellen passiv mit drin und übernimmt dann, wenn die erste nicht mehr funktioniert.

[timbo123]

Das ist meine ich nicht ganz richtig....
Einen Upstream in dem Sinne gibt es nicht.....
Jeder Reguest wird beantwortet. Egal ober er vom Server oder vom Client aus geht....
Im Ethernet redet man deshalb nicht vom Upstream.


Bei Mode 0 (Round-robin) werden die Pakete meines Wissens einfach abwechselnd auf alle Interfaces verteilt....

Dann wunderts mich, dass er es trotzdem nicht richtig aufteilt. Receive läuft ja nur über eth0.

Das soll heißen, dass der Server und der Switch im gleichen Bonding-Mode betrieben werden muss....
Server z.B. auf Mode 0 und Switch z.B. auf Mode 5 ist so, wie wenn sich ein Japaner und ein Franzose unterhalten.....

Beim Switch wurde nur die Option Etherchannel ausgewählt. Müsste dann ja standardmäßig (wenn es so ist wie beim Bonding unter Linux) Mode 0 sein. Werde mir das am Montag mal angucken.

Das verstehe ich nicht. Wenn Du Ausfallsicherheit haben willst, dann packst Du beide Schnittstellen in einen Verbund, und der wird bspw. mit Modus 1 konfiguriert. Dann ist eine der Schnittstellen passiv mit drin und übernimmt dann, wenn die erste nicht mehr funktioniert.

Der Server steht in mehreren VLANs. Mode 1 war ja eigentlich gewünscht. Aber dann so, dass ich 2 bonds habe, von denen einer primär auf eth0 und einer primär auf eth2 läuft.
Allerdings könnte die Geschichte eine angenehme Wendung finden, da das ganze unter Umständen später mal für ESX-Server und somit für VMs verwendet wird. Da kann ich ja dann auf jeder virtuellen Maschine einen bond erstellen mit PRIMARY. Dann würde alles optimal so laufen, wie ich es auch schon mal konfiguriert hatte.
Das klärt sich auch alles Montag.
Gebe dann noch mal ne Rückmeldung.

MfG
und schönes Restwochenende

[bla!zilla]

Die Erklärung war übrigens aus meinem Blog kopiert, oder eine der zahlreichen im Internet zu findenden Kopien.