Throughput massimo aggregazione link (LACP / 802.3ad)

Sto vedendo alcuni comportamenti confusi riguardo alle interfacce legate su Linux e mi piacerebbe gettare la situazione là fuori nella speranza che qualcuno possa chiarirmi.

Ho due server: il Server 1 (S1) ha 4 connessioni Ethernet da 1 Gbit; Il server 2 (S2) ha 2 connessioni Ethernet da 1 Gbit. Entrambi i server eseguono Ubuntu 12.04, anche se con il kernel 3.11.0-15 (dal pacchetto lts-saucy linux-generic).

Entrambi i server hanno tutte le rispettive interfacce di rete raggruppate in un'unica interfaccia bond0 con la seguente configurazione (in /etc/network/interfaces):

bond-mode 802.3ad
bond-miimon 100
bond-lacp-rate fast
bond-slaves eth0 eth1 [eth2 eth3]

Tra i server ci sono un paio di switch HP che sono (credo) correttamente configurati per LACP sulle porte in questione.

Ora il collegamento funziona: il traffico di rete scorre felicemente da e verso entrambe le macchine. E vengono utilizzate tutte le rispettive interfacce, quindi non è come se l'aggregazione fallisse completamente. Tuttavia, ho bisogno della massima larghezza di banda possibile tra questi due server e non ottengo i ~ 2Gbit / s che mi aspetterei.

Nei miei test, posso osservare che ogni server sembra allocare ogni connessione TCP (ad esempio iperf, scp, nfs, qualunque cosa) a una singola interfaccia slave. In sostanza tutto sembra limitato a un massimo di 1 gigabit.

Impostando bond-xmit-hash-policy layer3+4, posso usare iperf -c S1 -P2per inviare su due interfacce slave, ma sul lato server, la ricezione si verifica ancora solo su un'interfaccia slave e il throughput totale è quindi limitato a 1 Gbit / s, ovvero il client mostra ~ 40-50MB / s su due interfacce slave, il server mostra ~ 100 MB / s su un'unica interfaccia slave. Senza impostare bond-xmit-hash-policyl'invio è anche limitato a un'interfaccia slave.

Avevo l'impressione che LACP dovesse consentire questo tipo di raggruppamento di connessioni, consentendo, ad esempio, un singolo trasferimento scp per utilizzare tutte le interfacce disponibili tra i due host.

La mia comprensione di LACP è sbagliata? O ho perso alcune opzioni di configurazione da qualche parte? Eventuali suggerimenti o indizi per le indagini sarebbero molto apprezzati!

Una spiegazione rapida e sporca è che una singola linea di comunicazione che utilizza LACP non dividerà i pacchetti su più interfacce. Ad esempio, se si dispone di una singola connessione TCP per lo streaming di pacchetti da HostA a HostB, non si estenderanno le interfacce per l'invio di tali pacchetti. Ultimamente ho cercato LACP qui per una soluzione a cui stiamo lavorando e questo è un malinteso comune sul fatto che "legare" o "trunking" interfacce di rete multiple con LACP ti dia un "throughput" delle interfacce combinate. Alcuni fornitori hanno creato driver proprietari che eseguiranno il routing su più interfacce ma lo standard LACP non è quello che ho letto. Ecco un link a un diagramma e una spiegazione decenti che ho trovato da HP durante la ricerca di problemi simili: http://www.hp.com/rnd/library/pdf/59692372.pdf

bond-xmit-hash-policy layer3+4imposta il bilanciamento del carico dal server di origine allo switch. Non imposta l'algoritmo di bilanciamento del carico dallo switch al secondo server. Questo è quasi certamente ancora bilanciato di livello 2 o livello 3, cioè per niente.

Bene, prima di tutto, quando si utilizza un driver di gruppo, ciò creerà un sovraccarico e ridurrà la velocità massima prevista, che è ~ 940 MB / s su un adattatore da 1 GB, del ~ 10%.

Non sono sicuro del tipo di adattatore in uso, ma se si utilizzano driver integrati, le impostazioni non sono probabilmente ideali per la velocità effettiva massima. potresti prendere in considerazione l'aggiunta di code, fino a 4, poiché una singola coda sull'adattatore probabilmente non può raggiungere la velocità del filo.

Un'altra considerazione, è che un thread di iperf probabilmente non otterrà la massima velocità. Per 1 GB, 2-6 thread è probabilmente più ideale, è possibile utilizzare un semplice script bash per avviare più thread contemporaneamente.

Per una scheda di rete Intel, ma RSC e hardware RSC possono influire sulla velocità effettiva, su Broadcom assicurarsi che TOE funzioni.

Il primo passo, tuttavia, sarebbe quello di rimuovere i GAL e provare a testare 1 porta di traffico su ciascun sistema per vedere quanto throughput ottiene, farlo con tutte le porte, quindi provare 2. LACP è una bestia volubile da configurare giusto, e non ho mai provato a configurarlo su uno switch HP, solo Force10 (pre-Dell).

Inoltre, perché ci sono un paio di interruttori?