sfondo

Abbiamo avuto un incidente in cui un cluster di failover di Windows ha subito un'interruzione. Un post mortem ha mostrato che il nodo è stato "rimosso" come descritto in questo articolo .

Solo di recente abbiamo migrato completamente questo cluster nel nostro ambiente VMware e sembra che l'evento sopra descritto possa essere stato la causa dell'interruzione.

L'articolo VMware KB associato su questo parla di aumentare l' Small Rx Bufferse l' Rx Ring #1impostazione, ma avverte che l'aumento questi troppo potrebbe aumentare drasticamente sovraccarico di memoria sull'host.

Dopo un controllo dei Network Interface\Packets Received Discardedcontatori delle prestazioni per le nostre ~ 150 macchine virtuali Windows, 22 vNIC su 16 guest avevano alcuni pacchetti scartati.

Una quantità abbastanza piccola che non sono preoccupato di tassare gli host con l'utilizzo di memoria aggiuntiva, ma voglio capire come viene utilizzata la memoria per queste impostazioni e da dove proviene la memoria.

Domande

1. Qual è la relazione tra numero di buffer e dimensioni dell'anello?
2. Come si calcola la quantità di memoria utilizzata per determinati valori di queste impostazioni?
3. Poiché queste impostazioni si trovano sulla stessa NIC all'interno del sistema operativo guest, presumo che siano impostazioni del driver. Questo mi fa pensare che la RAM utilizzata potrebbe essere pool paginato o non paginato.
   1. È corretto?
   2. Se è così, dovrei essere preoccupato per quello?
4. Ci sono dubbi che non sto prendendo in considerazione qui?

Stiamo cercando di determinare se esiste un inconveniente nell'impostare questi valori al massimo sulle VM interessate, oltre all'utilizzo della memoria dell'host VMware. Se stiamo aumentando il rischio di esaurimento della memoria del pool nel guest, ad esempio, siamo più propensi a iniziare in piccolo.

Alcune (forse tutte) di queste domande potrebbero non essere specifiche per VMware o virtualizzazione.

Qual è la relazione tra numero di buffer e dimensioni dell'anello?

Sono imparentati, ma indipendenti. Il "ring" rx si riferisce a un set di buffer in memoria che vengono utilizzati come coda per passare i pacchetti di rete in arrivo dall'host (hypervisor) al guest (VM di Windows). La memoria viene riservata nel guest dal driver di rete e viene mappata nella memoria host.

Quando arrivano nuovi pacchetti di rete sull'host, vengono messi sul successivo buffer disponibile sul ring. Quindi, l'host innesca un IRQ nel guest, a cui il driver guest risponde togliendo il pacchetto dall'anello e inviandolo allo stack di rete del sistema operativo guest, che presumibilmente lo invia all'applicazione guest inducendolo a riceverlo. Supponendo che i pacchetti arrivino abbastanza lentamente e che il driver guest li stia elaborando abbastanza velocemente, dovrebbe esserci sempre uno slot libero sul ring. Tuttavia, se i pacchetti arrivano troppo velocemente o l'ospite li sta elaborando troppo lentamente, l'anello può diventare pieno e i pacchetti potrebbero essere eliminati (come hai visto nella tua situazione).

L'aumento della dimensione dell'anello può aiutare a mitigare questo problema. Se lo aumenti, più slot saranno disponibili sul ring alla volta. Questo segue la seconda impostazione, "Small Rx Buffers", che è la quantità totale di buffer disponibili che possono essere utilizzati per riempire gli slot nell'anello. Devono esserci almeno tanti buffer quanti slot nell'anello. In genere vuoi di più. Quando il guest toglie un buffer dal ring per assegnarlo allo stack di rete del guest, potrebbe non essere sempre restituito immediatamente al driver. Se ciò accade, avere buffer di riserva per riempire l'anello significa che puoi andare più a lungo senza far cadere i pacchetti.

I buffer Rx Ring # 1 / Small Rx sono utilizzati per frame non jumbo. Se si dispone di una configurazione NIC predefinita, questo è l'unico anello che verrà utilizzato.

Come si calcola la quantità di memoria utilizzata per determinati valori di queste impostazioni?

Supponendo che tu stia parlando di frame non jumbo, ogni buffer deve essere abbastanza grande da contenere un intero pacchetto di rete, all'incirca 1,5 kb. Quindi, se hai 8192 buffer disponibili, utilizzare 12 MB. Un anello più grande utilizzerà anche più memoria, ma i descrittori sono piccoli (byte), quindi sono davvero i buffer di cui devi preoccuparti.

Poiché queste impostazioni si trovano sulla stessa NIC all'interno del sistema operativo guest, presumo che siano impostazioni del driver. Questo mi fa pensare che la RAM utilizzata potrebbe essere pool paginato o non paginato.

Sì, è un pool non di paging. Se i buffer ad anello fossero impaginati, ciò comporterebbe probabilmente la caduta di pacchetti mentre i buffer venivano ripagati.

Ci sono dubbi che non sto prendendo in considerazione qui?

Non sono sicuro che ciò sia rilevante per la tua situazione, ma potrebbe valere la pena notare che un anello più grande aumenterà il footprint della cache del percorso rx della rete. Nei microbenchmark vedrai che un anello più grande di solito fa male alle prestazioni. Detto questo, nelle applicazioni della vita reale, se un pacchetto viene eliminato, di solito si tratta di un affare maggiore rispetto a un piccolo aumento delle prestazioni in raffiche di velocità.

Fonte: ho lavorato in VMware.

Non ho una risposta per il punto 1-2-3, ma puoi verificare con il tuo ingegnere virtuale la configurazione dell'host Vmware. Se è VCP capirà le cose :)

Devi davvero controllare il tuo host perché i problemi di Windows potrebbero essere nell'host non nel guest.

Esistono molte funzionalità hardware che potrebbero spiegare i tuoi problemi, directpath io, rss, vcpu, schema di gestione dell'alimentazione ...

Posso darti qualche link che aiuti il ​​tuo team virtuale o tu :)

Questo link riguarda l'ottimizzazione dell'host http://buildvirtual.net/tuning-esxi-host-networking-configuration/

E questo grasso pdf:

http://www.vmware.com/pdf/Perf_Best_Practices_vSphere5.0.pdf

E questo riguarda rss:

http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2008925

Non sono in grado di cercare completamente e di indirizzarti alle pagine giuste: quindi ti sto chiedendo di cercare tu stesso i dettagli ... (scusa)

In Fail over Cluster ci sono 4 impostazioni che possono essere modificate; e non influenzeranno i buffer o paginati o non paginati ... Cambia il modo in cui Fail over Cluster prende la decisione di considerare un nodo "rimosso". Queste impostazioni sono:

SameSubnetDelay SameSubnetThreshold CrossSubnetDelay CrossSubnetThreshold

Potrebbero non risolvere il tuo problema, ma ottimizzarli potrebbe metterti nei guai al momento ...

Quando tornerò lunedì, tornerò a questo post se hai ulteriori domande

HTH, Edwin.