L'hardware di rete dovrebbe essere impostato su velocità di "autonegotiate" o velocità fisse?

Recentemente abbiamo avuto un piccolo problema con la rete in cui più server avrebbero perso la connettività di rete in modo intermittente in un modo abbastanza doloroso da risolvere (riavvio forzato richiesto). Questo è andato avanti per circa due settimane, apparentemente a caso, su server diversi. Nessun modello particolare che potessimo discernere.

Dopo alcuni approfondimenti, abbiamo visto che lo switch stava segnalando 100 Mbps per la porta del problema:

Questo suona notevolmente come quello che è successo nell'articolo di Joel Spolsky Five Whys

Michael ha trascorso un po 'di tempo a fare un post mortem e ha scoperto che il problema era un semplice problema di configurazione sullo switch. Esistono diverse velocità possibili che uno switch può utilizzare per comunicare (10, 100 o 1000 megabit / secondo). È possibile impostare manualmente la velocità oppure consentire allo switch di negoziare automaticamente la velocità massima con cui entrambe le parti possono lavorare. L'interruttore non funzionante era stato impostato per la negoziazione automatica. Di solito funziona, ma non sempre, e la mattina del 10 gennaio no.

Ora abbiamo disabilitato la negoziazione automatica sul nostro hardware di rete e lo abbiamo impostato su una velocità fissa di 1000 Mbps (gigabit).

Le mie domande a quelli con maggiori competenze di rete hardware server:

1. Quanto sono comuni i problemi di negoziazione automatica con i moderni hardware di rete?
2. È considerata una buona pratica di rete standard disabilitare la negoziazione automatica e impostare velocità fisse durante l'impostazione della rete?

1. Devo ancora vedere un problema con la negoziazione automatica delle velocità di rete che non è causata da (a) una mancata corrispondenza del manuale a un'estremità del collegamento e automatica dall'altra o (b) un componente difettoso del collegamento ( cavo, porta, ecc.).

2. Questo dipende dall'amministratore, ma la mia esperienza mi ha dimostrato che se si specificano manualmente le velocità di collegamento e le impostazioni duplex, si è tenuti a imbattersi in velocità non corrispondenti. Perché? Perché è quasi impossibile documentare le varie connessioni tra switch e server e quindi seguire tale documentazione quando si apportano modifiche. La maggior parte degli errori che ho visto sono dovuti a 1 (a) e ti trovi in ​​quella situazione solo quando inizi a configurare manualmente le impostazioni di velocità / duplex.

Come menzionato nella documentazione Cisco :

Se disabiliti la negoziazione automatica, nasconde le interruzioni dei collegamenti e altri problemi di livello fisico. Disabilitare la negoziazione automatica solo sui dispositivi finali, come schede di rete Gigabit precedenti che non supportano la negoziazione automatica Gigabit. Non disabilitare l'autonegotiation tra switch, a meno che non sia assolutamente necessario, poiché i problemi di livello fisico possono non essere rilevati e provocare lo spanning dei loop degli alberi.

A meno che non si sia pronti a configurare un sistema di gestione delle modifiche per le modifiche di rete che richiedono la verifica della velocità / duplex (e non dimenticare il controllo del flusso) o non si è disposti a gestire occasionali disallineamenti derivanti dalla specifica manuale di queste impostazioni su tutti i dispositivi di rete, quindi attenersi alla configurazione predefinita di auto / auto.

In futuro, prendere in considerazione il monitoraggio degli errori sulle porte dello switch con MRTG in modo da poter individuare questi problemi prima di avere un problema.

Modifica: vedo molte persone che fanno riferimento a errori di negoziazione su vecchie apparecchiature. Sì, questo è stato un problema molto tempo fa quando gli standard venivano creati e non tutti i dispositivi li seguivano. Le tue schede di rete e switch hanno meno di 10 anni? In tal caso, questo non sarà un problema.

1. Molto comune, ho avuto numerosi problemi nel corso degli anni con vari tipi di hardware.

2. Secondo me se l'installazione è statica (cioè un server rack) e non pensi che ci saranno cambiamenti, è una buona idea impostare manualmente velocità e duplex. Finché è ben documentato in modo da evitare problemi futuri.

MODIFICARE:

Solo per chiarire, non sto sostenendo l'uso della velocità manuale su tutta la tua rete, direi che il 95% delle volte auto / auto è la strada da percorrere. Sto solo dicendo che ho avuto problemi con duplex / velocità e ci sono piccole parti della mia rete (cioè uno dei nostri server rack) che hanno impostazioni principalmente manuali. Gestiamo una LAN molto controllata con porte inutilizzate che vengono chiuse e filtri MAC sulla maggior parte delle porte, quindi tenere traccia delle velocità non è molto difficile.

Credo che se l'autonegotiation funzionasse per un'ora al giorno o un mese e quindi per qualche motivo "succede qualcosa" che l'impostazione del collegamento a velocità fissa "lo risolve" c'è un problema che non viene risolto ma eluso. Immagino di vedere l'impostazione del collegamento su riparata come soluzione temporanea fino a quando il problema reale non viene corretto.

Quindi i passaggi per la risoluzione dei problemi (supponi che ti fermi dopo ciascuno e attendi che ricompaia il problema):

1. Controlla i log sullo switch per vedere se ti dice perché sta usando 100M.
2. Se lo stai ancora eseguendo, disattiva quella stronzata estremamente malvagia "Bilanciamento del carico di Windows" che Joel sta spingendo continuamente - il modo in cui funziona è rompendo la cache dello switch, costringendolo a elaborare ogni pacchetto di software. Lo switch è progettato per inoltrare i pacchetti nell'hardware e ha solo la CPU necessaria per capire quale percorso fisico deve seguire un flusso di traffico sconosciuto (in -> asic -> out) e programmare l'hardware per farlo (leggi: a La calcolatrice ha una CPU migliore del tuo switch, non fare cose stupide che rendono più difficile il funzionamento della CPU del tuo switch). Il bilanciamento del carico di Windows funziona facendo in modo che lo switch prenda questa decisione e reinstalla la cache hardware per ogni pacchetto. Questo potrebbe non risolvere questo particolare problema, ma mi dà fastidio dai podcast ... scusa.
3. Assicurati che la configurazione corrisponda ad entrambi i lati - sembra che tu l'abbia fatto
4. Google per i bug di autoneg sul tuo switch - a meno che tu non l'abbia creato tu stesso, non sei l'unico a provare a eseguire l'autoneg su qualunque cosa tu stia usando
5. Sostituisci il cavo, con Cat5e o superiore, idealmente un cavo che conosci, come quello a cui è collegata la tua workstation. Non provare a usare Cat5, o qualche schifezza fatta da qualcuno, usane uno che ha le estremità stampate effettive da un pacchetto.
6. Sposta la porta: colloca il server su una porta diversa sullo stesso switch
7. Cambia la scheda di rete: utilizza un batch diverso ordinato in un momento diverso

A questo punto, hai eliminato la configurazione, le porte fisiche a cui sei collegato, il cablaggio tra di loro. Se sta ancora accadendo, alcune altre cause potrebbero essere:

1. Instradamento dei cavi: prestare attenzione alle interferenze EM dei cavi di alimentazione CA, instradarli lungo i diversi lati del rack.
2. Raffreddamento - Assicurati che la tua temperatura ambientale non sia qualcosa di simile a 90 gradi e che le tue schede NIC non stiano cadendo in una sorta di modalità "caro dio fammi solo inoltrare questo pacchetto per favore". Ho sentito, ma non ho visto, ad esempio, che i router Cisco smettono di passare rapidamente e inoltrano i pacchetti tramite CPU quando si surriscaldano.
3. Sostituisci lo switch con qualcosa che non fa schifo: controlla la larghezza di banda che i tuoi host stanno parlando al secondo in totale, quindi osserva la capacità nominale del backplane dello switch. 7 host su 48 potenziali, tutti trasmettendo 1.0G sono sufficienti per arrestare un Cisco 3750, per esempio. Inoltre, fai molta attenzione ai fornitori di rete cheapo che gestivano anche: D-Link, Linksys, Dell, Intel e HP. Nessuno che tratta in rete usa seriamente quei ragazzi, e non perché "nessuno è mai stato licenziato per l'utilizzo di Cisco", ma perché "la gente ricorda che lo switch Intel che aveva 20/48 porte falliva in 2 anni" o "Ho usato ProCurve esclusivamente e ho parlato di quanto fosse malvagio Cisco, fino a quando non ho effettivamente utilizzato Cisco, a quel punto ho smesso di comprare qualcosa di meno ". Cisco è considerato di fascia mediafornitore di rete, quindi cosa ti dice sui ragazzi sotto Cisco ...? :-)

Background / perché la mia risposta è la più fantastica: lavoro come ingegnere di rete / sistemi nel settore finanziario, ed ecco la mia esperienza con la nostra rete globale di piccole dimensioni (15 filiali, 8 datacenter):

Tutte le nostre porte LAN sono autoneg, perché controlliamo l'apparecchiatura su entrambe le estremità e abbiamo un qualche tipo di accesso su entrambi i lati --- che può essere semplice come arrivare al telefono a qualcuno e far controllare le impostazioni. In tre anni, ho sempre avuto un guasto a una delle nostre porte interne a causa di un errore di autoneg, ed è stato a causa di un cavo difettoso, che è andato via dopo aver sostituito il cavo.

Avevamo molti più problemi in cui i predecessori avevano hardcoded 100 / full sulle loro schede NIC e non documentavano questo fatto. Ripristina tutto su auto / auto nella prossima finestra di manutenzione e da allora non ho più avuto problemi.

Nei posti in cui abbiamo un handoff di rame da un corriere per la nostra WAN? Dovresti aspettarti che una connessione WAN / Internet in rame faccia sempre schifo, in parte perché non hai idea di cosa ci sia dall'altra parte. Qualche interruttore Extreme estremo che ha un firmware difettoso per autoneg ma la codifica MPLS? Qualche convertitore multimediale da $ 5 perché il dispositivo Edge Ciena da $ 200k del tuo ISP è semplicemente fantastico per fornire Ethernet su doppino? Decidi in anticipo come sarà gestito e rispettalo, quindi aspettati che un twit all'interno del corriere lo cambi alle 22:00 di sabato perché la configurazione concordata non è mai stata documentata e hanno qualche politica da seguire.

Seriamente, però, ottieni un trasferimento di fibra dal tuo ISP.

La rete di cui sono responsabile (insieme ad alcuni altri ragazzi) è composta da ~ 40 server, oltre 1000 postazioni di lavoro (distribuite in un campus piuttosto grande) e ~ 1000 WAP anche in una vasta area con tipi ed età variabili di apparecchiature di rete.

Come diceva dimitri.p, quando qualcosa improvvisamente non riesce a fermare la negoziazione automatica, di solito è un'indicazione di un altro problema. Impostare manualmente la porta è come mettere un cerotto su qualcuno che è stato pugnalato all'intestino: potrebbe fermare l'emorragia, ma sicuramente ci sarà un danno sotto.

La mia solita lista di controllo:

• è cambiato qualcosa sulla macchina? autisti? Impostazioni a livello di sistema operativo o BIOS? Forse autoneg era disabilitato nel sistema operativo?
• hai sostituito i cavi patch e verificato il passaggio dei cavi (se si tratta di un logner eseguito su un rack?)
• hai testato per vedere se la porta dello switch è difettosa o non funziona?
• la NIC potrebbe andare male?

Di norma, non disabilitiamo mai l' autoneg sui server (o qualsiasi altra cosa nel data center) a meno che non sia una situazione in cui tutte le altre possibili cause sono state eliminate, abbiamo spostato le porte degli switch, cambiato i cavi, testato la scheda NIC, ecc. E non c'è altra scelta. In tal caso, viene documentato a morte. Ciò accade molto raramente e di solito con dispositivi a cui non è possibile accedere per controllare le impostazioni del BIOS e del sistema operativo.

Le workstation e gli AP, d'altra parte, sono una storia diversa. L'autoneg non riuscita è un classico segno di un cattivo funzionamento del cavo e molte volte dobbiamo impostare manualmente la velocità e il duplex fino a quando si avvicina la stagione estiva dei cavi nuovi nelle pareti.

Questo è il mito della rete. I nostri ragazzi della rete giurano su questa assurdità, perché nel 1998 gli switch Bay non avrebbero negoziato con Cisco o qualcosa del genere. Quindi, invece di utilizzare il valore predefinito per il 99,999% delle apparecchiature sulla terra, abbiamo questo ridicolo esercizio di gestione della configurazione e un ottimo capro espiatorio per quei momenti in cui un aggiornamento del driver della scheda di rete ripristina le impostazioni per la negoziazione automatica e succede qualcosa.

È diventato più divertente perché molti dei nostri server utilizzano funzionalità dubbie come il team NIC, che ti impediscono di perdere l'accesso alla rete nel caso improbabile di un errore dello switch, esponendoti al molto più probabile errore del software. (I driver fanno sempre schifo)

In difesa dei ragazzi della rete, molti server funzionano con i driver NIC predefiniti di Windows, che in genere fanno schifo. Se hai problemi con la negoziazione automatica e la tua attrezzatura non risale all'amministrazione Clinton, aggiorna i driver della scheda di rete.

Dovresti negoziare automaticamente. Se hai uno switch che non si negozia automaticamente in modo affidabile, acquista uno switch migliore.

Si suppone che Gigabit si auto-negozia e questo include il rilevamento di auto-crossover (MDI-X).

Si garantisce che 100baseT fallisca se un'estremità è impostata su auto e l'altra su manuale, e questo è conforme alle specifiche. Se imponi un'estremità a 100 / full, l'altra verrà automaticamente negoziata a 100 / half, dandoti una mancata corrispondenza duplex.

In genere imposto che i server vengano riparati in quanto ho visto che le apparecchiature di rete vengono negoziate a 10 / metà anziché a 1000 / pieno.

Inoltre, alcuni CoLos impostano i propri switch non per negoziare, ma per creare un collegamento solo a 1000 / pieno.

Disabilitare la negoziazione automatica in una configurazione iniziale non testata è simile alla programmazione voodoo: stai cambiando qualcosa senza una buona ragione. Se, dopo aver eseguito il test, vedi che c'è un duplex o una mancata corrispondenza della velocità o che ci sono errori eccessivi sulla porta, quindi partecipa a un'altra risoluzione dei problemi e, infine, correggi la configurazione, se necessario.

Quando si aggiorna un driver o si sostituisce l'hardware, non ci sono garanzie che le impostazioni vengano conservate sul lato server.

Impostare entrambi i lati del collegamento per negoziare o correggere entrambi i lati. Quando si fissano le impostazioni di velocità e duplex su alcuni dispositivi, questi non annunciano più le proprie capacità ai propri colleghi. Non so cosa dice lo standard Ethernet su cosa fare quando una parte annuncia funzionalità e l'altra parte no, e questo probabilmente significa che molti implementatori non lo sanno neanche. Alcuni sceglieranno il minimo comune denominatore, che è 10 metà e altri supporranno che tutto sia a posto e sceglieranno la velocità più veloce possibile.

Esistono alcuni hardware contemporanei che non supportano la negoziazione automatica su Ethernet gigabit in rame, come (almeno alcuni) switch Cisco con SFP in rame.

Molti anni fa ho trascorso un po 'di tempo a lavorare per 3com facendo supporto tecnico praticamente per tutte le loro apparecchiature di rete. È sorprendente quanto spesso si verifichi questo problema ed era praticamente una procedura standard per impostare tutto manualmente.

Ho avuto molti problemi con la negoziazione automatica. Molti, ovviamente, ne significano uno ogni pochi mesi, ma questo è un problema di troppo nel mio libro.

I problemi di negoziazione automatica sono difficili da trovare, in particolare quando le persone che gestiscono rete, server, applicazioni e database sono quattro team diversi. Di solito, gli ultimi due passeranno un sacco di tempo andando avanti e indietro, accusandosi a vicenda di cattive prestazioni e mentendo sulle misurazioni, e talvolta dando un calcio alle persone del server, che guarderanno debitamente l'output di "top" e diranno che tutto è bene con il server.

Questo continua fino a quando la questione non si intensifica al punto in cui un "esperto" (in realtà, qualcuno che è un generalista e quindi comprende reti, hardware, sistemi operativi, database, framework e applicazioni) viene assegnato al problema e trova il problema entro cinque o dieci minuti.

Quindi, la mia regola empirica, ogni volta che ho la possibilità di fare qualcosa al riguardo, è SEMPRE impostare velocità fisse su server di produzione, switcher e router. Anche i server non di produzione, se sono abbastanza separati per le persone che lo usano non hanno accesso root.

Gli switch che gestiscono l'accesso desktop / notebook possono essere lasciati per la negoziazione automatica e ci sono eccezioni alla regola. Solo per citarne uno, se ci sono molti cambiamenti in corso nella rete, è meglio lasciarlo in auto e tenere d'occhio le cose.

Un altro punto che può essere utile, qualunque sia la tua scelta in merito alla negoziazione automatica , è monitorare la cosa. Basta configurare Nagios o what-have-you per tenere d'occhio lo stato di qualsiasi porta importante. Stai già monitorando quell'apparecchiatura di rete, vero?

Uno approssimativo. Ho visto schede NIC 3com da 100 Mb che non si collegerebbero a nulla al di sopra di 10 Mb se si forzasse la velocità o il duplex. È possibile ottenere la massima velocità solo consentendo loro di negoziare automaticamente anche se il driver aveva impostazioni Full 100 e Half 100 Mb.

Molti driver NIC non ti consentono di specificare 1000 Mb. Le uniche scelte sono 10, 100, Auto. Ancora una volta ti costringe a fare Auto se vuoi la massima velocità. ad esempio il driver Broadcom netXtreme 57xx Gigabit si comporta in questo modo.

Puoi facilmente forzare Gigabit sullo switch, ma penso che sarai costretto a lasciare negoziare automaticamente la maggior parte delle schede di rete.

1. Nella mia esperienza (principalmente apparecchiature 3Com e HP, non molto Cisco), la negoziazione automatica non causa molti problemi.

2. Analogamente a mrdenny, di solito imposterò i server alla massima velocità (ne abbiamo ancora alcuni a 100), full duplex, e poi lascerò l'interruttore su auto. Dato che abbiamo una combinazione di velocità sia su server che su stazioni di lavoro, preferisco di gran lunga lasciare gli switch su auto e lasciarli adattarsi all'endpoint.

Ho avuto alcuni problemi con la negoziazione automatica in una configurazione domestica e il problema era il cablaggio, in particolare i cavi di rete arrotolati in un circuito con un diametro troppo piccolo o troppo vicino ai cavi di alimentazione.

Ma immagino che quei suggerimenti siano un po 'troppo banali per la tua configurazione. ;)

Di recente ho letto di questo in Network Warrior di Gary Donahue. Sulla base di questo libro affinché la negoziazione automatica funzioni correttamente SIA lo switch e la scheda NIC devono essere impostati sulla negoziazione automatica. L'impostazione della scheda NIC su una specifica velocità e modalità duplex e lasciando la negoziazione automatica del server non funzionerà correttamente: la negoziazione automatica è un protocollo ed entrambe le parti devono parlarne affinché le impostazioni funzionino correttamente.

Se si desidera impostare esplicitamente la velocità e la modalità duplex, è necessario farlo su entrambe le estremità della connessione.

Cisco discute alcuni casi in cui potresti voler configurare manualmente la velocità della porta e il duplex invece di usare la negoziazione automatica, quando usi i dispositivi di sicurezza PIX / ASA: http://www.cisco.com/en/US/products/hw/vpndevc/ps2030/ products_tech_note09186a008009491c.shtml # troubleshoot

La mia regola pratica è quella di utilizzare la negoziazione automatica per tutto tranne i collegamenti del router a meno che tu non abbia un problema specifico (come le recenti schede Broadcom ... BAH!)

Se ad esempio sono presenti due router collegati tramite Ethernet, impostare manualmente la velocità su entrambe le estremità.