In che modo la banda laterale IPMI condivide la porta Ethernet con l'host?

Abbiamo un numero di macchine Supermicro con funzionalità IPMI / BMC. Alcune di queste macchine usano un BMC integrato, mentre altre usano una scheda aggiuntiva .

Stiamo esaminando l'utilizzo della banda laterale a causa della riduzione dei costi e dei requisiti di cablaggio. Tuttavia, alcuni dettagli della fascia laterale non hanno proprio senso.

La banda laterale richiede un cavo Ethernet che è collegato a una porta Ethernet sulla scheda madre. Questa porta di rete viene quindi condivisa tra il sistema IPMI e il sistema operativo. Da quanto ho letto in questo manuale di Supermicro , "Usa lo stesso indirizzo MAC che stai utilizzando per LAN1 per la scheda SIMSO IPMI". Tuttavia, l'IPMI deve avere un indirizzo IP diverso rispetto al sistema operativo.

Come è possibile avere due dispositivi (il sistema operativo e l'IPMI) in grado di ascoltare e trasmettere su questa stessa porta di rete fisica? Quando arriva un pacchetto all'interfaccia, in che modo il sistema determina se questo pacchetto è destinato al sistema operativo o al sistema IPMI?

Questi pacchetti sono gestiti dalla CPU, usando gli interrupt della CPU? I pacchetti all'interfaccia IPMI possono essere visualizzati dal sistema operativo?

Gestisco molti server SuperMicro utilizzando l'IPMI di bordo. Ho una relazione amore / odio con l'ethernet condivisa (aka sideband). In generale, il modo in cui funzionano queste cose è che LAN1 sembra avere 2 (diversi) indirizzi MAC - uno è per l'interfaccia IPMI, l'altro è la tua scheda di rete Broadcom standard. Il traffico verso l'interfaccia IPMI (livello 2, basato sull'indirizzo MAC) viene magicamente intercettato al di sotto del livello del sistema operativo e mai visto da qualunque sistema operativo sia in esecuzione.

Hai già raggiunto il punto giusto per loro: meno cavi. Ora lasciami coprire alcuni degli aspetti negativi:

• È particolarmente difficile partizionare l'interfaccia IPMI su una sottorete separata in modo sicuro. Poiché il traffico passa tutto sullo stesso cavo, è necessario (quasi) avere sempre l'interfaccia IPMI e l'interfaccia LAN1 sulla stessa sottorete IP. Sulle ultime schede madri, le schede IPMI ora supportano l'assegnazione di una VLAN alla scheda di rete IPMI, in modo da poter ottenere una parvenza di separazione, ma il sistema operativo sottostante potrebbe sempre annusare il traffico per quella VLAN. I controller BMC meno recenti non consentono affatto di modificare la VLAN, sebbene strumenti come ipmitool o ipmicfg ti consentano apparentemente di cambiarlo, semplicemente non funziona.
• Stai centralizzando i punti di errore sul sistema. Fare la configurazione su uno switch e riesci a tagliarti in qualche modo? Congratulazioni, ora hai interrotto la connessione di rete primaria al tuo server E il backup tramite IPMI. NIC hardware non riuscito? Congratulazioni, stesso problema.
• I primi BMC SuperMicro IPMI erano noti per fare cose traballanti con l'interfaccia di rete. Se utilizzare la porta IPMI integrata o dedicata è stato spesso determinato all'accensione (non al riavvio) e non si attiva / disattiva da lì. Se si fosse verificata un'interruzione di corrente e lo switch non fornisse l'alimentazione abbastanza rapidamente, si potrebbe finire con l'IPMI che non funziona perché ha rilevato automaticamente l'impostazione errata.
• Personalmente ho avuto molti problemi di connettività bizzarri e inspiegabili per far funzionare in modo affidabile l'IPMI della banda laterale. A volte semplicemente non riuscivo a eseguire il ping dell'IP dell'interfaccia per alcuni minuti. A volte ricevevo una tempesta di pacchetti sulla VLAN assegnata, ma tutto il traffico sembrava essere stato eliminato.

Anche se questo non ha nulla a che fare con sideband-vs.-dedicato, noterò anche che gli strumenti per accedere ai sistemi host sono scritti molto male. Le schede IPMI precedenti non supportano altro che l'autenticazione locale, rendendo la rotazione della password un problema totale. Se stai usando la funzionalità KVM-over-IP, sei bloccato usando un'applet Java scaduta, firmata in modo errato o una strana applicazione desktop Java che funziona solo su Windows e richiede l'esecuzione dell'elevazione del controllo dell'account utente. Ho trovato la voce della tastiera al massimo imprevedibile, a volte ottenere "tasti bloccati" in modo tale che è impossibile digitare una password per accedere senza provare 10 volte.

Alla fine sono riuscito a far funzionare oltre 40 sistemi con questa disposizione. Ho sistemi per lo più nuovi che potrei VLAN le interfacce IPMI su una sottorete separata e uso principalmente la console seriale tramite ipmitool che funziona molto bene. Per la prossima generazione di server, sto guardando la tecnologia AMT di Intel con supporto KVM ; poiché questo lo rende nello spazio del server, posso vedere la sostituzione di IPMI con questo.

Non ho mai usato quelle carte particolari prima, quelle che ho usato hanno un MAC diverso per il traffico IPMI o la porta è dedicata solo al traffico IPMI. Tuttavia, potrebbe essere possibile che IPMI condivida la scheda NIC, incluso il MAC.

IPMI avrà un IP diverso dal sistema operativo, quindi i pacchetti verranno indirizzati correttamente in base a quello. Il traffico IPMI non raggiunge mai la CPU, è tutto gestito nei circuiti integrati di gestione della banda laterale.

Volevo aggiungere al consiglio generale che l'uso della banda laterale significa che non puoi parlare dal server al BMC. Il traffico sembra essere filtrato. Ho provato questo su kit IBM / Dell / HP.

Eseguirò il backup dell'ultimo punto elenco di Natacados nella sua risposta iniziale, le sessioni IPMI andranno a caso in timeout (uso IPMIView da supermicro per guardare la console sulle mie scatole). Cose come aggiornamenti del firmware e powercycles sembrano fallire in modo inspiegabile e casuale.

Ottima risposta natacado, incredibilmente approfondita.