L'hotplug PCIe funziona davvero in pratica?

Ho avuto una discussione nei commenti di /security/109199/is-physical-security-less-important-now-for-securing-a-server?noredirect=1#comment194327_109199

La domanda è semplice Qualcuno ha esperienza di hotplugging con successo di una scheda PCIe? Richiede schede madri e schede speciali o dovrebbe funzionare su tutto l'hardware di consumo?

Ho usato per progettare hardware PCI-Express che richiedeva il supporto hot plug completo in hardware e software, ed è certamente possibile, ma è abbastanza coinvolto e richiede un ampio supporto software - l'hardware è in realtà abbastanza semplice. Ho dovuto progettare l'hardware, quindi implementare il supporto BIOS (UEFI) e kernel (Linux) per i dispositivi PCIe arbitrari hot plug su fibra e rame.

Dal punto di vista del software, è necessario ricordare che PCIe continua con il modello software PCI, compresi i concetti di bus, dispositivo e indirizzamento delle funzioni. Quando il bus PCI viene elencato, viene eseguito come una prima ricerca:

L'enumerazione PCIe viene generalmente eseguita due volte. Innanzitutto, il BIOS (UEFI o altro) lo farà, per capire chi è presente e quanta memoria hanno bisogno. Questi dati possono quindi essere passati al sistema operativo host che può prenderli così come sono, ma Linux e Windows spesso eseguono anche la propria procedura di enumerazione. Su Linux, questo viene fatto attraverso il sottosistema PCI principale, che cerca il bus, applica eventuali stranezze in base all'ID del dispositivo, quindi carica un driver con un ID corrispondente nella sua funzione probe. Un dispositivo PCI viene identificato tramite una combinazione dell'ID fornitore (16 bit, ad esempio Intel è 0x8086) e dell'ID dispositivo (un altro 16 bit): la fonte Internet più comune è qui: http://pcidatabase.com / .

La parte del software personalizzata arriva durante questo processo di enumerazione e vale a dire che è necessario riservare in anticipo numeri di bus PCI e segmenti di memoria per potenziali dispositivi futuri - questo a volte viene chiamato " bus padding ". Questo evita la necessità di re-enumerare il bus in futuro, cosa che spesso non può essere eseguita senza interrompere il sistema. Un dispositivo PCI ha BAR ( registri di indirizzi di base)) che richiede all'host quanta e di quale tipo (memoria o spazio I / O) ha bisogno il dispositivo - ecco perché non hai più bisogno di jumper come ISA :) Allo stesso modo, il kernel Linux implementa hot plug PCIe attraverso il pciehp conducente. Windows fa cose diverse in base alla versione: le versioni precedenti (penso XP) ignorano tutto ciò che il BIOS dice e fa il proprio sondaggio. Le versioni più recenti credo siano più rispettose del DSDT ACPI fornito dal firmware host (BIOS / EFI) e includeranno tali informazioni.

Questo può sembrare piuttosto coinvolto ed è così! Ma ricorda che qualsiasi laptop / dispositivo con uno slot ExpressCard (che implementa PCIe in quanto puoi avere ExpressCard solo USB) deve farlo, anche se generalmente il riempimento è piuttosto semplice - solo un bus. Il mio vecchio hardware era uno switch PCIe con altri 8 dispositivi dietro, quindi il riempimento è diventato un po 'più complicato.

Dal punto di vista hardware, è molto più semplice. I pin GND della scheda entrano in contatto per primi, e posizioniamo un IC controller controller hot-swap da LTC o simile sulla scheda per alimentare l'alimentazione una volta stabilita la connessione. A questo punto, l'ASIC o FPGA di bordo inizia la sequenza di accensione e inizia a provare l'addestramento del collegamento PCI Express. Supponendo che l'host supporti hot- plug e PCI Express SLTCAP / SLTCTRLregister (in spec: Registro delle capacità degli slot PCI Express, Registro dei controlli degli slot PCI Express. Esistono anche 1 e 2 - bit sufficienti per suddividere in due registri). poiché quella porta è stata configurata per indicare che la porta è compatibile con hot plug, il software può iniziare a enumerare il nuovo dispositivo. Il registro dello stato degli slot (SLTSTA, PCI Express Slot Status Register) contiene bit che il dispositivo target può impostare indicando guasti di alimentazione, blocco di rilascio meccanico e, naturalmente, rilevamento presenza + presenza modificato.

I suddetti registri si trovano in "Spazio di configurazione PCI (Express)", che è una piccola regione della mappa di memoria (4K per PCIe) allocata a ciascun potenziale bdf (bus: dispositivo: funzione). I registri effettivi generalmente risiedono sul dispositivo periferico.

Sul lato host, possiamo usare PRSNT1 # / PRSNT2 # come semplici segnali DC che alimentano l'abilitazione di un interruttore di accensione IC, o eseguire su GPIO sul chipset / PCH per causare un IRQ e innescare un SW 'hey, qualcosa è stato inserito , vai a cercarlo e configuralo! ' routine.

Queste sono molte informazioni che non rispondono direttamente alla tua domanda (vedi sotto per il breve sommario), ma speriamo che ti dia una migliore conoscenza della procedura. Se hai domande su parti specifiche del processo, fammi sapere in un commento qui o mandami un'e-mail e posso discutere ulteriormente + aggiornare questa risposta con quelle informazioni.

Riassumendo : il dispositivo periferico deve essere stato progettato tenendo presente il supporto hot plug da un POV hardware. Un host / slot progettato correttamente supporta anche hot plug e su una scheda madre di fascia alta mi aspetterei che sia sicuro. Tuttavia, il supporto software per questo è un'altra domanda e sfortunatamente sei legato al BIOS che il tuo OEM ti ha fornito.

In pratica, usi questa tecnologia ogni volta che rimuovi / inserisci una PCIe ExpressCard da un computer. Inoltre, anche i sistemi blade ad alte prestazioni (telecom o altro) utilizzano questa tecnologia regolarmente.

Commento finale: salva il PDF collegato alle specifiche di base, PCI-SIG di solito fa pagare dollari per questo :)

A condizione che le connessioni di monitoraggio dello stato di alimentazione siano state esposte al connettore dall'interruttore a monte e l'unità collegabile abbia esposto questi pin e sia configurata per utilizzarli correttamente e (come osserva Jippie) il software può rilevare l'evento hotplug e rispondere correttamente, il la risposta è si.

In generale, questa funzionalità viene utilizzata principalmente nelle server farm e nei data center per collegare a caldo i dischi PCIe tra le altre cose; Non sono sicuro che le apparecchiature di consumo saranno completamente hotplug (è, a mio avviso, facoltativo nelle specifiche).

Tieni presente che fornire l'hardware necessario per supportare hotplug costa denaro (anche se la maggior parte si trova all'interno dell'endpoint PCIe, deve comunque essere impostato, di solito tramite una eeprom), di solito non verrà offerto in un mercato sensibile ai prezzi.

Si noti che l'aggiornamento dinamico della mappa degli indirizzi PCI aggiunge una notevole complessità al driver PCI (e); se viene inserito un nuovo dispositivo, deve essere mappato su qualsiasi bus su cui vive, con le traduzioni dei nuovi indirizzi associati, ma se un dispositivo viene rimosso e quindi sostituito con qualcosa di diverso , rende piuttosto complessa la traccia degli indirizzi spaziali PCI .

Senza questa complessità, il sottosistema PCI viene scansionato una volta (al ripristino del sistema) e rimane statico; non sono necessari ulteriori sforzi.

Ecco le specifiche di base PCIe v3.0 , pagina 514, sezione 6.7 sul supporto Hot Plug. Un esempio di una scheda PCIe che supporta hot plug può essere visto qui, per gentile concessione di iocrest . Si può vedere chiaramente che viene instradata la traccia del connettore più corta:

Tuttavia su questa carta Axxon , la traccia più breve può essere chiaramente vista indirizzata a quella adiacente. Solo a livello fisico, questa scheda non può supportare hot plug:

Si suppone che funzioni su tutto l'hardware conforme PCIe, se tutto l'hardware di consumo è veramente conforme è una buona domanda, poiché non sono approfondito nelle specifiche PCIe per conoscere i requisiti di test e anche allora, tutti i rivenditori controllano la validità del reclamo? Penso che quasi nessuno lo faccia.

Proprio come l'intera cosa degli standard di sicurezza. La metà (<-hyperbole?) Delle etichette EE che abbiamo con cui puoi rivendicare la compatibilità, senza dover far testare tutto ciò che fai. Dal momento che le cose hotplug non sono pericolose per la vita, non posso immaginare che le persone siano più rigorose al riguardo.

Io, per esempio, non l'ho mai provato e visto che il mio laptop Clevo ha spinto il desktop completamente fuori da casa mia, non ho intenzione di provarlo, dal momento che il modulo GPU nel mio laptop non ha alcuna capacità di hot plug ed è troppo costoso senza essere Dave Jones e ottenere $$$ per il video di una GPU che esplode.

Sì funziona. Sono stato in grado di farlo funzionare per collegare a caldo una scheda del telaio del router (contenente più di 10 dispositivi PCIe). Lo chassis ha 16 schede hot plug. Qualsiasi scheda può essere inserita o disinserita in modo casuale in fase di esecuzione senza influire sulle operazioni di traffico sulle altre schede.

La complessità per farlo funzionare dipende dall'ambiente della CPU. Su una CPU integrata, il lavoro consiste semplicemente nell'impostare la mappa delle risorse statiche e gestire gli eventi di modifica della connessione collegando e scollegando i dispositivi PCI. Su x86, è molto più coinvolto a causa della complessità nella gestione degli errori e delle interazioni BIOS / OS.