Perché AMD ha messo un SSD su una scheda GPU per ridurre così tanto la latenza?

AMD è stato recentemente nelle notizie con un'interessante scheda Radeon Pro con un paio di SSD M2 su di essa.

Come alcune delle storie più dettagliate ( qui o qui , ad esempio) notano, i vantaggi potrebbero non derivare principalmente da un'elevata larghezza di banda (gli M2 sono solo su 4 corsie PCIe ciascuno, quindi il connettore a 16 corsie della scheda dovrebbe avere di più) ma da bassa latenza. Questa storia include l'affermazione "ciò si traduce in una latenza di accesso alla memoria 10 volte inferiore".

La mia domanda è fondamentalmente: perché gli SSD connessi alla PCIe sulla scheda GPU dovrebbero avere una latenza significativamente inferiore rispetto alla GPU che accede alla RAM di sistema principale o ai dispositivi di archiviazione sul bus PCIe di sistema? Cosa c'è nel sistema principale che "si mette in mezzo" e significa che gli SSD di bordo possono essere molto più veloci ad accedere?

Rispondendo da una prospettiva un po 'laica (non sono un esperto di hardware, ma ho costruito il mio computer), analizzerò, usando la situazione di ottenere alcuni ingredienti per cucinare il cibo.

Usare la RAM / memoria del "sistema principale" è come cercare un ingrediente, non trovarlo negli armadi e, diciamo, passare dal vicino e chiedere se ne hanno. Si scopre che lo fanno; te lo portano, li ringrazi e torni a casa tua e lo usi.

Usare la RAM / memoria "a bordo" è come cercare un ingrediente, trovarlo nell'armadio e usarlo.

Con RAM / memoria integrata, la GPU deve solo fare meno lavoro per ottenere le informazioni di cui ha bisogno. Le informazioni sono anche semplicemente più vicine, sia fisicamente sia quando si considera la quantità di hardware e software che le informazioni devono passare. Con la RAM / memoria integrata, la GPU deve solo cercare dove si trovano le informazioni, quindi recuperare quelle informazioni dalla RAM / memoria, che poi viaggia attraverso un paio di centimetri di filo verso le unità di elaborazione della GPU.

Con la RAM / l'archiviazione del sistema principale, il segnale attraversa una distanza maggiore del cavo attraverso la quale, sebbene possa essere solo una minima frazione di secondo, è ancora possibile sommare oltre migliaia di chiamate per recuperare informazioni. Inoltre, ci sono più potenziali colli di bottiglia, con tutti i diversi pezzi che sono interconnessi.

Infine, con RAM / memoria integrata, AMD ha l'opportunità di ottimizzare il sistema, poiché controllano con precisione l'utilizzo dell'hardware. Questo è proprio come Apple adatta Mac OS ai suoi computer Mac.