Modelli statistici per memoria / calcolo locale, latenza di rete e jitter della larghezza di banda in HPC

Il calcolo parallelo è spesso modellato utilizzando un tasso locale deterministico di calcolo, sovraccarico di latenza e larghezza di banda della rete. In realtà, questi sono spazialmente variabili e non deterministici. Studi come Skinner e Kramer (2005) osservano distribuzioni multimodali, ma l'analisi delle prestazioni sembra utilizzare sempre distribuzioni deterministiche o gaussiane (non solo inesatte, è incoerente a causa della probabilità positiva di latenza negativa).

Sono stati sviluppati modelli statistici ad alta fedeltà? Esistono ragioni per la correlazione incrociata nella variabilità di calcolo / memoria locale, latenza e larghezza di banda?

Dal punto di vista dell'informatica non credo che abbia senso creare un modello statistico generale per il tempo di accesso alla memoria (latenza) e la larghezza di banda della memoria.

Ha senso creare un modello statistico per un algoritmo . Questo perché ogni algoritmo ha un modello di accesso alla memoria specifico, i modelli di accesso alla memoria sono rilevanti per la gerarchia della cache, ad esempio un algoritmo con elevata localizzazione dei dati trarrà vantaggio da cache di basso livello che beneficiano di tempi di accesso alla memoria molto rapidi mentre altri algoritmi dovranno arrivare fino alla RAM (o peggio ancora alla memoria di scambio) e avere tempi di accesso estremamente lenti.

I valori per scopi generali sono dati dal punto di vista dell'architettura, è possibile controllare la propria architettura e cercare il tempo di accesso da un dato core a una determinata posizione di memoria (diciamo cache L3). Tieni presente che le architetture recenti sono NUMA di accesso alla memoria non uniforme, il che renderà il tuo lavoro un po 'più difficile.