Svuota la cache dei file per ripetere i test delle prestazioni

Quali strumenti o tecniche posso utilizzare per rimuovere il contenuto dei file memorizzati nella cache per evitare che i risultati delle mie prestazioni vengano distorti? Credo di aver bisogno di cancellare completamente o rimuovere selettivamente le informazioni memorizzate nella cache sul contenuto di file e directory.

L'applicazione che sto sviluppando è un'utilità di compressione specializzata e si prevede che svolga molto lavoro leggendo e scrivendo file che il sistema operativo non ha toccato di recente e di cui è improbabile che i blocchi del disco vengano memorizzati nella cache.

Desidero rimuovere la variabilità che vedo nel tempo di IO quando ripeto il compito di profilare strategie diverse per eseguire il lavoro di elaborazione dei file.

Sono principalmente interessato alle soluzioni per Windows XP, in quanto questa è la mia macchina di sviluppo principale, ma posso anche testare usando Linux, quindi sono interessato anche alle risposte per quell'ambiente.

Ho provato SysInternals CacheSet , ma facendo clic su "Cancella" non si ottiene un aumento misurabile (ripristino del tempo dopo un avvio a freddo) nel tempo necessario per rileggere i file che ho letto poche volte.

Usa l' app RAMMap di SysInternal .

L'opzione di menu Elenco standby vuoto / vuoto cancellerà la cache dei file di Windows.

Per Windows XP, dovresti essere in grado di svuotare la cache per un file specifico aprendo il file utilizzando CreateFile con le opzioni FILE_FLAG_NO_BUFFERING e quindi chiudendo l'handle. Questo non è documentato e non so se funziona sulle versioni successive di Windows, ma l'ho usato molto tempo fa durante la scrittura del codice di prova per confrontare le librerie di compressione dei file. Non ricordo se l'accesso in lettura o scrittura abbia influito su questo trucco.

Una rapida ricerca su Google fornisce queste opzioni per Linux

1. Smonta e monta la partizione che contiene i file
2. sync && echo 1 > /proc/sys/vm/drop_caches

Un'utilità della riga di comando può essere trovata qui

dalla fonte:

EmptyStandbyList.exe è uno strumento da riga di comando per Windows (Vista e versioni successive) che può svuotare:

• set di lavoro di processo,
• l'elenco delle pagine modificate,
• le liste di attesa (priorità da 0 a 7), o
• solo l'elenco di standby con priorità 0.

Uso:

EmptyStandbyList.exe workingsets|modifiedpagelist|standbylist|priority0standbylist

 #include <fcntl.h>

int posix_fadvise(int fd, off_t offset, off_t len, int advice);

con opzione di consulenza POSIX_FADV_DONTNEED:
i dati specificati non saranno accessibili nel prossimo futuro.

Ho trovato una tecnica (diversa dal riavvio) che sembra funzionare:

1. Esegui alcune copie di MemAlloc
2. Con ognuno, allocare grossi blocchi di memoria alcune volte
3. Utilizzare Process Explorer per osservare la riduzione delle dimensioni della cache di sistema a livelli molto bassi
4. Chiudere i programmi MemAlloc

Tuttavia non è selettivo. Idealmente mi piacerebbe essere in grado di cancellare le porzioni specifiche di memoria utilizzate per la memorizzazione nella cache dei blocchi del disco dei file che non voglio più essere memorizzati nella cache.

Per una migliore visualizzazione della cache del filesystem di Windows XP - prova ATM di Tim Murgent - ti permette di vedere sia la dimensione del Working Set della cache del filesystem che la dimensione dell'elenco di standby in una vista più dettagliata e accurata. Per Windows XP: è necessaria la vecchia versione 1 di ATM, disponibile per il download qui poiché V2 e V3 richiedono Server 2003, Vista o versioni successive.

Si osserverà che sebbene Sysinternals Cacheset ridurrà "Cache WS Min", i dati effettivi continuano ad esistere sotto forma di elenchi di standby da cui possono essere utilizzati fino a quando non vengono sostituiti con qualcos'altro. Per poi sostituirlo con qualcos'altro utilizzare uno strumento come MemAlloc o flushmem di Chad Austin o Consume.exe dagli strumenti del Resource Kit di Windows Server 2003 .

Dato che la questione ha chiesto anche per Linux, c'è una risposta correlata qui .

Lo strumento della riga di comando vmtouch consente di aggiungere e rimuovere file e directory dalla cache dei file di sistema, tra le altre cose.

C'è una chiamata API di Windows https://docs.microsoft.com/en-us/windows/desktop/api/memoryapi/nf-memoryapi-setsystemfilecachesize che può essere utilizzata per svuotare la cache del file system. Può anche essere utilizzato per limitare la dimensione della cache a un valore molto piccolo. Sembra perfetto per questo tipo di test.