Disabilita la lettura e la scrittura di file cache di Linux sulla partizione

9

Come disabilito la cache dei file linux su una partizione xfs (entrambi leggono una scrittura).

Abbiamo una partizione xfs su un RAID hardware che memorizza i nostri video RAW HD. La maggior parte degli scatti è di 50-300 GB ciascuno, quindi la cache di Linux ha una frequenza di hit dello 0,001%.

Ho provato l'opzione di sincronizzazione ma riempie ancora la cache quando si copiano i file.
(circa 30 volte superiore per scatto: P)

/ Etc / fstab:

/ dev / sdb1 / video xfs sync, noatime, nodiratime, logbufs = 8 0 1

Sto eseguendo Debian Lenny se aiuta.

linux mount cache

— complistic
fonte

6

esiste una soluzione che si adatta perfettamente al tuo caso d'uso: http://code.google.com/p/pagecache-mangagement/

Dopo aver verificato il codice sorgente:

svn checkout http://pagecache-mangagement.googlecode.com/svn/trunk/ pagecache-mangagement-read-only

problema

make
sudo cp *.so /usr/local/lib/
sudo cp *.sh /usr/local/bin/

quindi, puoi avviare qualsiasi applicazione desideri

pagecache-mangagement.sh <App>

e l'App non riempirà le tue cache!

— Robert Metzger
fonte

1

Questo era proprio quello di cui avevo bisogno per un lavoro diverso, stesso problema. Ora i miei altri programmi possono usare la cache là dove è più utile.

— complistico

6

Lo strumento nocache è progettato per un obiettivo simile: impedire a comandi specifici di rovinare l'attuale cache del buffer. Basta anteporre ./nocacheal tuo comando:

./nocache cp -a ~/ /mnt/backup/home-$(hostname)

Nota che lo strumento simile pagecache-mangagement - Uno strumento per consentire la gestione dell'utilizzo di applicazioni arbitrarie tramite pagecache, come rilevato da rmetzger, è ancora nello stesso stato di quello del 2008. Naturalmente può essere buono o cattivo, o un mix :) Non ho un confronto diretto, ma ho chiesto alla gente di nocache per uno

— nealmcb
fonte

5

Questo non può essere fatto in modo pulito. Se è necessario per determinate applicazioni, è necessario modificarle per passare O_DIRECTalle loro open(2)chiamate.

— Ignacio Vazquez-Abrams
fonte

I file vengono scritti / letti con varie applicazioni di terze parti ... mv, md5sum, samba e simili. Forse potrò sostituire alcuni di questi con la mia app C in futuro ... ma per quanto ne so, samba dosnt ha un'opzione O_DIRECT.

— complistico

Questo sembra essere l'armadio che potrei ottenere. Ora sto usando O_DIRECT per copiare dalla scheda P2 all'HDD e poi di nuovo dalla scheda P2 a md5sum per il controllo. Ciò rimuove la metà inutile della cache, quindi le uniche cose che sono file video memorizzati nella cache sull'HDD.

— complistico

2

man raw. È possibile associare un dispositivo non elaborato che ignora la cache con quello. Ha alcune restrizioni. L'ho usato solo con dispositivi CD / DVD, quindi non so quanto funzionerà bene per te.

— Keith
fonte

Il comando raw associa il dispositivo in un modo in cui posso montare la mia partizione xfs su / video per l'uso con samba? La documentazione e i risultati di Google sembrano essere un po 'vaghi.

— complistico

Non dovresti mescolarli. Penso invece che tu possa montare il nuovo dispositivo raw.

— Keith

Ok, lo proverò su un vecchio disco vuoto quando ne avrò la possibilità.

— complistico