Eliminazione di milioni di file

Ho avuto un dir pieno di milioni di immagini gif. Troppi per il comando rm.

Ho provato il comando find in questo modo:

find . -name "*.gif" -print0 | xargs -0 rm

Il problema è che impantana la mia macchina davvero male e provoca timeout per i clienti poiché è un server.

Esiste un modo più veloce per eliminare tutti questi file ... senza bloccare la macchina?

Più veloce non è necessariamente quello che vuoi. Potresti voler eseguire effettivamente più lentamente , quindi l'eliminazione consuma meno risorse mentre è in esecuzione.

Usa nice (1) per ridurre la priorità di un comando.

nice find . -name "*.gif" -delete

Per i processi associati a I / O nice (1) potrebbe non essere sufficiente. Lo scheduler di Linux prende in considerazione l'I / O, non solo la CPU, ma potrebbe essere necessario un controllo più preciso della priorità di I / O.

ionice -c 2 -n 7 find . -name "*.gif" -delete

Se ciò non lo fa, puoi anche aggiungere un sonno per rallentarlo davvero.

find . -name "*.gif" -exec sleep 0.01 \; -delete

Dal momento che stai eseguendo Linux e questa attività è probabilmente legata all'I / O, ti consiglio di dare priorità al tuo scheduler I / O inattivo utilizzando ionice(1):

ionice -c3 find . -name '*.gif' -delete

Rispetto al comando originale, immagino che questo potrebbe anche risparmiare qualche altro ciclo della CPU evitando la pipa xargs.

No.

Non esiste un modo più rapido, a parte il formato soft del disco. I file vengono dati immediatamente a rm (fino al limite della riga di comando, potrebbe anche essere impostato su xargs), il che è molto meglio che chiamare rm su ciascun file. Quindi no, sicuramente non c'è modo più veloce.

L'uso nice(o renicedurante un processo in esecuzione) aiuta solo parzialmente, perché serve per programmare la risorsa CPU , non il disco! E l'utilizzo della CPU sarà molto basso. Questa è una debolezza di Linux - se un processo "consuma" il disco (cioè funziona molto con esso), l'intera macchina si blocca. Il kernel modificato per l'utilizzo in tempo reale potrebbe essere una soluzione.

Quello che farei sul server è lasciare che altri processi facciano il loro lavoro manualmente, includendo pause per "respirare" il server:

find . -name "*.gif" > files
split -l 100 files files.
for F in files.* do
    cat $F | xargs rm
    sleep 5 
done

Questo attenderà 5 secondi dopo ogni 100 file. Ci vorrà molto più tempo ma i tuoi clienti non dovrebbero notare alcun ritardo.

Se il numero di file che devono essere eliminati supera di gran lunga il numero di file lasciati indietro, potrebbe non essere l'approccio più efficiente camminare sull'albero dei file da eliminare e fare tutti quegli aggiornamenti del filesystem. (È analogo a fare una goffa gestione della memoria contata con riferimento ai riferimenti, visitare ogni oggetto in un grande albero per rilasciare il suo riferimento, invece di trasformare tutto ciò che non desiderato nella spazzatura in un solo passaggio, e quindi spazzare attraverso ciò che è raggiungibile per ripulire.)

Vale a dire, clonare le parti dell'albero che devono essere mantenute su un altro volume. Ricreare un nuovo filesystem vuoto sul volume originale. Copia i file conservati nei loro percorsi originali. Questo è vagamente simile alla copia della raccolta dei rifiuti .

Ci saranno dei tempi di inattività, ma potrebbe essere migliore delle continue cattive prestazioni e interruzione del servizio.

Potrebbe non essere pratico nel tuo sistema e nella tua situazione, ma è facile immaginare casi ovvi in ​​cui questa è la strada da percorrere.

Ad esempio, supponiamo di voler eliminare tutti i file in un filesystem. Quale sarebbe il punto di ricorrere e cancellare uno per uno? Basta smontarlo e fare un "mkfs" sopra la partizione per creare un filesystem vuoto.

O supponi di voler eliminare tutti i file tranne una mezza dozzina di file importanti? Prendi la mezza dozzina da lì e ... "mkfs" sopra.

Alla fine c'è un punto di pareggio quando ci sono abbastanza file che devono rimanere, che diventa più economico fare la cancellazione ricorsiva, tenendo conto di altri costi come qualsiasi tempo morto.

Hai provato:

find . -name "*.gif" -exec rm {} +

Il segno + alla fine farà sì che find includa più file per l'esecuzione del singolo comando rm. Controlla questa domanda per maggiori dettagli.