Rimuovere in blocco una directory di grandi dimensioni su uno ZFS senza attraversarla in modo ricorsivo

Voglio rimuovere una directory che contiene grandi quantità di dati. Questo è il mio array di backup, che è un filesystem ZFS , un intervallo lineare, un singolo pool chiamato "san". San è montato, /san quindi desidero rimuovere bulk / san / thispc / certainFolder

$ du -h -d 1 certainFolder/
1.2T    certainFolder/

Invece di me devo aspettare, rm -rf certainFolder/non posso semplicemente distruggere l'handle in quella directory in modo che sia sovrascrivibile (anche con lo stesso nome dir se ho scelto di ricrearlo) ??

Quindi, per esempio, non sapendo molto su zfs fs mgmnt interno, in particolare su come mappa le directory, ma se trovassi quella mappa dire per esempio, e rimossi le voci giuste per esempio, la directory non verrebbe più visualizzata e lo spazio che la directory precedentemente conteneva deve essere rimosso anche da un qualche tipo di audit.

C'è un modo semplice per farlo, anche se su un ext3 fs, o è già quello che il comando di rimozione ricorsiva deve fare in primo luogo, cioè sfogliare e modificare i giornali?

Spero solo di fare qualcosa del genere kill thisDirin cui rimuova semplicemente un qualche tipo di ID, e poof la directory non viene più visualizzata ls -lae i dati sono ancora lì sul disco ovviamente, ma lo spazio verrà ora riutilizzato ( sovrascritto), perché ZFS è così bello?

Voglio dire, penso che zfs sia davvero così bello, come possiamo farlo? Idealmente? strofinarsi le mani :-)

Il mio caso d'uso specifico (oltre al mio amore per zfs) è la gestione del mio archivio di backup. Questa directory di backup viene trasferita tramite freefilesync (AWESOME PROG) sul mio box di Windows a una condivisione di file smb, ma ha anche una directory di versione dove vanno i vecchi file. Sto eliminando le directory di livello superiore che risiedono nel backup principale, che sono state copiate nella versione - ad esempio /san/version/someStuff, come una pulizia bimestrale rm -rf /san/version/someStuff/*da un terminale putty, ora devo aprire un altro terminale; non voglio farlo ogni volta, sono stanco di dover monitorare inutilmente rm -rf.

Voglio dire, forse dovrei impostare il comando per rilasciare solo la maniglia, quindi stampare su STD, potrebbe essere carino. Più realisticamente , ricrea il set di dati in pochi secondi zfs destroy san/version; zfs create -p -o compression=on san/versiondopo i pensieri della risposta di @Gilles.

Il tracciamento dei blocchi liberati è inevitabile in qualsiasi file system decente e ZFS non fa eccezione . In ZFS esiste tuttavia un modo semplice per ottenere una cancellazione della directory quasi istantanea "rimandando" la pulizia sottostante. È tecnicamente molto simile al suggerimento di Gilles ma è intrinsecamente affidabile senza richiedere codice aggiuntivo.

Se si crea un'istantanea del proprio file system prima di rimuovere la directory, la rimozione della directory sarà molto rapida perché non sarà necessario esplorare / liberare nulla al suo interno, facendo ancora riferimento a tale snapshot. È quindi possibile distruggere l'istantanea in background in modo da recuperare gradualmente lo spazio.

d=yourPoolName/BackupRootDir/hostNameYourPc/somesubdir
zfs snapshot ${d}@quickdelete && { 
    rm -rf /${d}/certainFolder
    zfs destroy ${d}@quickdelete & 
}

Quello che stai chiedendo è impossibile. O, più precisamente, c'è un costo da pagare quando si elimina una directory e i suoi file; se non lo paghi al momento della cancellazione, dovrai pagarlo altrove.

Non stai semplicemente rimuovendo una directory, sarebbe quasi istantanea. Stai rimuovendo una directory e tutti i file al suo interno e allo stesso modo rimuovendo anche ricorsivamente tutte le sue sottodirectory. Rimuovere un file significa decrementare il conteggio dei collegamenti e quindi contrassegnare le sue risorse (i blocchi utilizzano per i contenuti dei file e i metadati dei file e l'inode se il filesystem utilizza una tabella di inode) come libero se il conteggio dei collegamenti raggiunge 0 e il file non lo è Aperto. Questa è un'operazione che deve essere eseguita per ogni file nella struttura di directory, quindi il tempo impiegato è almeno proporzionale al numero di file.

Potresti ritardare il costo di contrassegnare le risorse come libere. Ad esempio, esistono filesystem raccolti in modo inutile, in cui è possibile rimuovere una directory senza rimuovere i file in essa contenuti. Un'esecuzione del Garbage Collector rileverà i file che non sono raggiungibili tramite la struttura di directory e li contrassegnerà come liberi. Fare rm -f directory; garbage-collectsu un filesystem garbage collection fa le stesse cose dirm -rfsu un filesystem tradizionale, con diversi trigger. Esistono pochi filesystem raccolti in modo inutile perché il GC è una complessità aggiuntiva che raramente è necessaria. Il tempo GC potrebbe arrivare in qualsiasi momento, quando il filesystem ha bisogno di alcuni blocchi liberi e non ne trova nessuno, quindi le prestazioni di un'operazione dipendono dalla storia passata, non solo dall'operazione, che di solito è indesiderabile. Dovresti eseguire il Garbage Collector solo per ottenere l'effettiva quantità di spazio libero.

Se vuoi simulare il comportamento del GC su un normale filesystem, puoi farlo:

mv directory .DELETING; rm -rf .DELETING &

(Ho omesso molti dettagli importanti come il controllo degli errori, la resilienza alla perdita di potenza, ecc.) Il nome della directory diventa immediatamente inesistente; lo spazio viene progressivamente recuperato.

Un approccio diverso per evitare di pagare il costo durante la rimozione senza GC sarebbe quello di pagarlo durante l'allocazione. Contrassegnare l'albero delle directory come eliminato e passare attraverso le directory eliminate durante l'allocazione dei blocchi. Ciò sarebbe difficile da conciliare con i collegamenti reali, ma su un filesystem senza collegamenti fissi, può essere fatto con un aumento dei costi di O (1) nell'allocazione. Tuttavia ciò renderebbe un'operazione molto comune (creazione o ingrandimento di un file) più costosa, con l'unico vantaggio di un'operazione relativamente rara (rimozione di un grande albero di directory) più economica.

È possibile rimuovere in blocco un albero di directory se quell'albero è stato memorizzato come proprio pool di blocchi. (Nota: sto usando la parola "pool" in un significato diverso dal "pool di archiviazione" di ZFS. Non so quale sia la terminologia corretta.) Potrebbe essere molto veloce. Ma cosa fai con lo spazio libero? Se lo riassegni a un altro pool, questo ha un costo, anche se molto meno dell'eliminazione dei file singolarmente. Se si lascia lo spazio come spazio di riserva inutilizzato, non è possibile recuperarlo immediatamente. Avere un singolo pool per un albero di directory significa costi aggiuntivi per aumentare o ridurre la dimensione di quel pool (al volo o esplicitamente). Rendere l'albero il proprio pool di archiviazione aumenta anche il costo dello spostamento dei file dentro e fuori l'albero.

Se deve essere veloce, generi una nuova directory temporanea, mvla directory sottostante e quindi elimino in modo ricorsivo il temporaneo:

t=`mktemp -d`
mv certainFolder $t/
rm -rf $t &