Come posso convertire un'immagine del disco Linux in un file sparse?

Ho un sacco di immagini del disco, realizzate con ddrescue, su una partizione EXT, e voglio ridurne le dimensioni senza perdere dati, pur essendo montabile.

Come posso riempire lo spazio vuoto nel filesystem dell'immagine con zeri e quindi convertire il file in un file sparso in modo che questo spazio vuoto non sia effettivamente archiviato sul disco?

Per esempio:

> du -s --si --apparent-size Jimage.image 
120G Jimage.image
> du -s --si Jimage.image 
121G Jimage.image

Questo in realtà ha solo 50 G di dati reali su di esso, tuttavia, quindi la seconda misurazione dovrebbe essere molto più piccola.

Questo presumibilmente riempirà lo spazio vuoto di zeri:

cat /dev/zero > zero.file
rm zero.file

Ma se i file sparsi vengono gestiti in modo trasparente , potrebbe effettivamente creare un file sparse senza scrivere nulla sul disco virtuale, impedendomi ironicamente di trasformare l'immagine del disco virtuale in un file sparse stesso. :) Lo fa?

Nota: per qualche motivo, sudo dd if=/dev/zero of=./zero.filefunziona quando catnon è presente su un'immagine disco montata.

Prima di tutto, i file sparsi vengono gestiti in modo trasparente solo se si cerca, non se si scrivono zero.

Per rendere più chiaro, l'esempio di Wikipedia

dd if=/dev/zero of=sparse-file bs=1k count=0 seek=5120

non senza scrivere alcun zeri, si aprirà il file di output, cercare (saltare) 5MB e poi scrivere a zero zeri (cioè nulla). Questo comando ( non da Wikipedia)

dd if=/dev/zero of=sparse-file bs=1k count=5120

scriverà 5 MB di zero e non creerà un file sparso!

Di conseguenza, un file che è già non sparso non diventerà magicamente più tardi.

In secondo luogo, per creare un file con un sacco di zeri sparse, bisogna cp esso

cp --sparse=always original sparsefile

oppure puoi usare anche l'opzione --sparse di tar 'o rsync .

Forse il modo più semplice per sparsificare un file sul posto sarebbe usare l' fallocateutilità come segue:

fallocate -v --dig-holes {file_name}

fallocate (1) è fornito dal pacchetto util-linux su Debian .

Modifica della mia risposta per completezza:

1. Balloon spazio FS vuoto con zero (ATTENZIONE: questo cambia l'immagine del disco):

losetup --partscan --find --show disk.img

Supponiamo che dia / dev / loop1 come disco e che ci sia solo una partizione, altrimenti dovremo ripetere questo per ogni partizione con FS montabile (ignorare la partizione di swap ecc.).

mkdir -p /mnt/tmp mount /dev/loop1p1 /mnt/tmp dd if=/dev/zero of=/mnt/tmp/tempfile

Lascia che finisca per fallire con ENOSPC.

/bin/rm -f /mnt/tmp/tempfile umount /mnt/tmp losetup -d /dev/loop1

2. Copia in un'immagine sparsa:

'dd' ha un'opzione per convertire un file con zero in un file sparse:

dd if=disk.img of=disk-sparse.img conv=sparse

Vuoi dire che la tua immagine creata da ddrescue è, diciamo, 50 GB e in realtà qualcosa di molto meno basterebbe?

In tal caso, non potresti semplicemente creare una nuova immagine con dd:

dd if=/dev/zero of=some_image.img bs=1M count=20000

e quindi creare un filesystem al suo interno:

mkfsofyourchoice some_image.img

quindi basta montare l'immagine e copiare tutto dalla vecchia immagine a quella nuova? questo funzionerebbe per te?

PartImage può creare immagini del disco che memorizzano solo i blocchi utilizzati di un filesystem, riducendo drasticamente lo spazio richiesto ignorando il blocco inutilizzato. Non penso che tu possa montare direttamente le immagini risultanti, ma andando:

image -> partimage -> image -> cp --sparse=alway

Dovrebbe produrre quello che vuoi (potrebbe anche essere possibile attenersi all'ultimo passaggio, non ho provato).

Ora c'è uno strumento chiamato virt-sparsify che lo farà. Riempie lo spazio vuoto con zeri e quindi copia l'immagine in un file sparso. Tuttavia richiede l'installazione di molte dipendenze.

Ho il sospetto che avrai bisogno di un programma personalizzato scritto su quella specifica se è DAVVERO quello che vuoi fare. Ma è ...?

Se in realtà hai molte aree a zero, qualsiasi buon strumento di compressione lo ridurrà significativamente. E provare a scrivere file sparsi non funzionerà in tutti i casi. Se ricordo bene, anche i file sparsi occupano almeno 1 blocco di memoria di output in cui il blocco di input contiene QUALSIASI bit diverso da zero. Ad esempio, supponiamo che tu abbia un file con una media di anche 1 bit diverso da zero per blocco di 512 byte, non può essere scritto "scarsamente". A proposito, non perderai dati se comprimi il file con zip, bzip, bzip2 o p7zip. Non sono come la compressione mpeg o jpeg con perdita di dati.

D'altra parte, se è necessario eseguire letture di ricerca casuali nel file, la compressione potrebbe essere più un problema di quanto valga la pena e si torna alla scrittura sparsa. Un programmatore C o C ++ competente dovrebbe essere in grado di scrivere qualcosa del genere in un'ora o meno.