Aggiungi file enormi l'uno all'altro senza copiarli

Ci sono 5 file enormi (file1, file2, .. file5) circa 10 G ciascuno e uno spazio libero estremamente basso rimasto sul disco e ho bisogno di concatenare tutti questi file in uno. Non è necessario conservare i file originali, solo l'ultimo.

La solita concatenazione procede catin sequenza per i file file2.. file5:

cat file2 >> file1 ; rm file2

Purtroppo in questo modo richiede almeno 10 G di spazio libero che non ho. C'è un modo per concatenare i file senza copiarli, ma in qualche modo dire al filesystem che file1 non termina alla fine di file1 originale e continua all'avvio di file2?

ps. il filesystem è ext4 se questo è importante.

AFAIK non è (purtroppo) possibile troncare un file dall'inizio (questo può essere vero per gli strumenti standard ma per il livello di syscall vedere qui ). Ma con l'aggiunta di una certa complessità è possibile utilizzare il troncamento normale (insieme a file sparsi): è possibile scrivere alla fine del file di destinazione senza aver scritto tutti i dati in mezzo.

Supponiamo che entrambi i file siano esattamente 5GiB (5120 MiB) e che tu voglia spostare 100 MiB alla volta. Esegui un ciclo composto da

1. copiando un blocco dalla fine del file sorgente alla fine del file di destinazione (aumentando lo spazio su disco consumato)

2. troncare il file sorgente di un blocco (liberando spazio su disco)

   for((i=5119;i>=0;i--)); do
     dd if=sourcefile of=targetfile bs=1M skip="$i" seek="$i" count=1
     dd if=/dev/zero of=sourcefile bs=1M count=0 seek="$i"
   done
   

Ma prima prova con file di test più piccoli, per favore ...

Probabilmente i file non hanno né la stessa dimensione né multipli della dimensione del blocco. In tal caso, il calcolo degli offset diventa più complicato. seek_byteseskip_bytes dovrebbe essere usato allora.

Se questo è il modo in cui vuoi andare ma hai bisogno di aiuto per i dettagli, chiedi di nuovo.

avvertimento

A seconda della dddimensione del blocco, il file risultante sarà un incubo di frammentazione.

Invece di raggruppare i file in un unico file, forse simula un singolo file con una pipe denominata, se il tuo programma non è in grado di gestire più file.

mkfifo /tmp/file
cat file* >/tmp/file &
blahblah /tmp/file
rm /tmp/file

Come suggerisce Hauke, anche losetup / dmsetup può funzionare. Un rapido esperimento; Ho creato 'file1..file4' e con un po 'di sforzo ho fatto:

for i in file*;do losetup -f ~/$i;done

numchunks=3
for i in `seq 0 $numchunks`; do
        sizeinsectors=$((`ls -l file$i | awk '{print $5}'`/512))
        startsector=$(($i*$sizeinsectors))
        echo "$startsector $sizeinsectors linear /dev/loop$i 0"
done | dmsetup create joined

Quindi, / dev / dm-0 contiene un dispositivo a blocchi virtuali con il file come contenuto.

Non l'ho provato bene.

Un'altra modifica: la dimensione del file deve essere divisibile uniformemente per 512 o perderai alcuni dati. Se lo è, allora sei bravo. Vedo che ha anche notato che di seguito.

Dovrai scrivere qualcosa che copi i dati in gruppi grandi al massimo quanto la quantità di spazio libero che hai. Dovrebbe funzionare così:

• Leggi un blocco di dati da file2(usando pread()cercando prima della lettura nella posizione corretta).
• Aggiungi il blocco a file1.
• Utilizzare fcntl(F_FREESP)per deallocare lo spazio da file2.
• Ripetere

So che è più una soluzione alternativa di quello che hai chiesto, ma si occuperebbe del tuo problema (e con poca frammentazione o headcratch):

#step 1
mount /path/to/... /the/new/fs #mount a new filesystem (from NFS? or an external usb disk?)

e poi

#step 2:
cat file* > /the/new/fs/fullfile

o, se pensi che la compressione possa aiutare:

#step 2 (alternate):
cat file* | gzip -c - > /the/new/fs/fullfile.gz

Quindi (e SOLO quindi), finalmente

#step 3:
rm file*
mv /the/new/fs/fullfile  .   #of fullfile.gz if you compressed it