Dividi i file usando tar, gz, zip o bzip2 [chiuso]

Devo comprimere un file di grandi dimensioni di circa 17-20 GB. Ho bisogno di dividerlo in diversi file di circa 1 GB per file.

Ho cercato una soluzione tramite Google e ho trovato il modo di utilizzare splite catcomandi. Ma non hanno funzionato per file di grandi dimensioni. Inoltre, non funzioneranno in Windows; Devo estrarlo su un computer Windows.

È possibile utilizzare il splitcomando con l' -bopzione:

split -b 1024m file.tar.gz

Può essere riassemblato su un computer Windows usando la risposta di @ Joshua .

copy /b file1 + file2 + file3 + file4 filetogether

Modifica : come affermato da @Charlie nel commento qui sotto, potresti voler impostare esplicitamente un prefisso perché userà xdiversamente, il che può essere fonte di confusione.

split -b 1024m "file.tar.gz" "file.tar.gz.part-"

// Creates files: file.tar.gz.part-aa, file.tar.gz.part-ab, file.tar.gz.part-ac, ...

Modifica : modifica del post perché la domanda è chiusa e la soluzione più efficace è molto vicina al contenuto di questa risposta:

# create archives
$ tar cz my_large_file_1 my_large_file_2 | split -b 1024MiB - myfiles_split.tgz_
# uncompress
$ cat myfiles_split.tgz_* | tar xz

Questa soluzione evita la necessità di utilizzare un file di grandi dimensioni intermedio durante la (de) compressione. Utilizzare l'opzione tar -C per utilizzare una directory diversa per i file risultanti. tra l'altro se l'archivio è costituito da un solo file, si potrebbe evitare tar e usare solo gzip:

# create archives
$ gzip -c my_large_file | split -b 1024MiB - myfile_split.gz_
# uncompress
$ cat myfile_split.gz_* | gunzip -c > my_large_file

Per Windows è possibile scaricare versioni portate degli stessi comandi o utilizzare cygwin.

Se ti stai separando da Linux, puoi ancora riassemblarlo in Windows.

copy /b file1 + file2 + file3 + file4 filetogether

usa tar per dividere in più archivi

ci sono molti programmi che funzionano con i file tar su Windows, incluso Cygwin.

Codice testato, inizialmente crea un singolo file di archivio, quindi lo divide:

 gzip -c file.orig > file.gz
 CHUNKSIZE=1073741824
 PARTCNT=$[$(stat -c%s file.gz) / $CHUNKSIZE]

 # the remainder is taken care of, for example for
 # 1 GiB + 1 bytes PARTCNT is 1 and seq 0 $PARTCNT covers
 # all of file
 for n in `seq 0 $PARTCNT`
 do
       dd if=file.gz of=part.$n bs=$CHUNKSIZE skip=$n count=1
 done

Questa variante omette la creazione di un singolo file di archivio e va direttamente alla creazione di parti:

gzip -c file.orig |
    ( CHUNKSIZE=1073741824;
        i=0;
        while true; do
            i=$[i+1];
            head -c "$CHUNKSIZE" > "part.$i";
            [ "$CHUNKSIZE" -eq $(stat -c%s "part.$i") ] || break;
        done; )

In questa variante, se la dimensione del file dell'archivio è divisibile per $CHUNKSIZE, l'ultimo file parziale avrà dimensioni del file 0 byte.