Gzip amichevole di Rsync

Non devo essere l'unico: sto risincronizzando i file .tar.gz e noto che ogni volta che il file completo viene sincronizzato anziché le differenze. Leggendolo, sembra che nel 1999 qualcuno abbia creato un algoritmo per risolvere il problema http://svana.org/kleptog/rgzip.html (solo il 5% dei dati necessari è stato trasferito)

È andato da qualche parte da allora, come posso creare file .tar.gz compatibili con rsync?

il mio gzip (su Ubuntu e Fedora) ha l'opzione --rsyncable. Quindi crea i tarball usando:

tar -c whatever/ | gzip --rsyncable > file.tar.gz

BeezNest ha una spiegazione abbastanza buona dell'opzione rsyncable per gzip . Nel test dell'autore, questa opzione ha aggiunto circa l'1% alla dimensione del file, ma ha permesso a rsync di trasferire gli aggiornamenti in un file gzipped con una velocità di oltre 1.300 volte.

Per i dettagli cruenti, vedi questa discussione , che citano.

http://smackerelofopinion.blogspot.com/2009/07/rsyncable-gzip.html

gzip --rsyncable  # need two dashes for long options

Mi piace questo perché volevo tar.gz, non solo .gz

GZIP='--rsyncable' tar cvzf bobsbackup.tar.gz /home/bob

So che Ubuntu Linux applica una patch (file gzip) alle fonti gzip per consentire un --rsyncableflag. Puoi scaricare quella patch e usarla tu stesso, o vedere se la tua distribuzione include la patch.