Il modo più veloce per elaborare dimensioni non compresse di file GZIPPED di grandi dimensioni

Una volta che un file è compresso con gzip, c'è un modo per interrogarlo rapidamente per dire qual è la dimensione del file non compresso (senza decomprimerlo), specialmente nei casi in cui il file non compresso ha dimensioni> 4 GB.

Secondo la RFC https://tools.ietf.org/html/rfc1952#page-5 è possibile eseguire una query sugli ultimi 4 byte del file, ma se il file non compresso era> 4 GB, il valore rappresenta solo il valoreuncompressed value modulo 2^32

Questo valore può anche essere recuperato eseguendo gunzip -l foo.gz, tuttavia la colonna "non compressa" contiene appena di uncompressed value modulo 2^32nuovo, presumibilmente mentre sta leggendo il piè di pagina come descritto sopra.

Mi stavo solo chiedendo se c'è un modo per ottenere la dimensione del file non compresso senza prima decomprimerlo, questo sarebbe particolarmente utile nel caso in cui i file compressi con gzip contengano 50 GB + di dati e richiederebbe un po 'di tempo per decomprimersi usando metodi come gzcat foo.gz | wc -c

EDIT: la limitazione di 4 GB è apertamente riconosciuta nella manpagina gzipdell'utilità inclusa con OSX ( Apple gzip 242)

  BUGS
    According to RFC 1952, the recorded file size is stored in a 32-bit
    integer, therefore, it can not represent files larger than 4GB. This
    limitation also applies to -l option of gzip utility.

Credo che il modo più veloce sia quello di modificare in gzipmodo che il test in modalità dettagliata produca il numero di byte decompressi; sul mio sistema, con un file di 7761108684 byte, ottengo

% time gzip -tv test.gz
test.gz:     OK (7761108684 bytes)
gzip -tv test.gz  44.19s user 0.79s system 100% cpu 44.919 total

% time zcat test.gz| wc -c
7761108684
zcat test.gz  45.51s user 1.54s system 100% cpu 46.987 total
wc -c  0.09s user 1.46s system 3% cpu 46.987 total

Per modificare gzip (1.6, come disponibile in Debian), la patch è la seguente:

--- a/gzip.c
+++ b/gzip.c
@@ -61,6 +61,7 @@
 #include <stdbool.h>
 #include <sys/stat.h>
 #include <errno.h>
+#include <inttypes.h>

 #include "closein.h"
 #include "tailor.h"
@@ -694,7 +695,7 @@

     if (verbose) {
         if (test) {
-            fprintf(stderr, " OK\n");
+            fprintf(stderr, " OK (%jd bytes)\n", (intmax_t) bytes_out);

         } else if (!decompress) {
             display_ratio(bytes_in-(bytes_out-header_bytes), bytes_in, stderr);
@@ -901,7 +902,7 @@
     /* Display statistics */
     if(verbose) {
         if (test) {
-            fprintf(stderr, " OK");
+            fprintf(stderr, " OK (%jd bytes)", (intmax_t) bytes_out);
         } else if (decompress) {
             display_ratio(bytes_out-(bytes_in-header_bytes), bytes_out,stderr);
         } else {

Se avete bisogno le dimensioni di un file compresso o insieme di file, la soluzione migliore è quella di utilizzare tar -zo tar -jinvece gzipcome tarinclude la dimensione dei file non compressi. Utilizzare lesspipeper dare un'occhiata all'elenco dei file:

aptitude install lesspipe
lesspipe <compressed file> | less

Se lessè configurato per l'uso lesspipe:

less <compressed file>

Ricorda che può volerci molto tempo. Tuttavia, il sistema rimane reattivo, il che consente di interrompere il processo di decompressione.

Un altro approccio sarebbe quello di registrare il rapporto compresso e interrogare invece quel file [testo]:

gzip --verbose file 2>&1 | tee file.gz.log
file:    64.5% -- replaced with file.gz

Richiede il calcolo per trovare la dimensione del file reale però.

Potresti anche fare lo stesso con tar, che è in realtà quello che faccio con backup di grandi dimensioni in quanto impedisce di eseguire l'intero processo di decompressione per ottenere solo una dimensione o un nome di file, ad esempio.

Che dire

gzip -l file.gz|tail -n1|awk '{print $2}'

numfmt --to=iec $(gzip -l file.gz|tail -n1|awk '{print $2}')

gunzip -c $file | wc -c

Questo richiederà molto tempo, ma ti darà la dimensione finale in byte.