Come decomprimere i dati zlib in UNIX?

Ho creato i dati compressi con zlib in Python, in questo modo:

import zlib
s = '...'
z = zlib.compress(s)
with open('/tmp/data', 'w') as f:
    f.write(z)

(o uno-liner in guscio: echo -n '...' | python2 -c 'import sys,zlib; sys.stdout.write(zlib.compress(sys.stdin.read()))' > /tmp/data)

Ora voglio decomprimere i dati nella shell. Né zcatné uncompresslavoro:

$ cat /tmp/data | gzip -d -
gzip: stdin: not in gzip format

$ zcat /tmp/data 
gzip: /tmp/data.gz: not in gzip format

$ cat /tmp/data | uncompress -
gzip: stdin: not in gzip format

Sembra che abbia creato un file simile a gzip, ma senza intestazioni. Sfortunatamente non vedo alcuna opzione per decomprimere tali dati grezzi nella pagina man di gzip e il pacchetto zlib non contiene alcuna utilità eseguibile.

Esiste un'utilità per decomprimere i dati zlib grezzi?

È anche possibile decomprimerlo usando shell-script standard + gzip , se non si dispone o si desidera utilizzare openssl o altri strumenti.
Il trucco è anteporre il numero magico di gzip e il metodo di compressione ai dati effettivi da zlib.compress:

printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - /tmp/data |gzip -dc >/tmp/out

Modifiche:
@ d0sboot commentati: per i dati RAW Deflate, è necessario aggiungere altri 2 byte null:
→"\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x00"

Questa Q su SO fornisce ulteriori informazioni su questo approccio. Una risposta suggerisce che esiste anche un piè di pagina da 8 byte.

Gli utenti @ Vitali-Kushner e @ mark-bessey hanno riportato il successo anche con file troncati, quindi un footer gzip non sembra strettamente necessario.

@ tobias-kienzler ha suggerito questa funzione per il bashrc :
zlipd() (printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" |cat - $@ |gzip -dc)

L'utente @tino ha commentato sotto la risposta OpenSSL ma penso che questo dovrebbe essere separato:

zlib-flate -uncompress < FILE

Ho provato questo e ha funzionato per me.

zlib-flatepuò essere trovato nel pacchetto qpdf(in Debian Squeeze e Fedora 23, secondo i commenti in altre risposte)

Ho trovato una soluzione (una delle possibili), sta usando openssl :

$ openssl zlib -d < /tmp/data

o

$ openssl zlib -d -in /tmp/data

* NOTA: la funzionalità zlib è apparentemente disponibile nelle recenti versioni di openssl> = 1.0.0 (OpenSSL deve essere configurato / costruito con l'opzione zlib o zlib-dynamic, quest'ultima è predefinita)

Consiglio Pigz di Mark Adler , coautore della libreria di compressione zlib. Eseguire pigzper vedere i flag disponibili.

Noterai:

-z --zlib Compress to zlib (.zz) instead of gzip format.

Puoi decomprimere usando il -dflag:

-d --decompress --uncompress Decompress the compressed input.

Supponendo un file chiamato 'test':

• pigz -z test - crea un file compresso zlib chiamato test.zz
• pigz -d -z test.zz - converte test.zz nel file di test decompresso

Su OSX è possibile eseguire brew install pigz

zlibimplementa la compressione utilizzata da gzip, ma non il formato del file. Invece, dovresti usare il gzipmodulo , che a sua volta usa zlib.

import gzip
s = '...'
with gzip.open('/tmp/data', 'w') as f:
    f.write(s)

Questo potrebbe farlo:

import glob
import zlib
import sys

for filename in sys.argv:
    with open(filename, 'rb') as compressed:
        with open(filename + '-decompressed', 'wb') as expanded:
            data = zlib.decompress(compressed.read())
            expanded.write(data)

Quindi eseguilo in questo modo:

$ python expander.py data/*

Il programma di esempio zpipe.c trovato qui dallo stesso Mark Adler (viene fornito con la distribuzione di origine della libreria zlib) è molto utile per questi scenari con dati zlib non elaborati. Compilare con cc -o zpipe zpipe.c -lze per decomprimere: zpipe -d < raw.zlib > decompressed. Può anche fare la compressione senza la -dbandiera.

Su macOS, che è un UNIX completamente conforme a POSIX (formalmente certificato!), OpenSSLNon ha zlibsupporto, non esiste zlib-flateneanche e mentre la prima soluzione funziona così come tutte le soluzioni Python, la prima soluzione richiede che i dati ZIP siano in un file e tutte le altre soluzioni ti costringono a creare uno script Python.

Ecco una soluzione basata su Perl che può essere utilizzata come linea di comando a riga di comando, ottiene il suo input tramite pipe STDIN e funziona immediatamente con un macOS appena installato:

cat file.compressed | perl -e 'use Compress::Raw::Zlib;my $d=new Compress::Raw::Zlib::Inflate();my $o;undef $/;$d->inflate(<>,$o);print $o;'

Più formattato, lo script Perl è simile al seguente:

use Compress::Raw::Zlib;
my $decompressor = new Compress::Raw::Zlib::Inflate();
my $output;
undef $/;
$decompressor->inflate(<>, $output);
print $output;

Puoi usarlo per comprimere con zlib:

openssl enc -z -none -e < /file/to/deflate

E questo per sgonfiare:

openssl enc -z -none -d < /file/to/deflate

zcat -f infile > outfile 

funziona per me su fedora25