Come faccio a comprimere con gzip una stringa in Python?

86

Come faccio a comprimere con gzip una stringa in Python?

gzip.GzipFile esiste, ma questo è per gli oggetti file - che dire con stringhe semplici?

python  compression  gzip 
— Bdfy
fonte
1
@KevinDTimm, quel documento menziona solo StringIOma non spiega davvero come farlo. Quindi fare questa domanda qui è completamente valido, IMHO. Qualche altra prova prima di chiederci e raccontarcene sarebbe stato bello, però.
— Alfe
@Alfe - la domanda è stata chiusa 4 anni fa per lo stesso motivo del mio commento - l'OP non ha fatto alcuno sforzo per cercare prima.
— KevinDTimm
4
Come è fuori tema?
2
Questa domanda è il più grande successo in Google ora gzip string in pythoned è molto ragionevole IMO. Dovrebbe essere riaperto.
— Garrett
2
Come sopra, questa domanda è il miglior risultato in una ricerca su Google e una delle risposte è corretta: sembra davvero che non debba essere chiusa.
— darkdan21

Risposte:

156

Se vuoi produrre una gzipstringa binaria completa compatibile, con l'intestazione ecc., Potresti usare gzip.GzipFileinsieme a StringIO:

try:
    from StringIO import StringIO  # Python 2.7
except ImportError:
    from io import StringIO  # Python 3.x
import gzip
out = StringIO()
with gzip.GzipFile(fileobj=out, mode="w") as f:
  f.write("This is mike number one, isn't this a lot of fun?")
out.getvalue()

# returns '\x1f\x8b\x08\x00\xbd\xbe\xe8N\x02\xff\x0b\xc9\xc8,V\x00\xa2\xdc\xcc\xecT\x85\xbc\xd2\xdc\xa4\xd4"\x85\xfc\xbcT\x1d\xa0X\x9ez\x89B\tH:Q!\'\xbfD!?M!\xad4\xcf\x1e\x00w\xd4\xea\xf41\x00\x00\x00'
— NPE
fonte
2
L'opposto di questo è: `def gunzip_text (text): infile = StringIO.StringIO () infile.write (text) con gzip.GzipFile (fileobj = infile, mode =" r ") come f: f.rewind () f .read () return out.getvalue ()
— fastmultiplication
3
@fastmultiplication: o più breve:f = gzip.GzipFile(StringIO.StringIO(text)); result = f.read(); f.close(); return result
— Alfe
2
Sfortunatamente, la domanda è stata vicina, quindi non posso dare una nuova risposta, ma ecco come farlo in Python 3.
— Garrett
Probabilmente non correlato, la compressione in memoria è prima più veloce (utilizzando il disco locale)?
— user3226167
1
In Python 3:import zlib; my_string = "hello world"; my_bytes = zlib.compress(my_string.encode('utf-8')); my_hex = my_bytes.hex(); my_bytes2 = bytes.fromhex(my_hex); my_string2 = zlib.decompress(my_bytes); assert my_string == my_string2;
— ostrokach
64

Il modo più semplice è la zlib codifica :

compressed_value = s.encode("zlib")

Quindi decomprimilo con:

plain_string_again = compressed_value.decode("zlib")
— Sven Marnach
fonte
1
@ Daniel: Sì, sè un oggetto Python 2.x di tipo str.
— Sven Marnach
2
Vedi codifiche standard per sapere dove l'ha ottenuto (scorri verso il basso fino a "codec" ). Disponibile anche: s.encode('rot13'),s.encode( 'base64' )
— bobobobo
8
Nota che questo metodo non è compatibile con l'utilità della riga di comando gzip in quanto gzip include un'intestazione e un checksum, mentre questo meccanismo comprime semplicemente il contenuto.
— tylerl
So che questo è vecchio ma la riga di codice per la decompressione dovrebbe essere: plain_string_again = compressed_value.decode("zlib")
— minillinim
6
@BenjaminToueg: Python 3 è più severo riguardo alla distinzione tra stringhe Unicode (tipo strin Python 3) e stringhe di byte (tipo bytes). strgli oggetti hanno un encode()metodo che restituisce un bytesoggetto e gli bytesoggetti hanno un decode()metodo che restituisce un file str. Il zlibcodec è speciale in quanto converte da bytesa bytes, quindi non si adatta a questa struttura. Puoi invece usare codecs.encode(b, "zlib")e codecs.decode(b, "slib")per un bytesoggetto b.
— Sven Marnach,
22

Versione Python3 della risposta di Sven Marnach del 2011:

import gzip
exampleString = 'abcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijmortenpunnerudengelstadrocksklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuvabcdefghijklmnopqrstuv123'
compressed_value = gzip.compress(bytes(exampleString,'utf-8'))
plain_string_again  = gzip.decompress(compressed_value)
— Punnerud
fonte
2
In Python 3 zlibè ancora utilizzato, gzipeffettivamente utilizza zlib, vedere: docs.python.org/3/library/zlib.html e docs.python.org/3/library/gzip.html#module-gzip
— gitaarik
La mia risposta originale stava usando zlib. Cambiato in gzip perché quella era la domanda originale. Puoi facilmente sostituire da gzip a zlib (cerca e sostituisci) nel mio esempio e funzionerà.
— Punnerud
2

Per coloro che vogliono comprimere un dataframe Pandas in formato JSON:

Testato con Python 3.6 e Pandas 0.23

import sys
import zlib, lzma, bz2
import math

def convert_size(size_bytes):
    if size_bytes == 0:
        return "0B"
    size_name = ("B", "KB", "MB", "GB", "TB", "PB", "EB", "ZB", "YB")
    i = int(math.floor(math.log(size_bytes, 1024)))
    p = math.pow(1024, i)
    s = round(size_bytes / p, 2)
    return "%s %s" % (s, size_name[i])

dataframe = pd.read_csv('...') # your CSV file
dataframe_json = dataframe.to_json(orient='split')
data = dataframe_json.encode()
compressed_data = bz2.compress(data)
decompressed_data = bz2.decompress(compressed_data).decode()
dataframe_aux = pd.read_json(decompressed_data, orient='split')

#Original data size:  10982455 10.47 MB
#Encoded data size:  10982439 10.47 MB
#Compressed data size:  1276457 1.22 MB (lzma, slow), 2087131 1.99 MB (zlib, fast), 1410908 1.35 MB (bz2, fast)
#Decompressed data size:  10982455 10.47 MB
print('Original data size: ', sys.getsizeof(dataframe_json), convert_size(sys.getsizeof(dataframe_json)))
print('Encoded data size: ', sys.getsizeof(data), convert_size(sys.getsizeof(data)))
print('Compressed data size: ', sys.getsizeof(compressed_data), convert_size(sys.getsizeof(compressed_data)))
print('Decompressed data size: ', sys.getsizeof(decompressed_data), convert_size(sys.getsizeof(decompressed_data)))

print(dataframe.head())
print(dataframe_aux.head())
— Andrews Sobral
fonte
-4 
s = "a long string of characters"

g = gzip.open('gzipfilename.gz', 'w', 5) # ('filename', 'read/write mode', compression level)
g.write(s)
g.close()
— Jon Mitten
fonte
4
Immagino che la domanda riguardasse la compressione di una stringa in memoria senza doverla scrivere su disco durante il processo. Altrimenti la tua risposta è totalmente corretta.
— Alfe
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.