Quali sono le opzioni di compressione per l'archiviazione di grandi quantità di testo in Postgres?

9

Ho bisogno di archiviare grandi quantità di testo in Postgres, principalmente registri di comando e l'output di comandi di lunga durata e ho bisogno di sapere se ci sono alcune impostazioni che potrebbero aiutare a comprimere i dati in modo trasparente con uno strumento come zlib o altri metodi nativi di risparmio di spazio .

I dati sono principalmente di sola lettura, quindi la scrittura non è un problema.

postgresql compression

— vfclists
fonte

3

dal manuale : " Le stringhe lunghe vengono compresse automaticamente dal sistema " ed ecco una descrizione più dettagliata: postgresql.org/docs/current/static/storage-toast.html

— a_horse_with_no_name

3

Usiamo un algoritmo di compressione con un rapporto piuttosto basso, perché deve avere un basso costo della CPU. Quindi può valere la pena fare un'altra forma di compressione e impostare la EXTERNALmemoria sulla colonna.

— Craig Ringer,

@CraigRinger Quando dici un'altra forma di compressione, intendi impostare alcune opzioni Postgres aggiuntive o compilare un modulo aggiuntivo, che sia una libreria già pronta o una tua?

— vfclists,

Risposte:

3

Di default Postgres comprime automaticamente tutto il TESTO. Utilizza un semplice algoritmo lzcompress:

https://www.postgresql.org/docs/9.3/storage-toast.html

Esiste un plug-in che probabilmente evolverà in supporto alla compressione LZ4 per TEXT:

https://github.com/zilder/pg_lz4

Esiste un FDW che supporta anche la compressione:

https://www.citusdata.com/blog/2014/04/03/columnar-store-for-analytics/

— kworr
fonte

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.