Come creare un file gzip senza estensione .gz?

Vorrei creare un file gzip che conserva il nome del file originale. Ad esempio gzipping "esempio.txt" dovrebbe generare un file gzippato chiamato "esempio.txt" anziché "esempio.txt.gz". È possibile farlo elegantemente con un comando (non eseguendo un successivo mv)?

Questo non funziona:

# echo Hello World > example.txt
# gzip < example.txt > example.txt # WRONG!
# file example.txt
example.txt: gzip compressed data, from Unix, last modified: Thu Mar 21 19:45:29 2013
# gunzip < example.txt
<empty file>

Questa è una condizione di gara:

# echo Hello World > example.txt
# dd if=example.txt | gzip | dd of=example.txt # still WRONG!
# gunzip < example.txt 
Hello World # may also be empty

Il problema è che il > example.txt (o dd of=example.txtdel resto) uccide il file prima che l'altro processo abbia la possibilità di leggerlo. Quindi non esiste una soluzione ovvia, motivo per cui dovresti attenerti mv.

Esistono diversi modi per barare. Puoi aprire il file, quindi scollegarlo - il file continuerà a esistere fino a quando non lo chiuderai - e quindi creare un nuovo file con lo stesso nome e scrivere i dati compressi con quello. Comunque non conosco un modo ovvio per costringere Bash a usarlo, e anche se lo facessi, la mia risposta sarebbe ancora:

Non farlo nemmeno.

Se gzip fallisce per qualsiasi motivo o si verifica un problema, ad esempio quando si esaurisce lo spazio durante il gzipping (perché altri processi stanno scrivendo, o il risultato gzip è più grande dell'input - che accade per dati casuali - ecc.), Hai appena perso il tuo file . Congratulazioni!

Crea un file separato e mvin caso di successo. Questo è il metodo più semplice, facile da capire e più affidabile che tu abbia mai trovato.

Ho avuto lo stesso problema, come parte di una distribuzione CI su AWS S3.

Questo è quello che ho fatto per gzipare ricorsivamente una directory (sul posto) senza il .gzsuffisso:

find . -type f -exec gzip "{}" \; -exec mv "{}.gz" "{}" \;

Sembra abbastanza pulito per me. Ma sì, sembra che tu abbia bisogno mvdi qualcosa da qualche parte.

Se stai usando gruntpuoi guardare grunt-contrib-compress. Alcuni degli gruntstrumenti specifici per la distribuzione su S3 gestiranno anche gzip per te.

-S estensione che desideri

gzip -S "`_date +%Y_%M' dog.txt 

comporterà dog.txt_2015_11

quando lo decomprimi devi specificare l'estensione.

gzip -d _2015_11 dog.txt_2015_11

In unix usa il comando file per determinare quale tipo di file hai, le estensioni sono fuorvianti o mancano spesso.

Non penso che la creazione di un file gzip senza estensione sia davvero la cosa giusta da fare.

Quindi dovresti configurare il tuo server web per leggere il file .gz. Probabilmente hai già una regola come questa:

Path asets/:
  If header Accept-Encoding contains "gzip" and not contains "gzip;q=0":
    Add header Content-Encoding: gzip

Devi solo aggiungere una regola che riscrive il nome del file richiesto per aggiungere ".gz" (in realtà, dovresti verificare che il file esista, proprio come dovresti verificare che il client abbia elencato gzip nella sua intestazione Accept-Encoding)

Puoi provare s3_website per questo.

Non mi piace il fatto che sia scritto sia in scala che in ruby ​​e che abbia bisogno di una JVM. Inoltre, non mi piace il presupposto che fa (in particolare il fatto che elimina i file extra dal bucket), ma dovrebbe funzionare se stai bene.

Sto programmando di scrivere uno strumento del genere da solo che non abbia questi limiti, rimanete sintonizzati.

Questo non è davvero qualcosa che dovresti fare, principalmente perché quando trasferisci questo file ad altri sistemi o persone, potrebbe finire per essere fonte di confusione per loro e non trovarlo come file compresso.

Se non vuoi usare alcun suffisso, GNU non è adatto a te, poiché gzip -S ""restituirebbe a gzip: invalid suffix ''.

Tuttavia, potresti sempre inviare qualcosa del tipo gzip -S " "(spazio vuoto) e verrà mostrato in questo modo:

$ file testfile\  
testfile: gzip compressed data, was "testfile", from Unix, last modified: Tue Jun  3 XX:XX:XX 2014

Successivamente, se vuoi decomprimerlo, dovrai fare qualcosa del genere gunzip -c testfile\ (senza specificare il suffisso), o anche con la -fbandiera.

Sinceramente penso che l'aggiunta di un mvcomando con &&non renderebbe molto fastidioso il tuo codice. Comunque, e come ha detto @frostschutz, non è una buona idea farlo.