Come accorciare un file dalla riga di comando?

Ho un file xml da 150 GB che vorrei accorciare (cioè troncare) a circa 1 GB: esiste un comando semplice (bash o simile) che posso usare o devo seguire il percorso programmatico (modificandolo in vi o emacs è un incubo anche su grandi sistemi di ferro)?

(Non sono particolarmente preoccupato per la perdita di informazioni, voglio un file più breve in modo da poter testare un software su questo e non aspettare molte ore per la risposta, un file più breve mi permetterà di farlo.)

Supponendo di voler troncare ed estrarre i primi 1 GB del file da 150 GB:

Con head:

head -c 1G infile > outfile

Si noti che il Gsuffisso può essere sostituito con GBper allineare a 1000 anziché a 1024.

O con dd:

dd if=infile of=outfile bs=1M count=1024

O come nella risposta di Wumpus Q. Wumbley, ddpuò troncarsi sul posto.

Per troncare un file a 1 gigabyte, utilizzare il truncatecomando:

truncate -s 1G file.xml

Il risultato del troncamento probabilmente non sarà un file XML valido ma ho capito che lo capisci.

La documentazione per la versione GNU di truncateè qui e la documentazione per la versione BSD è qui

Ove possibile, truncateuserei il comando come nella risposta di John1024. Tuttavia, non è un comando unix standard, quindi un giorno potresti trovarti incapace di usarlo. In tal caso, ddpuò eseguire anche un troncamento sul posto.

ddIl comportamento predefinito è quello di troncare il file di output nel punto in cui termina la copia, quindi basta dargli un file di input di lunghezza 0 e dirgli di iniziare a scrivere nel punto di troncamento desiderato:

dd if=/dev/null of=filename bs=1048576 seek=1024

(Questo non è lo stesso del copia-e-tronca ddnella risposta di multithr3at3d.)

Si noti che ho usato 1048576 e 1024 perché 1048576 * 1024 è la dimensione desiderata. Ho evitato bs = 1m, perché questa è una risposta "portabilità", e classico ddconosce solo suffissi k, be w.

Non sono del tutto sicuro di ciò che stai chiedendo. Vuoi solo sbarazzarti degli altri 149 GB o stai cercando di comprimere 150 GB in 1 GB? Indipendentemente da ciò, questo può essere un metodo utile per raggiungere questo obiettivo.

Il splitcomando può dividere qualsiasi file in più pezzi. Vedi uomo diviso . È possibile specificare la dimensione dei blocchi di file in cui si desidera dividerlo con l' -bopzione. Per esempio:

$ split -b 1GB myfile.xml

Senza altre opzioni, ciò dovrebbe creare diversi file nella directory corrente a partire dalla lettera x. Se si desidera regolare i nomi dei file divisi, consultare la pagina man.

Per riassemblare il file basta usare cat * > re-assembled.xml.

Esempio:

[kent_x86.py@c7 split-test]$ ls -l opendocman*
-rw-rw-r--.  1 kent_x86.py kent_x86.py 2082602 Mar 31  2017 opendocman-1.3.5.tar.gz

[kent_x86.py@c7 split-test]$ split -b 100K opendocman-1.3.5.tar.gz 
[kent_x86.py@c7 split-test]$ ls
opendocman-1.3.5.tar.gz  xaa  xab  xac  xad  xae  xaf  xag  xah  xai  xaj  xak  xal  xam  xan  xao  xap  xaq  xar  xas  xat  xau
[kent_x86.py@c7 split-test]$ ll
total 4072
-rw-rw-r--. 1 kent_x86.py kent_x86.py 2082602 Jan  5 11:06 opendocman-1.3.5.tar.gz
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xaa
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xab
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xac
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xad
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xae
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xaf
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xag
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xah
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xai
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xaj
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xak
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xal
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xam
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xan
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xao
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xap
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xaq
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xar
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xas
-rw-rw-r--. 1 kent_x86.py kent_x86.py  102400 Jan  5 11:06 xat
-rw-rw-r--. 1 kent_x86.py kent_x86.py   34602 Jan  5 11:06 xau
[kent_x86.py@c7 split-test]$ cat xa* > opendoc-reassembled.tar.gz
[kent_x86.py@c7 split-test]$ ls -l opendoc-reassembled*
-rw-rw-r--. 1 kent_x86.py kent_x86.py 2082602 Jan  5 11:07 opendoc-reassembled.tar.gz

Puoi usare il splitcomando

split -C 1G <filename>

Per maggiori dettagli dai un'occhiata a questa risposta StackOverflow

Alla fine ho usato solo sedper estrarre un numero arbitrario di righe:

sed -n 1,1000000p infile.xml>outfile.xml