dividere il file in due parti, secondo uno schema

Come dividere un file di grandi dimensioni in due parti, in un modello?

Di seguito un esempio file.txt:

ABC
EFG
XYZ
HIJ
KNL

Voglio dividere questo file in modo XYZtale che file1contenga le righe fino XYZe il resto delle righe file2.

Con awkte puoi fare:

awk '{print >out}; /XYZ/{out="file2"}' out=file1 largefile

Spiegazione: Il primo awkargomento ( out=file1) definisce una variabile con il nome file che verrà utilizzata per l'output mentre largefileviene elaborato l'argomento successivo ( ). Il awkprogramma stamperà tutte le righe sul file specificato dalla variabile out( {print >out}). Se XYZverrà trovato il modello , la variabile di output verrà ridefinita in modo che punti al nuovo file ( {out="file2}") che verrà utilizzato come destinazione per stampare le successive righe di dati.

Riferimenti:

• Manuale di gawk: Redirection http://www.gnu.org/software/gawk/manual/html_node/Redirection.html#Redirection

Questo è un lavoro per csplit:

csplit -sf file -n 1 large_file /XYZ/

sdividerebbe il file in modo non intenzionale, creando pezzi con pre fix filee nombreggiati usando una sola cifra, ad es file0. ecc. Si noti che l'uso /regex/si dividerebbe, ma non includendo la linea corrispondente regex. Per dividere e includere la corrispondenza della linea regexaggiungere un +1offset:

csplit -sf file -n 1 large_file /XYZ/+1

Questo crea due file file0e file1. Se hai assolutamente bisogno che vengano nominati file1e file2puoi sempre aggiungere un modello vuoto al csplitcomando e rimuovere il primo file:

csplit -sf file -n 1 large_file // /XYZ/+1

crea file0, file1e file2ma file0è vuota, quindi si può tranquillamente rimuovere:

rm -f file0

Con un moderno kshecco una variante di shell (cioè senza sed) di una delle sedrisposte basate sopra:

{ read in <##XYZ ; print "$in" ; cat >file2 ;} <largefile >file1

E un'altra variante in kshsolo (cioè omettendo anche il cat):

{ read in <##XYZ ; print "$in" ; { read <##"" ;} >file2 ;} <largefile >file1

(La kshsoluzione pura sembra essere abbastanza performante; su un file di test da 2,4 GB ha richiesto 19-21 secondi, rispetto ai 39-47 secondi con l' approccio sed/ catbased).

{ sed '/XYZ/q' >file1; cat >file2; } <infile

Con GNU seddovresti usare l' -uinterruttore nbuffered. La maggior parte degli altri seddovrebbe funzionare.

Per lasciare fuori XYZ ...

{ sed -n '/XYZ/q;p'; cat >file2; } <infile >file1

Prova questo con GNU sed:

sed -n -e '1,/XYZ/w file1' -e '/XYZ/,${/XYZ/d;w file2' -e '}' large_file

Un trucco semplice è stampare su STDOUT o STDERR, a seconda che il modello target sia stato abbinato. È quindi possibile utilizzare gli operatori di reindirizzamento della shell per reindirizzare l'output di conseguenza. Ad esempio, in Perl, supponendo che venga chiamato il file di input, fi due file di output f1e f2:

1. Scartando la linea che corrisponde al modello di divisione:

   perl -ne 'if(/XYZ/){$a=1; next} ; $a==1 ? print STDERR : print STDOUT;' f >f1 2>f2

2. Inclusa la linea abbinata:

   perl -ne '$a=1 if /XYZ/; $a==1 ? print STDERR : print STDOUT;' f >f1 2>f2

In alternativa, stampa su diversi handle di file:

1. Scartando la linea che corrisponde al modello di divisione:

   perl -ne 'BEGIN{open($fh1,">","f1");open($fh2,">","f2");}
   if(/XYZ/){$a=1; next}$a==1 ? print $fh1 "$_" : print $fh2 "$_";' f

2. Inclusa la linea abbinata:

   perl -ne 'BEGIN{open($fh1,">","f1"); open($fh2,">","f2");}
             $a=1 if /XYZ/; $a==1 ? print $fh1 "$_" : print $fh2 "$_";' f