Sostituisci la stringa contenente newline in un file enorme

Qualcuno sa di uno strumento non basato su linea per cercare "binario" / sostituire le stringhe in modo un po 'efficiente in termini di memoria? Vedi anche questa domanda .

Ho un file di testo + 2 GB che vorrei elaborare in modo simile a quello che sembra fare:

sed -e 's/>\n/>/g'

Ciò significa che voglio rimuovere tutte le nuove righe che si verificano dopo un >, ma non altrove, in modo da escludere tr -d.

Questo comando (che ho ricevuto dalla risposta di una domanda simile ) fallisce con couldn't re-allocate memory:

sed --unbuffered ':a;N;$!ba;s/>\n/>/g'

Quindi, ci sono altri metodi senza ricorrere a C? Odio il Perl, ma sono disposto a fare un'eccezione in questo caso :-)

Non sono sicuro di alcun personaggio che non si presenta nei dati, quindi la sostituzione temporanea \ncon un altro personaggio è qualcosa che vorrei evitare, se possibile.

Qualche buona idea, qualcuno?

Questo è davvero banale in Perl, non dovresti odiarlo!

perl -i.bak -pe 's/>\n/>/' file

Spiegazione

• -i: modifica il file sul posto e crea un backup dell'originale chiamato file.bak. Se non si desidera un backup, utilizzare perl -i -peinvece.
• -pe: leggi il file di input riga per riga e stampa ogni riga dopo aver applicato lo script indicato come -e.
• s/>\n/>/: la sostituzione, proprio come sed.

Ed ecco un awkapproccio:

awk  '{if(/>$/){printf "%s",$0}else{print}}' file2 

UN perl soluzione:

$ perl -pe 's/(?<=>)\n//'

spiegazione

• s/// è usato per la sostituzione di stringhe.
• (?<=>) è il modello lookbehind.
• \n corrisponde a newline.

L'intero significato dei pattern rimuove tutte le newline che hanno >davanti.

Cosa ne pensi di questo:

sed ':loop
  />$/ { N
    s/\n//
    b loop
  }' file

Per GNU sed, puoi anche provare ad aggiungere l' opzione -u( --unbuffered) come da domanda. GNU sed è anche contento di questo come un semplice one-liner:

sed ':loop />$/ { N; s/\n//; b loop }' file

Dovresti essere in grado di usarlo sedcon il Ncomando, ma il trucco sarà quello di eliminare una riga dallo spazio del pattern ogni volta che ne aggiungi un'altra (in modo che lo spazio del pattern contenga sempre solo 2 righe consecutive, invece di provare a leggere l'intero file) - prova

sed ':a;$!N;s/>\n/>/;P;D;ba'

EDIT: dopo aver riletto il famoso Sed One-Liners di Peteris Krumins, ho spiegato che credo che una sedsoluzione migliore sarebbe

sed -e :a -e '/>$/N; s/\n//; ta'

che aggiunge solo la seguente riga nel caso in cui sia già stata creata una >corrispondenza alla fine e dovrebbe ricorrere in modo condizionale indietro per gestire il caso di linee di corrispondenza consecutive (è il 39 di Krumin . Aggiungi una riga alla successiva se termina con una barra rovesciata) "\" esattamente ad eccezione della sostituzione di >per \come carattere join, e il fatto che il join carattere viene mantenuto nell'output).

sednon fornisce un modo per emettere output senza una nuova riga finale. Il tuo approccio usandoN fondamentalmente funziona, ma memorizza le linee incomplete nella memoria, e quindi può fallire se le linee diventano troppo lunghe (le impianti sed non sono in genere progettate per gestire linee estremamente lunghe).

Puoi usare invece awk.

awk '{if (/<$/) printf "%s", $0; else print}'

Un approccio alternativo consiste nell'utilizzare trper scambiare il carattere newline con un carattere “noioso”, che si presenta frequentemente. Lo spazio potrebbe funzionare qui: scegli un personaggio che tende ad apparire su ogni riga o almeno in una grande proporzione di righe nei tuoi dati.

tr ' \n' '\n ' | sed 's/> />/g' | tr '\n ' ' \n'

che ne dici di usare ed?

ed -s test.txt <<< $'/fruits/s/apple/banana/g\nw'

(tramite http://wiki.bash-hackers.org/howto/edit-ed )

Ho finito per usare gsar come descritto in questa risposta in questo modo:

gsar -F '-s>:x0A' '-r>'

Ci sono molti modi per farlo, e la maggior parte qui è davvero buona, ma penso che questo sia il mio preferito:

tr '>\n' '\n>' | sed 's/^>*//;H;/./!d;x;y/\n>/>\n/'

O anche:

tr '>\n' '\n>' | sed 's/^>*//' | tr '\n>' '>\n'