Trasforma l'elenco in riga singola con delimitatore

Devo prendere un elenco (carica) di indirizzi IP in questo formato:

 134.27.128.0
 111.245.48.0
 109.21.244.0

e trasformali in questo formato con una pipe in mezzo (IP creati)

134.27.128.0 | 111.245.48.0 | 109.21.244.0 | 103.22.200.0/22

Penso che sia un comando trova e sostituisci come sed ma non riesco a farlo funzionare.

Usando sed, sulla base di famosi sed one-liners spiegato, Parte I: : 39. Aggiunge una riga alla successiva se finisce con un backslash "\" (tranne che qui si ignora la parte che riguarda il backslash, e sostituire le \nnuove righe con il |separatore richiesto ):

sed -e :a -e '$!N; s/\n/ | /; ta' mydoc > mydoc2

dovrebbe produrre in mydoc2

134.27.128.0 |  111.245.48.0 |  109.21.244.0

Ero curioso di vedere come alcuni di questi (+ alcune alternative) funzionino in modo rapido con un file piuttosto grande ( 163MiB, uno IPper riga, ~ 13 milioni di righe):

wc -l < iplist
13144256

Risultati (con sync; echo 3 > /proc/sys/vm/drop_cachesdopo ogni comando; ho ripetuto i test - in ordine inverso - dopo un paio d'ore ma le differenze erano trascurabili; nota anche che sto usando gnu sed):

steeldriver :
molto lento. Interrotto dopo due minuti di attesa ... quindi nessun risultato per questo.

cuonglm :

awk 'FNR!=1{print l}{l=$0};END{ORS="";print l}' ORS=' | ' iplist

real    0m3.672s

perl -pe 's/\n/ | / unless eof' iplist

real    0m12.444s

mikeserv :

paste -d\  /dev/null iplist /dev/null | paste -sd\| - 

real    0m0.983s

jthill :

sed 'H;1h;$!d;x;s/\n/ | /g' iplist

real    0m4.903s

Avinash Raj :

time python2.7 -c'
import sys
with open(sys.argv[1]) as f:
    print " | ".join(line.strip() for line in f)' iplist

real    0m3.434s

e

val0x00ff :

while read -r ip; do printf '%s | ' "$ip"; done < iplist

real    3m4.321s

il che significa 184.321s. Non sorprende che questo sia 200 volte più lento della soluzione di Mikeserv .

Ecco alcuni altri modi con
awk:

awk '$1=$1' RS= OFS=' | ' iplist

real    0m4.543s

awk '{printf "%s%s",sep,$0,sep=" | "} END {print ""}' iplist

real    0m5.511s

perl:

perl -ple '$\=eof()?"\n":" | "' iplist

real    0m9.646s

xargs:

xargs <iplist printf ' | %s' | cut -c4-

real    0m6.326s

una combinazione di testa + incolla + tr + gatto:

{ head -n -1 | paste -d' |' - /dev/null /dev/null | tr \\n \ ; cat ; } <iplist

real    0m0.991s

Se hai GNU coreutilse se il tuo elenco di IP non è davvero enorme (diciamo fino a 50000 IP) puoi anche farlo con pr:

pr -$(wc -l infile) -tJS' | ' -W1000000 infile >outfile

dove

-$(wc -l infile)         # no. of columns (= with no. of lines in your file)
-t                       # omit page headers and trailers
-J                       # merge lines
-S' | '                  # separate columns by STRING
-W1000000                # set page width

ad es. per un file a 6 righe:

134.28.128.0
111.245.28.0
109.245.24.0
128.27.88.0
122.245.48.0
103.44.204.0

il comando:

pr -$(wc -l <infile) -tJS' | ' -W1000 infile

uscite:

134.28.128.0 | 111.245.28.0 | 109.245.24.0 | 128.27.88.0 | 122.245.48.0 | 103.44.204.0

Puoi usare awk :

awk 'FNR!=1{print l}{l=$0};END{ORS="";print l}' ORS=' | ' file > new_file

ORS=' | 'impostare il separatore del record di output su ' | 'anziché su newline.

o modifica sul posto con perl:

perl -pe 's/\n/ | / unless eof' file

Quindi ho sbagliato tutto, e questa domanda mi ha insegnato molto paste. Come osserva correttamente cuonglm, a meno che tu non abbia pasteun file in -serial, finirai sempre con l'ultima \newline della tua lista di file aggiunta all'output mentre viene scritta. Mi sbagliavo nella convinzione che il paste -scomportamento fosse la sua modalità predefinita - e questo è un malinteso che, a quanto pare, busybox pasteera felice di rafforzare. Il seguente comando funziona come pubblicizzato con busybox:

paste -d'|  ' - - infile </dev/null >outfile

Tuttavia, non funziona secondo le specifiche. Una corretta implementazione pasteaggiungerebbe comunque una \newline finale per ogni sequenza scritta. Tuttavia, non è un grosso problema dopo tutto:

paste -d\  - infile - </dev/null | paste -sd\| - >outfile

one-liner con tr e sed:

cat file | tr '\n' '|' | sed 's/||$/\n/'
134.27.128.0|111.245.48.0|109.21.244.0

Utilizzare vim:

vim -n -u NONE -c '1,$-1s/\n/ | /g|wq!' data

Spiegazione:

-n disabilita il file di scambio

-u NONE viene utilizzato per saltare tutte le inizializzazioni.

-c {command} eseguire i comandi dopo aver letto il file.

1,$-1s/\n/ | /gè s/\n/ | /g(sostituisci newline con spazio tubo spazio) per l'intervallo 1,$-1s(dalla prima riga all'ultima riga - 1)

wq! forzare la scrittura e la chiusura

Nota:

A seconda della grandezza del tuo file, questa potrebbe essere una cattiva idea.

Attraverso il pitone.

$ python -c '
import sys
with open(sys.argv[1]) as f:
    print " | ".join(line.strip() for line in f)' file

gli spazi prima printerano molto importanti.

Eccone un altro che usa xxd

xxd -c1 -ps data | sed '$!s/0a/207c20/' | xxd -r -ps

Per completezza, ecco un'altra awksoluzione basata su questo, questo non sta usando ORSaffatto:

awk 'BEGIN { ORS="" } { print p$0; p=" | " } END { print "\n" }' file > new_file

Per una spiegazione, consultare il mio post su /unix//a/338121/117599 .