Come ottenere la parte di un file dopo la prima riga che corrisponde a un'espressione regolare?

Ho un file con circa 1000 righe. Voglio la parte del mio file dopo la riga che corrisponde alla mia dichiarazione grep.

Questo è:

$ cat file | grep 'TERMINATE'     # It is found on line 534

Quindi, voglio il file dalla riga 535 alla riga 1000 per ulteriori elaborazioni.

Come lo posso fare?

Di seguito verrà stampata la corrispondenza della riga TERMINATEfino alla fine del file:

sed -n -e '/TERMINATE/,$p'

Spiegazione: -n disabilita il comportamento predefinito seddi stampa di ogni riga dopo aver eseguito il suo script su di essa, -eindicato uno script su sed, /TERMINATE/,$è una selezione di intervallo di indirizzi (riga) che significa che la prima riga che corrisponde TERMINATEall'espressione regolare (come grep) alla fine del file ( $) ed pè il comando di stampa che stampa la riga corrente.

Questo verrà stampato dalla riga che segue la corrispondenza della riga TERMINATEfino alla fine del file:
(da DOPO la riga corrispondente a EOF, NON compresa la riga corrispondente)

sed -e '1,/TERMINATE/d'

Spiegazione: 1,/TERMINATE/ è una selezione dell'intervallo di indirizzi (riga) che indica la prima riga per l'input alla prima riga corrispondente TERMINATEall'espressione regolare, ed dè il comando di eliminazione che elimina la riga corrente e passa alla riga successiva. Poiché sedil comportamento predefinito è di stampare le righe, le righe verranno stampate dopo TERMINATE fino alla fine dell'input.

Modificare:

Se vuoi le linee prima TERMINATE:

sed -e '/TERMINATE/,$d'

E se vuoi entrambe le righe prima e dopo TERMINATEin 2 file diversi in un unico passaggio:

sed -e '1,/TERMINATE/w before
/TERMINATE/,$w after' file

I file before e after conterranno la riga con terminate, quindi per elaborare ciascuno devi usare:

head -n -1 before
tail -n +2 after

Edit2:

Se non si desidera codificare i nomi dei file nello script sed, è possibile:

before=before.txt
after=after.txt
sed -e "1,/TERMINATE/w $before
/TERMINATE/,\$w $after" file

Ma poi devi sfuggire al $significato dell'ultima riga in modo che la shell non proverà ad espandere la $wvariabile (nota che ora usiamo le virgolette doppie attorno allo script invece delle virgolette singole).

Ho dimenticato di dire che la nuova riga è importante dopo i nomi dei file nella sceneggiatura, in modo che sed sappia che i nomi dei file finiscono.

Modifica: 30/05/2016

Sébastien Clément ha chiesto: "Come sostituiresti l'hardcoded TERMINATEcon una variabile?"

Dovresti creare una variabile per il testo corrispondente e farlo allo stesso modo dell'esempio precedente:

matchtext=TERMINATE
before=before.txt
after=after.txt
sed -e "1,/$matchtext/w $before
/$matchtext/,\$w $after" file

utilizzare una variabile per il testo corrispondente con gli esempi precedenti:

## Print the line containing the matching text, till the end of the file:
## (from the matching line to EOF, including the matching line)
matchtext=TERMINATE
sed -n -e "/$matchtext/,\$p"

## Print from the line that follows the line containing the 
## matching text, till the end of the file:
## (from AFTER the matching line to EOF, NOT including the matching line)
matchtext=TERMINATE
sed -e "1,/$matchtext/d"

## Print all the lines before the line containing the matching text:
## (from line-1 to BEFORE the matching line, NOT including the matching line)
matchtext=TERMINATE
sed -e "/$matchtext/,\$d"

I punti importanti sulla sostituzione del testo con variabili in questi casi sono:

1. Le variabili ( $variablename) racchiuse tra single quotes[ '] non "si espandono", ma le variabili all'interno di double quotes[ "] lo faranno. Quindi, si deve cambiare tutto il single quotesper double quotesse contengono testo che si desidera sostituire con una variabile.
2. Gli sedintervalli contengono anche una $e sono immediatamente seguiti da una lettera come: $p, $d, $w. Essi potranno anche guardare come le variabili di essere ampliato, in modo da avere per sfuggire quei $personaggi con un backslash [ \] come: \$p, \$d, \$w.

Come semplice approssimazione potresti usare

grep -A100000 TERMINATE file

che esegue la grepping TERMINATEe genera fino a 100000 linee seguendo quella linea.

Dalla pagina man

-A NUM, --after-context=NUM

Stampa NUM righe del contesto finale dopo aver abbinato le righe. Posiziona una linea contenente un separatore di gruppo (-) tra gruppi contigui di corrispondenze. Con l'opzione -o o --only-matching, questo non ha alcun effetto e viene dato un avviso.

Uno strumento da usare qui è awk:

cat file | awk 'BEGIN{ found=0} /TERMINATE/{found=1}  {if (found) print }'

Come funziona:

1. Impostiamo la variabile 'found' su zero, valutando false
2. se viene trovata una corrispondenza per "TERMINATE" con l'espressione regolare, la impostiamo su una.
3. Se la nostra variabile "trovato" restituisce True, stampa :)

Le altre soluzioni potrebbero consumare molta memoria se le si utilizza su file molto grandi.

Se capisco correttamente la tua domanda, vuoi le righe dopo TERMINATE , senza includere la linea TERMINATE. awkpuoi farlo in modo semplice:

awk '{if(found) print} /TERMINATE/{found=1}' your_file

Spiegazione:

1. Sebbene non sia una buona pratica, puoi fare affidamento sul fatto che tutte le varianti predefinite sono 0 o la stringa vuota se non definita. Quindi la prima espressione ( if(found) print) non stamperà nulla con cui iniziare.
2. Al termine della stampa, controlliamo se questa è la linea di partenza (che non dovrebbe essere inclusa).

Questo stamperà tutte le righe dopo la linea TERMINATE.

Generalizzazione:

• Si dispone di un file con inizio e fine e si desidera che le linee tra quelle righe escludano l' inizio e le fine .
• inizio - e le linee di fine potrebbero essere definite da un'espressione regolare corrispondente alla linea.

Esempio:

$ cat ex_file.txt 
not this line
second line
START
A good line to include
And this line
Yep
END
Nope more
...
never ever
$ awk '/END/{found=0} {if(found) print} /START/{found=1}' ex_file.txt 
A good line to include
And this line
Yep
$

Spiegazione:

1. Se il fine è trovato -line dovrebbe essere fatto senza la stampa. Si noti che questo controllo viene eseguito prima della stampa effettiva per escludere la fine del risultato.
2. Stampa la riga corrente se foundè impostata.
3. Se il Iniziamo -line si trova quindi impostare found=1in modo che le righe seguenti vengono stampati. Si noti che questo controllo viene eseguito dopo la stampa effettiva per escludere la linea di partenza dal risultato.

Appunti:

• Il codice si basa sul fatto che tutte le impostazioni predefinite di awk-vars sono 0 o la stringa vuota se non definita. Questo è valido ma potrebbe non essere la migliore pratica, quindi potresti aggiungere BEGIN{found=0}a all'inizio dell'espressione awk.
• Se vengono rilevati più blocchi di inizio-fine , vengono stampati tutti.

Utilizzare l'espansione del parametro bash come il seguente:

content=$(cat file)
echo "${content#*TERMINATE}"

grep -A 10000000 'TERMINATE' file

• è molto, molto più veloce di sed, specialmente lavorando su file molto grandi. Funziona fino a 10 M di linee (o qualunque cosa tu abbia inserito) quindi nessun danno nel renderlo abbastanza grande da gestire qualsiasi cosa tu colpisca.

Esistono molti modi per farlo con sedo awk:

sed -n '/TERMINATE/,$p' file

Questo cerca TERMINATEnel tuo file e stampa da quella riga fino alla fine del file.

awk '/TERMINATE/,0' file

Questo è esattamente lo stesso comportamento di sed.

Nel caso in cui si conosca il numero della linea da cui si desidera iniziare la stampa, è possibile specificarlo insieme a NR(numero di record, che alla fine indica il numero della linea):

awk 'NR>=535' file

Esempio

$ seq 10 > a        #generate a file with one number per line, from 1 to 10
$ sed -n '/7/,$p' a
7
8
9
10
$ awk '/7/,0' a
7
8
9
10
$ awk 'NR>=7' a
7
8
9
10

Se per qualsiasi motivo, si desidera evitare di utilizzare sed, quanto segue stamperà la corrispondenza della riga TERMINATEfino alla fine del file:

tail -n "+$(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)" file

e quanto segue verrà stampato dalla seguente riga corrispondente TERMINATEfino alla fine del file:

tail -n "+$(($(grep -n 'TERMINATE' file | head -n 1 | cut -d ":" -f 1)+1))" file

Ci vogliono 2 processi per fare ciò che sed può fare in un processo, e se il file cambia tra l'esecuzione di grep e tail, il risultato può essere incoerente, quindi consiglio di usare sed. Inoltre, se il file non contiene TERMINATE, il primo comando ha esito negativo.

Alternative alla sedrisposta eccellente di jfgagne e che non includono la riga corrispondente:

• awk '/TERMINATE/ {y=1;next} y'( https://stackoverflow.com/a/18166628 )
• awk '/TERMINATE/ ? c++ : c'( https://stackoverflow.com/a/23984891 )
• perl -ne 'print unless 1 .. /TERMINATE/'( https://stackoverflow.com/a/18167194 )

Questo potrebbe essere un modo per farlo. Se sai quale riga del file hai la tua parola grep e quante righe hai nel tuo file:

grep -A466 File 'TERMINATE'

sed è uno strumento molto migliore per il lavoro: file sed -n '/ re /, $ p'

dove re è regexp.

Un'altra opzione è il flag --after-context di grep. Devi passare un numero per terminare a, usando wc sul file dovrebbe dare il giusto valore per fermarti a. Combina questo con -n e la tua espressione di corrispondenza.

Verranno stampate tutte le righe dall'ultima riga trovata "TERMINATE" fino alla fine del file:

LINE_NUMBER=`grep -o -n TERMINATE $OSCAM_LOG|tail -n 1|sed "s/:/ \\'/g"|awk -F" " '{print $1}'`
tail -n +$LINE_NUMBER $YOUR_FILE_NAME