Trova l'ultima occorrenza della stringa in più file

Devo cercare più file di registro (tutti i file generati nelle ultime 24 ore, tutti mantenuti nella stessa directory) per trovare l'ultima occorrenza di una stringa. Questo è il comando che ho scritto:

find . -mtime 1 | grep fileprefix | xargs grep 'search string' | tail -1

Ma questo restituisce solo l'ultima riga per un file. Qualche suggerimento su come modificare questo per ottenere tutte le linee?

Supponendo strutture GNU:

find . -mtime -1 -exec bash -c \
'for f; do tac "$f" | grep -m1 fileprefix; done' _ {} +

Se tutto è in una singola directory, puoi fare:

for file in *fileprefix*; do
    grep 'search string' "$file" | tail -1
done

Se si tratta di file di grandi dimensioni, potrebbe valere la pena accelerare le cose utilizzando tacper stampare il file in ordine inverso (prima l'ultima riga) e quindi grep -m1per abbinare la prima occorrenza. In questo modo, eviti di leggere l'intero file:

for file in *fileprefix*; do
    tac file | grep -m1 'search string'
done

Entrambi presuppongono che non ci siano corrispondenze di directory fileprefix. Se ci sono, otterrai un errore che puoi semplicemente ignorare. Se questo è un problema, controlla solo i file:

 for file in *fileprefix*; do
    [ -f "$file" ] && tac file | grep -m1 'search string'
 done

Se è necessario anche stampare il nome del file, aggiungere -Ha ogni grepchiamata. Oppure, se il tuo grepnon lo supporta, digli di cercare anche attraverso /dev/null. Ciò non cambierà l'output ma dato che grepvengono dati più file, stamperà sempre il nome del file per ogni hit:

for file in *fileprefix*; do
    grep 'search string' "$file" /dev/null | tail -1
done

find . ! -name . -prune -mtime 1 -name 'fileprefix*' \
     -exec sed -se'/searchstring/h;$!d;x' {} +

... funzionerà se si dispone di GNU sedche supporta l' -sopzione di file eparate e un POSIX find.

Probabilmente dovresti aggiungere i qualificatori ! -type do -type f, tuttavia, perché il tentativo di leggere una directory non sarà molto utile e restringere ulteriormente l'intervallo ai file regolari potrebbe evitare una lettura sospesa su una pipe o un file di dispositivo seriale.

La logica è incredibilmente semplice: sedsovrascrive il suo hvecchio spazio con una copia di qualsiasi riga di input che corrisponde searchstring, quindi delimina dall'output tutte le righe di input tranne l'ultima per ciascun file di input. Quando arriva all'ultima riga, xcambia i suoi spazi di attesa e modello, e quindi se è searchstringstato trovato durante la lettura del file, l'ultima occorrenza verrà stampata automaticamente sull'output, altrimenti scrive una riga vuota. (aggiungi /./!dalla coda dello sedscript se ciò è indesiderabile) .

Ciò comporterà un'unica sedchiamata per circa 65k file di input, o qualunque sia il tuo ARG_MAXlimite. Questa dovrebbe essere una soluzione molto performante ed è semplicemente implementata.

Se vuoi anche i nomi dei file, dato un GNU recente sedpuoi scriverli in righe separate con il Fcomando, oppure puoi farli stampare findin un elenco separato per batch aggiungendo il -printprimario dopo +.

Che ne dite di:

find . -mtime -1 -name "fileprefix*" -exec sh -c \
'echo "$(grep 'search string' $1 | tail -n 1),$1"' _ {} \;

Quanto sopra ti dà un buon output con l'ultima occorrenza di una stringa di ricerca in ogni file seguita dal rispettivo nome del file dopo la virgola (modifica la parte ", $ 1" sotto l'eco per cambiare la formattazione o rimuoverla se non necessario). L'output di esempio che cerca la stringa di ricerca '10' nei file con un prefisso "file" è il seguente:

[dmitry@localhost sourceDir]$ find . -mtime -1 -name "file*" -exec  sh -c 'echo "$(grep '10' $1 | tail -n 1),$1"' _ {} \;
Another data 02 10,./file02.log
Some data 01 10,./file01.log
Yet another data 03 10,./file03.log 

find . -mtime 1 -name 'fileprefix*' -exec grep -Hn 'search string' {} + |
    sort -t: -k1,2 -n | 
    awk -F: '{key=$1 ; $1="" ; $2="" ; gsub(/^  /,"",$0); a[key]=$0} 
             END {for (key in a) { print key ":" a[key] }}'

Questo utilizza GNU greps' -He -nle opzioni per stampare sempre sia il nome del file e il linenumber di tutte le partite, allora ordina dal nome del file e linenumber, e la trasporta in awk, che memorizza l'ultima partita per ogni nome di file in un array, e, infine, le stampe esso.

Un metodo abbastanza bruto, ma funziona.