Avversione inversa

Diciamo che ho un file di testo davvero grande (circa 10.000.000 di righe). Ne ho bisogno grepdalla fine e salvare il risultato in un file. Qual è il modo più efficiente per svolgere l'attività?

Soluzione tac / grep

tac file | grep whatever

O un po 'più efficace:

grep whatever < <(tac file)

Tempo con un file da 500 MB:

real    0m1.225s
user    0m1.164s
sys     0m0.516s

soluzione sed / grep :

sed '1!G;h;$!d' | grep whatever

Tempo con un file da 500 MB: interrotto dopo 10+ minuti.

soluzione awk / grep :

awk '{x[NR]=$0}END{while (NR) print x[NR--]}' file | grep whatever

Tempo con un file da 500 MB:

real    0m5.626s
user    0m4.964s
sys     0m1.420s

soluzione perl / grep :

perl -e 'print reverse <>' file | grep whatever

Tempo con un file da 500 MB:

real    0m3.551s
user    0m3.104s
sys     0m1.036s

Questa soluzione potrebbe aiutare:

tac file_name | grep -e expression

Questo esce non appena trova la prima partita:

 tac hugeproduction.log | grep -m1 WhatImLookingFor

Quanto segue fornisce le 5 righe prima e dopo le prime due partite:

 tac hugeproduction.log | grep -m2 -A 5 -B 5 WhatImLookingFor

Ricorda di non usare -i(senza distinzione tra maiuscole e minuscole) a meno che tu non debba rallentare il grep.

Se conosci la stringa esatta che stai cercando, considera fgrep(String fissa)

 tac hugeproduction.log | grep -F -m2 -A 5 -B 5 'ABC1234XYZ'

Se il file è veramente grande, non può stare nella memoria, lo userò Perlcon il modulo File :: ReadBackwards da CPAN:

$ cat reverse-grep.pl
#!/usr/bin/perl

use strict;
use warnings;

use File::ReadBackwards;

my $pattern = shift;
my $rev = File::ReadBackwards->new(shift)
    or die "$!";

while (defined($_ = $rev->readline)) {
    print if /$pattern/;
}

$rev->close;

Poi:

$ ./reverse-grep.pl pattern file