Come eseguire il grep di un file di testo che contiene alcuni dati binari?

grep restituisce

Il file binario test.log corrisponde

Per esempio

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

Vorrei che il risultato mostrasse riga1 e riga3 (totale due righe).

È possibile trconvertire i dati non stampabili in dati leggibili, per far funzionare di nuovo grep?

È possibile eseguire il file di dati cat -v, ad es

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

che potrebbe essere ulteriormente post-elaborato per rimuovere la spazzatura; questo è molto simile alla tua domanda sull'utilizzo trper l'attività.

grep -a

Non può essere più semplice di così.

Un modo è quello di trattare semplicemente i file binari come testo comunque, grep --textma questo potrebbe comportare l'invio di informazioni binarie al tuo terminale. Non è proprio una buona idea se stai utilizzando un terminale che interpreta il flusso di output (come VT / DEC o molti altri).

In alternativa, puoi inviare il tuo file trcon il seguente comando:

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

Questo cambierà qualsiasi cosa minore di uno spazio (eccetto la nuova riga) e qualsiasi cosa maggiore di 126, in un .carattere, lasciando solo gli stampabili.

Se vuoi che ogni carattere "illegale" venga sostituito da uno diverso, puoi usare qualcosa di simile al seguente programma C, un classico filtro di input standard:

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

Questo ti darà {{NN}}, dov'è NNil codice esadecimale per il personaggio. Puoi semplicemente regolare il printfper qualunque stile di output desideri.

Puoi vedere quel programma in azione qui, dove:

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

È possibile utilizzare "stringhe" per estrarre stringhe da un file binario, ad esempio

strings binary.file | grep foo

Puoi forzare grep a guardare i file binari con:

grep --binary-files=text

Potresti anche voler aggiungere -o( --only-matching) in modo da non ottenere tonnellate di incomprensioni binarie che rovinerebbero il tuo terminale.

A partire da Grep 2.21, i file binari vengono trattati in modo diverso :

Durante la ricerca di dati binari, grep ora può trattare i byte non di testo come terminatori di riga. Questo può aumentare significativamente le prestazioni.

Quindi quello che succede ora è che con i dati binari, tutti i byte non di testo (compresi i caratteri di ritorno a capo) vengono trattati come terminatori di riga. Se desideri modificare questo comportamento, puoi:

• utilizzare --text. Ciò garantirà che solo le nuove righe siano terminatori di riga

• utilizzare --null-data. Ciò garantirà che solo i byte nulli siano terminatori di riga

grep -a costringerà grep a cercare e produrre da un file che grep pensa sia binario. grep -a re test.log

Come ha già detto James Selvakumar, grep -afa il trucco. -a o --text forza Grep a gestire l'inputstream come testo. Vedere la pagina di manuale http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

provare

cat test.log | grep -a somestring

tu puoi fare

strings test.log | grep -i

questo convertirà l'output come stringa leggibile in grep.

Puoi anche provare lo strumento Word Extractor . Word Extractor può essere utilizzato con qualsiasi file nel computer per separare le stringhe che contengono testo / parole umane dal codice binario (applicazioni exe, DLL).

Ecco cosa ho usato in un sistema che non aveva il comando "stringhe" installato

cat yourfilename | tr -cd "[:print:]"

Questo stampa il testo e rimuove i caratteri non stampabili in un colpo solo, a differenza di "cat -v filename" che richiede un po 'di post-elaborazione per rimuovere le cose indesiderate. Nota che alcuni dei dati binari potrebbero essere stampabili, quindi avrai ancora un po 'di incomprensioni tra le cose buone. Penso che le stringhe rimuovano anche questo incomprensibile se puoi usarlo.