Usando 'head' o 'tail' sul file di testo ENORME - 19 GB

Ho un problema con la visualizzazione di blocchi di un file di testo molto grande. Questo file, circa 19 GB, è ovviamente troppo grande per essere visualizzato con qualsiasi mezzo tradizionale.

Ho provato head 1e tail 1( head -n 1e tail -n 1) con entrambi i comandi convogliati insieme in vari modi (per arrivare a un pezzo nel mezzo) senza fortuna. La mia macchina Linux che esegue Ubuntu 9.10 non è in grado di elaborare questo file.

Come gestisco questo file? Il mio obiettivo finale è affinare le linee 45000000 e 45000100.

Si dovrebbe usare sed.

sed -n -e 45000000,45000100p -e 45000101q bigfile > savedlines

Questo indica seddi stampare le linee 45000000-45000100 incluse e di uscire dalla linea 45000101.

Crea un database MySQL con una singola tabella che ha un singolo campo. Quindi importare il file nel database. Ciò renderà molto facile cercare una certa linea.

Non penso che nient'altro potrebbe essere più veloce (se heade tailgià fallire). Alla fine, l'applicazione che vuole trovare la linea ndeve cercare attraverso l'intero file fino a quando non trova nnuove righe. Senza una sorta di ricerca (dall'indice di linea all'offset di byte nel file) non è possibile ottenere prestazioni migliori.

Data la facilità con cui creare un database MySQL e importare i dati in esso, penso che questo sia un approccio praticabile.

Ecco come farlo:

DROP DATABASE IF EXISTS helperDb;
CREATE DATABASE `helperDb`;
CREATE TABLE `helperDb`.`helperTable`( `lineIndex` BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, `lineContent` MEDIUMTEXT , PRIMARY KEY (`lineIndex`) );
LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable (lineContent);
SELECT lineContent FROM helperTable WHERE ( lineIndex > 45000000 AND lineIndex < 45000100 );

/tmp/my_large_file sarebbe il file che vuoi leggere.

La sintassi corretta per importare un file con valori delimitati da tabulazioni su ciascuna riga è:

LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable FIELDS TERMINATED BY '\n' (lineContent);

Un altro grande vantaggio di questo è, se in seguito decidi di estrarre un altro set di linee, non devi aspettare di nuovo le ore per l'elaborazione (a meno che tu non elimini il database ovviamente).

Due buoni vecchi strumenti per file di grandi dimensioni sono joine split. È possibile utilizzare la divisione con l' --lines=<number>opzione che consente di tagliare il file in più file di determinate dimensioni.

Per esempio split --lines=45000000 huge_file.txt. Le parti risultanti sarebbero in xa, xb, ecc. Quindi è possibile headla parte xb che includerebbe le linee desiderate. Puoi anche "unire" i file a un singolo file di grandi dimensioni.

Hai gli strumenti giusti ma li stai usando in modo errato. Come precedentemente risposto a U&L, tail -n +X file | head -n Y(nota il +) è del 10-15% più veloce rispetto sedalle linee Y che iniziano da X. E convenientemente, non è necessario esplicitamente exitil processo come con sed.

tail leggerà e scarterà le prime righe X-1 (non c'è modo di aggirarle), quindi legge e stampa le seguenti righe. head leggerà e stamperà il numero richiesto di righe, quindi uscirà. Quando head esce, tail riceve un segnale SIGPIPE e muore, quindi non avrà letto più del valore di una dimensione del buffer (in genere pochi kilobyte) di righe dal file di input.