Come posso rimuovere la prima riga di un file di testo usando lo script bash / sed?

Devo rimuovere ripetutamente la prima riga da un enorme file di testo usando uno script bash.

In questo momento sto usando sed -i -e "1d" $FILE- ma ci vuole circa un minuto per fare la cancellazione.

C'è un modo più efficiente per raggiungere questo obiettivo?

Prova la coda :

tail -n +2 "$FILE"

-n x: Basta stampare le ultime xrighe. tail -n 5ti darebbe le ultime 5 righe dell'input. Il +tipo di segno inverte l'argomento e fa tailstampare qualsiasi cosa tranne le prime x-1righe. tail -n +1stamperebbe l'intero file, tail -n +2tutto tranne la prima riga, ecc.

GNU tailè molto più veloce di sed. tailè disponibile anche su BSD e la -n +2bandiera è coerente su entrambi gli strumenti. Controlla le pagine man di FreeBSD o OS X per ulteriori informazioni.

La versione BSD può essere molto più lenta di sed, però. Mi chiedo come ci siano riusciti; taildovrebbe semplicemente leggere un file riga per riga mentre sedfa operazioni piuttosto complesse che coinvolgono l'interpretazione di uno script, l'applicazione di espressioni regolari e simili.

Nota: potresti essere tentato di usarlo

# THIS WILL GIVE YOU AN EMPTY FILE!
tail -n +2 "$FILE" > "$FILE"

ma questo ti darà un file vuoto . Il motivo è che il reindirizzamento ( >) si verifica prima tailè invocato dalla shell:

1. Shell tronca il file $FILE
2. Shell crea un nuovo processo per tail
3. Shell reindirizza lo stdout del tailprocesso a$FILE
4. tail legge dal ormai vuoto $FILE

Se si desidera rimuovere la prima riga all'interno del file, è necessario utilizzare:

tail -n +2 "$FILE" > "$FILE.tmp" && mv "$FILE.tmp" "$FILE"

Si &&assicurerà che il file non venga sovrascritto in caso di problemi.

Puoi usare -i per aggiornare il file senza usare l'operatore '>'. Il seguente comando eliminerà la prima riga dal file e la salverà nel file.

sed -i '1d' filename

Per coloro che sono su SunOS che non è GNU, il seguente codice aiuterà:

sed '1d' test.dat > tmp.dat 

No, è più efficiente di quello che otterrai. Potresti scrivere un programma C che potrebbe fare il lavoro un po 'più veloce (meno tempo di avvio e argomenti di elaborazione) ma probabilmente tenderà alla stessa velocità di sed man mano che i file diventano grandi (e presumo siano grandi se impiega un minuto ).

Ma la tua domanda soffre dello stesso problema di tanti altri in quanto presuppone la soluzione. Se dovessi dirci in dettaglio cosa stai cercando di fare piuttosto che come , potremmo essere in grado di suggerire un'opzione migliore.

Ad esempio, se si tratta di un file A che viene elaborato da un altro programma B, una soluzione sarebbe quella di non eliminare la prima riga, ma modificare il programma B per elaborarlo in modo diverso.

Supponiamo che tutti i programmi aggiunti a questo file A e che il programma B attualmente legga ed elabori la prima riga prima di eliminarlo.

È possibile riprogettare il programma B in modo che non provi a eliminare la prima riga ma mantiene un offset persistente (probabilmente basato su file) nel file A in modo che, alla successiva esecuzione, possa cercare tale offset, elaborare la linea lì e aggiorna l'offset.

Quindi, in un momento di quiete (mezzanotte?), Potrebbe eseguire un'elaborazione speciale del file A per eliminare tutte le linee attualmente elaborate e riportare l'offset a 0.

Sarà certamente più veloce per un programma aprire e cercare un file piuttosto che aprirlo e riscriverlo. Questa discussione presuppone che tu abbia il controllo sul programma B, ovviamente. Non so se sia così, ma potrebbero esserci altre soluzioni se fornisci ulteriori informazioni.

È possibile modificare i file al suo posto: utilizzare un solo Perl -ibandiera, in questo modo:

perl -ni -e 'print unless $. == 1' filename.txt

Questo fa scomparire la prima riga, come chiedi. Perl dovrà leggere e copiare l'intero file, ma organizza il salvataggio dell'output con il nome del file originale.

Puoi farlo facilmente con:

cat filename | sed 1d > filename_without_first_line

dalla riga di comando; o per rimuovere definitivamente la prima riga di un file, utilizzare la modalità sul posto di sed con il -iflag:

sed -i 1d <filename>

Come ha detto Pax, probabilmente non otterrai più velocemente di così. Il motivo è che non ci sono quasi filesystem che supportano il troncamento dall'inizio del file, quindi questa sarà un'operazione O ( n) dove nè la dimensione del file. Quello che puoi fare molto più velocemente è sovrascrivere la prima riga con lo stesso numero di byte (forse con spazi o un commento) che potrebbe funzionare per te a seconda di esattamente cosa stai cercando di fare (che cos'è comunque?).

L' spongeutility evita la necessità di manipolare un file temporaneo:

tail -n +2 "$FILE" | sponge "$FILE"

Se si desidera modificare il file al suo posto, si può sempre utilizzare l'originale edinvece del suo s successore treaming sed:

ed "$FILE" <<<$'1d\nwq\n'

Il edcomando era l'editor di testo UNIX originale, prima ancora che ci fossero persino terminali a schermo intero, molto meno stazioni di lavoro grafiche. L' exeditore, meglio conosciuto come quello che si sta utilizzando, quando digita al prompt della nel colon vi, è un ex versione teso di ed, tanti della stessa opera comandi. Sebbene edsia pensato per essere usato in modo interattivo, può anche essere utilizzato in modalità batch inviando una serie di comandi, che è ciò che fa questa soluzione.

La sequenza <<<$'1d\nwq\n'si avvale del sostegno di Bash per stringhe here ( <<<) e citazioni POSIX ( $'... ') all'ingresso di alimentazione per il edcomando costituito da due linee: 1dche d eletes linea 1 , e poi wq, che w riti il file indietro per disco e poi q UITS la sessione di modifica.

dovrebbe mostrare le righe tranne la prima riga:

cat textfile.txt | tail -n +2

Potrebbe usare vim per fare questo:

vim -u NONE +'1d' +'wq!' /tmp/test.txt

Questo dovrebbe essere più veloce, poiché vim non legge l'intero file durante il processo.

Che ne dici di usare csplit?

man csplit
csplit -k file 1 '{1}'

Dato che non riesco ad accelerare la cancellazione, penso che un buon approccio potrebbe essere quello di elaborare il file in batch come questo:

While file1 not empty
  file2 = head -n1000 file1
  process file2
  sed -i -e "1000d" file1
end

Lo svantaggio di questo è che se il programma viene ucciso nel mezzo (o se c'è qualche sql cattivo lì dentro - che fa morire o bloccare la parte "process"), ci saranno linee che verranno saltate o processate due volte .

(file1 contiene righe di codice sql)

Se quello che stai cercando di fare è recuperare dopo un errore, potresti semplicemente creare un file che ha quello che hai fatto finora.

if [[ -f $tmpf ]] ; then
    rm -f $tmpf
fi
cat $srcf |
    while read line ; do
        # process line
        echo "$line" >> $tmpf
    done

Questa fodera farà:

echo "$(tail -n +2 "$FILE")" > "$FILE"

Funziona, poiché tailviene eseguito prima echoe quindi il file è sbloccato, quindi non è necessario un file temporaneo.

Usando tail su linee N-1 e indirizzandolo in un file, seguito rimuovendo il vecchio file e rinominando il nuovo file con il vecchio nome farebbe il lavoro?

Se lo facessi in modo programmatico, leggerei il file e ricorderei l'offset del file, dopo aver letto ogni riga, in modo da poter tornare in quella posizione per leggere il file con una riga in meno.