Unix & Linux large-files

6

Dire che ho un file di testo enorme (> 2 GB) e voglio solo catle linee Xa Y(ad es 57.890.000-57.890.010). Da quello che ho capito posso farlo eseguendo il piping headin tailo viceversa, vale a dire head -A /path/to/file | tail -B o in alternativa tail -C /path/to/file | head …

132 tail cat large-files head

14

Sostituisci la stringa in un enorme file di testo (una riga da 70 GB)

Ho un enorme (70 GB), una riga , file di testo e voglio sostituire una stringa (token) in esso. Voglio sostituire il token <unk>, con un altro token fittizio ( problema con i guanti ). Ho provato sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new ma il file di output corpus.txt.newha …

126 text-processing sed large-files

9

Come rimuovere le linee duplicate all'interno di un file di testo?

Un mio enorme file di testo (fino a 2 GiB) contiene circa 100 duplicati esatti di ogni riga (inutile nel mio caso, poiché il file è una tabella di dati simile a CSV). Ciò di cui ho bisogno è di rimuovere tutte le ripetizioni mentre (preferibilmente, ma questo può essere …

126 files text-processing large-files

11

C'è un modo per modificare un file sul posto?

Ho un file abbastanza grande (35Gb) e vorrei filtrare questo file in situ (cioè non ho abbastanza spazio su disco per un altro file), in particolare voglio grep e ignorare alcuni schemi - c'è un modo per farlo senza usare un altro file? Diciamo che voglio filtrare tutte le righe …

54 text-processing grep large-files

2

Diffondere due grandi file di testo

Ho due file di grandi dimensioni (6 GB ciascuno). Sono indifferenziati, con linefeed ( \n) come separatori. Come posso differli? Dovrebbe impiegare meno di 24 ore.

32 performance diff large-files

3

Trasferimento di file di grandi dimensioni (8 GB) su ssh

L'ho provato con SCP, ma dice "Dimensione file negativa". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Ha anche provato a utilizzare SFTP, ha funzionato bene fino a quando non sono stati trasferiti 2 GB del file, quindi si è interrotto: sftp> put matlab.iso Uploading matlab.iso to /home/x/matlab.iso matlab.iso -298% 2021MB …

27 scp sftp large-files

3

Sostituisci rapidamente il testo in file molto grandi

Ho un file di testo da 25 GB che necessita di una stringa sostituita su poche righe. Posso usarlo sedcon successo ma ci vuole molto tempo per eseguirlo. sed -i 's|old text|new text|g' gigantic_file.sql C'è un modo più rapido per farlo?

25 sed replace large-files

2

Perché questi file in un volume ext4 sono frammentati?

Ho una ext4partizione da 900 GB su un disco rigido (magnetico) che non presenta difetti e settori danneggiati. La partizione è completamente vuota ad eccezione di una lost+founddirectory vuota . La partizione è stata formattata utilizzando i parametri predefiniti, tranne per il fatto che ho impostato il numero di blocchi …

19 filesystems ext4 large-files

1

Numero di file per directory

Ho una directory con circa 100000 piccoli file (ogni file è di 1-3 righe, ogni file è un file di testo). In termini di dimensioni, la directory non è molto grande (<2 GB). Questi dati vivono in un server NFS amministrato professionalmente. Il server esegue Linux. Penso che il filesystem …

19 filesystems large-files

5

Come posso modificare un file di grandi dimensioni in atto?

Ho alcuni file di dimensioni> 1 GB ciascuno. Devo rimuovere gli ultimi byte dai file. Come posso farlo? Preferisco modificare il file in atto per risparmiare spazio su disco. Sono su HP-UX.

18 files editors hp-ux large-files

2

funzionalità di file di grandi dimensioni durante la creazione del file system

È utile per usare -T file di grandi dimensioni flag per creare un file system per una partizione con file di grandi dimensioni come video e audio in formato flac? Ho testato la stessa partizione con quel flag e senza di essa, e usando tune2fs -l [partizione] , ho controllato …

17 filesystems ext4 ext3 large-files ext2

3

Emacs: apre un buffer con tutte le linee tra le linee da X a Y da un file enorme

Con lo stesso spirito di questa altra domanda: linea di gatto X alla linea Y su un file enorme : Esiste un modo per aprire all'interno di Emacs (e mostrare su un buffer) un determinato insieme di linee (ad esempio tutte le linee tra la linea Xe Y) da un …

10 emacs large-files

2

Comando sed di base su file di una sola riga di grandi dimensioni: impossibile riassegnare la memoria

Ho un file di testo da 250 MB, tutto in una riga. In questo file voglio sostituire i acaratteri con i bcaratteri: sed -e "s/a/b/g" < one-line-250-mb.txt Non riesce con: sed: couldn't re-allocate memory Mi sembra che questo tipo di attività possa essere eseguita in linea senza allocare molta memoria. …

10 text-processing sed performance large-files out-of-memory

4

Come trovare linee duplicate in molti file di grandi dimensioni?

Ho ~ 30k file. Ogni file contiene ~ 100k righe. Una linea non contiene spazi. Le righe all'interno di un singolo file vengono ordinate e duplicate gratuitamente. Il mio obiettivo: voglio trovare tutte le righe duplicate su due o più file e anche i nomi dei file che contenevano voci …

9 shell-script text-processing performance large-files deduplication

1

Visualizzazione di immagini di grandi dimensioni su Linux

Ho bisogno di visualizzare un'immagine png di grandi dimensioni (50000x40000 px) su Linux. Sfortunatamente la maggior parte degli strumenti (eog, convert, ecc.) Si arresta in modo anomalo o fallisce con una nota di memoria insufficiente. C'è un modo per visualizzare questa immagine (preferirei vedere sia l'immagine ridimensionata che i dettagli)?

9 images large-files

Domande taggate «large-files»