Unix & Linux uniq

5

Qual è la differenza tra “sort -u” e “sort | uniq”?

Ovunque vedo qualcuno che ha bisogno di ottenere un elenco unico e ordinato, lo fanno sempre sort | uniq. Non ho mai visto esempi in cui qualcuno usa sort -uinvece. Perchè no? Qual è la differenza e perché è meglio utilizzare uniq rispetto al flag univoco per ordinare?

120 bash sort uniq

7

Come posso rimuovere i duplicati nel mio .bash_history, preservando l'ordine?

Mi piace molto usare la control+rricerca ricorsiva nella cronologia dei miei comandi. Ho trovato alcune buone opzioni che mi piace usare con esso: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries export HISTSIZE=5000 # append to the history instead of …

61 bash command-line command-history sort uniq

4

Come ottenere solo risultati unici senza dover ordinare i dati?

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ Il risultato di cui ho bisogno è di visualizzare tutte le righe dal file originale rimuovendo tutti i duplicati (non solo …

40 text-processing uniq

2

Come funziona awk '! A [$ 0] ++'?

Questo one-liner rimuove le righe duplicate dall'inserimento del testo senza pre-ordinamento. Per esempio: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ Il codice originale che ho trovato su Internet recita: awk '!_[$0]++' Questo è stato ancora più sconcertante per me dato …

40 shell-script awk scripting sort uniq

4

In che modo uniq non è abbastanza unico da esistere anche uniq --unique?

35 uniq

6

ricerca senza distinzione tra maiuscole e minuscole di nomi file duplicati

C'è un modo per trovare tutti i file in una directory con nomi di file duplicati, indipendentemente dal case (maiuscolo e / o minuscolo)?

17 find uniq case-sensitivity duplicate-files

12

Eliminare le linee duplicate in coppia?

Ho riscontrato questo caso d'uso oggi. Sembra semplice a prima vista, ma trafficando con sort, uniq, sede awkha rivelato che si tratta di non banale. Come posso eliminare tutte le coppie di righe duplicate? In altre parole, se esiste un numero pari di duplicati di una determinata riga, eliminali tutti; …

16 text-processing sed uniq

1

Come rimuovere le linee duplicate in un grande file di testo multi-GB?

La mia domanda è simile a questa domanda ma con un paio di vincoli diversi: Ho un grande \nelenco di parole delimitate - una parola per riga. Le dimensioni dei file vanno da 2 GB a 10 GB. Devo rimuovere eventuali righe duplicate. Il processo può ordinare l'elenco nel corso …

16 linux text-processing uniq

2

Cosa ha fatto `uniq -t`?

Ho del vecchio codice del 2003 che utilizza l' -topzione per il uniqcomando. Genera un errore poiché tale opzione probabilmente non è più supportata. Ecco il pezzo che utilizza il comando: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 }' | \ sort -t '(' …

15 uniq

4

somma coppia di colonne in base ai campi corrispondenti

Ho un file di grandi dimensioni nel seguente formato: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Se i valori nella colonna 2 corrispondono, voglio sommare …

11 text-processing awk sort uniq

5

Rimuovere le linee duplicate adiacenti mantenendo l'ordine

Ho un file con una colonna con nomi che si ripetono più volte ciascuno. Voglio condensare ogni ripetizione in una, mantenendo tutte le altre ripetizioni con lo stesso nome che non sono adiacenti ad altre ripetizioni con lo stesso nome. Ad esempio, voglio girare il lato sinistro sul lato destro: …

11 awk sed sort uniq

2

Dov'è finita la mia linea `uniq` o` sort -u`, con alcuni caratteri unicode

Che cosa sta succedendo nel seguente frammento di codice? Non sto ottenendo il risultato atteso. Penserei che fosse un bug, ma succede per 2 programmi diversi (uniq e sort), quindi ho il sospetto che abbia a che fare con ... beh, non so cosa ... da qui la domanda. I …

10 text-processing sort locale unicode uniq

5

Unisci in modo efficiente / ordina / univoco numero elevato di file di testo

Sto provando un ingenuo: $ cat * | sort -u > /tmp/bla.txt che fallisce con: -bash: /bin/cat: Argument list too long Quindi, al fine di evitare una soluzione sciocca come (crea un enorme file temporaneo): $ find . -type f -exec cat {} >> /tmp/unsorted.txt \; $ cat /tmp/unsorted.txt | …

8 shell sort uniq

5

Come creare una matrice di elementi unici da una stringa / matrice in bash?

Se ho una stringa "1 2 3 2 1" - o un array [1,2,3,2,1] - come posso selezionare i valori univoci, ad es. "1 2 3 2 1" produces "1 2 3" o [1,2,3,2,1] produces [1,2,3] Simile a uniq ma uniq sembra funzionare su intere linee, non su schemi all'interno …

8 string array uniq patterns

3

Lo strumento `uniq` più veloce in linux

Ho un file di testo di grandi dimensioni (1,5 G), Voglio sapere qual è lo strumento più veloce e affidabile in Linux. Di solito uso: awk '!x[$0]++' file.txt Ma quando uso il htopcomando vedo che l'utilizzo della mia memoria è in aumento. Voglio sapere qual è il più veloce e …

8 sed awk memory sort uniq

Domande taggate «uniq»