Esiste un modo per "uniq" per colonna?

Ho un file .csv come questo:

stack2@example.com,2009-11-27 01:05:47.893000000,example.net,127.0.0.1
overflow@example.com,2009-11-27 00:58:29.793000000,example.net,255.255.255.0
overflow@example.com,2009-11-27 00:58:29.646465785,example.net,256.255.255.0
...

Devo rimuovere le e-mail duplicate (l'intera riga) dal file (ovvero una delle righe che contengono overflow@example.coml'esempio sopra). Come si usa uniqsolo sul campo 1 (separato da virgole)? Secondo man, uniqnon ha opzioni per le colonne.

Ho provato qualcosa sort | uniqma non funziona.

sort -u -t, -k1,1 file

• -u per unico
• -t, quindi la virgola è il delimitatore
• -k1,1 per il campo chiave 1

Risultato del test:

overflow@domain2.com,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0 
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1 

awk -F"," '!_[$1]++' file

• -F imposta il separatore di campo.
• $1 è il primo campo.
• _[val]cerca valnell'hash_ (una variabile regolare).
• ++ incrementare e restituire il vecchio valore.
• ! non restituisce logico.
• c'è una stampa implicita alla fine.

Considerare più colonne.

Ordina e dai un elenco univoco basato sulla colonna 1 e sulla colonna 3:

sort -u -t : -k 1,1 -k 3,3 test.txt

• -t : i due punti sono separatori
• -k 1,1 -k 3,3 basato sulla colonna 1 e colonna 3

o se vuoi usare uniq:

<mycvs.cvs tr -s ',' ' ' | awk '{print $3" "$2" "$1}' | uniq -c -f2

dà:

1 01:05:47.893000000 2009-11-27 tack2@domain.com
2 00:58:29.793000000 2009-11-27 overflow@domain2.com
1

Se si desidera conservare l'ultimo dei duplicati che è possibile utilizzare

 tac a.csv | sort -u -t, -r -k1,1 |tac

Qual era il mio requisito

Qui

tac inverte il file riga per riga

Ecco un modo molto elegante.

Prima formatta il contenuto in modo tale che la colonna da confrontare per unicità sia una larghezza fissa. Un modo per farlo è usare awk printf con un identificatore di larghezza di campo / colonna ("% 15s").

Ora le opzioni -f e -w di uniq possono essere usate per saltare i campi / le colonne precedenti e per specificare la larghezza del confronto (larghezza delle colonne).

Ecco tre esempi.

Nel primo esempio ...

1) Rendi temporaneamente la colonna di interesse una larghezza fissa maggiore o uguale alla larghezza massima del campo.

2) Utilizzare l'opzione -f uniq per saltare le colonne precedenti e utilizzare l'opzione -w uniq per limitare la larghezza a tmp_fixed_width.

3) Rimuovi gli spazi finali dalla colonna per "ripristinarne" la larghezza (supponendo che prima non ci fossero spazi finali).

printf "%s" "$str" \
| awk '{ tmp_fixed_width=15; uniq_col=8; w=tmp_fixed_width-length($uniq_col); for (i=0;i<w;i++) { $uniq_col=$uniq_col" "}; printf "%s\n", $0 }' \
| uniq -f 7 -w 15 \
| awk '{ uniq_col=8; gsub(/ */, "", $uniq_col); printf "%s\n", $0 }'

Nel secondo esempio ...

Creare una nuova colonna uniq 1. Quindi rimuoverla dopo aver applicato il filtro uniq.

printf "%s" "$str" \
| awk '{ uniq_col_1=4; printf "%15s %s\n", uniq_col_1, $0 }' \
| uniq -f 0 -w 15 \
| awk '{ $1=""; gsub(/^ */, "", $0); printf "%s\n", $0 }'

Il terzo esempio è uguale al secondo, ma per più colonne.

printf "%s" "$str" \
| awk '{ uniq_col_1=4; uniq_col_2=8; printf "%5s %15s %s\n", uniq_col_1, uniq_col_2, $0 }' \
| uniq -f 0 -w 5 \
| uniq -f 1 -w 15 \
| awk '{ $1=$2=""; gsub(/^ */, "", $0); printf "%s\n", $0 }'

bene, più semplice che isolare la colonna con awk, se hai bisogno di rimuovere tutto con un certo valore per un dato file, perché non fare semplicemente grep -v:

ad es. per eliminare tutto con il valore "col2" nella seconda riga: col1, col2, col3, col4

grep -v ',col2,' file > file_minus_offending_lines

Se questo non è abbastanza buono, perché alcune righe potrebbero essere rimosse in modo improprio dal fatto che il valore corrispondente venga mostrato in una colonna diversa, puoi fare qualcosa del genere:

awk per isolare la colonna offensiva: ad es

awk -F, '{print $2 "|" $line}'

-F imposta il campo delimitato da ",", $ 2 indica la colonna 2, seguita da un delimitatore personalizzato e quindi l'intera riga. È quindi possibile filtrare rimuovendo le righe che iniziano con il valore offensivo:

 awk -F, '{print $2 "|" $line}' | grep -v ^BAD_VALUE

e quindi rimuovere le cose prima del delimitatore:

awk -F, '{print $2 "|" $line}' | grep -v ^BAD_VALUE | sed 's/.*|//g'

(nota: il comando sed è sciatto perché non include valori di escape. Inoltre, il modello sed dovrebbe essere qualcosa di simile a "[^ |] +" (cioè qualsiasi cosa non il delimitatore). Speriamo che sia abbastanza chiaro.

Ordinando prima il file sort, è quindi possibile applicareuniq .

Sembra ordinare il file bene:

$ cat test.csv
overflow@domain2.com,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
overflow@domain2.com,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0 
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1

$ sort test.csv
overflow@domain2.com,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0 
overflow@domain2.com,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1

$ sort test.csv | uniq
overflow@domain2.com,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0 
overflow@domain2.com,2009-11-27 00:58:29.793000000,xx3.net,255.255.255.0
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1

Potresti anche fare un po 'di magia AWK:

$ awk -F, '{ lines[$1] = $0 } END { for (l in lines) print lines[l] }' test.csv
stack2@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack4@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
stack3@domain.com,2009-11-27 01:05:47.893000000,xx2.net,127.0.0.1
overflow@domain2.com,2009-11-27 00:58:29.646465785,2x3.net,256.255.255.0