Utilizzare basename per analizzare un elenco di percorsi contenuti in un file

Sto eseguendo Mac OSX e sto cercando di utilizzare la riga di comando per trovare il numero di file che ho con lo stesso nome.

Ho provato a usare il seguente comando:

find ~ -type f -name "*" -print | basename | sort | uniq -d > duplicate_files

Non funziona! Quando faccio quanto segue:

find ~ -type f -name "*" -print > duplicate_files

Quindi duplicate_files contiene i percorsi di tutti i miei file. Quindi penso che il problema sia basename: non accetta input standard. Ho quindi provato quanto segue:

basename $(find ~ -type f -name "*" -print) > duplicate_files

ma di nuovo non sembra funzionare. La ricerca su Internet non sembra dare molta gioia. Ogni pensiero è il benvenuto.

basename opera sul suo argomento da riga di comando, non legge dallo standard input.

Non è necessario chiamare l' basenameutilità, e meglio non farlo: tutto ciò che farebbe sarebbe rimuovere la parte prima dell'ultima /, e sarebbe lento chiamare un comando esterno per ogni voce, è possibile utilizzare un'elaborazione del testo utilità invece.

find ~ -type f | sed 's!.*/!!' | sort | uniq -d

Potrebbe essere più utile tenere traccia della posizione dei file. L'ordinamento per nome semplifica l'individuazione dei duplicati, ma sortnon ha un'opzione per utilizzare l'ultimo campo. Quello che puoi fare è copiare l'ultimo /campo separato all'inizio, quindi ordinare e quindi utilizzare un po 'di elaborazione awk ad hoc per estrarre e presentare i duplicati.

find ~ -type f |
sed 's!.*/\(.*\)!\1/&!' |   # copy the last field to the beginning
sort -t/ -k1,1 |
cut -d/ -f2- |   # remove the extra first field (could be combined with awk below)
awk -F / '{
    if ($NF == name) {
        if (previous != "") {print previous; previous = ""}
        print
    } else {
        previous = $0
        name = $NF
    }
'

(Si noti che suppongo che nessuno dei nomi dei tuoi file contenga caratteri di nuova riga.)

Perché non usare le findfunzionalità integrate per generare solo il nome file:

find ~ -type f -printf '%f\n' | sort | uniq -c

(assume GNU find) o almeno qualcosa del genere:

find ~ -exec basename {} \; | sort | uniq -c

basename impossibile leggere tramite pipe o elaborare più file contemporaneamente.

ps. Non è necessario specificare -name '*'se si desidera elencare tutti i file. Questa è un'opzione predefinita.

Questo sembra funzionare per me su OSX:

find ~ -type f -exec basename -a {} + | sort | uniq -d

Alternative (non presuppone una nuova riga nei nomi dei file):

find ~ -type f | awk -F/ '{print $NF}' | sort | uniq -d

È possibile utilizzare xargscon basenameper ottenere l'output desiderato, in questo modo:

find ~ -type f -name "*" -print | xargs -l basename | sort | uniq -d > duplicate_files

Con una versione recente di bashquesto gestisce array associativi, i seguenti gestiranno inoltre i percorsi con le nuove linee incorporate:

#!/bin/bash

topdir=$HOME

shopt -s globstar  # enable the ** glob

declare -A count

# count the number of times each filename (base name) occurs
for pathname in "$topdir"/**; do
    # skip names that are not regular files (or not symbolic links to such files)
    [ ! -f "$pathname" ] && continue

    # get the base name
    filename=${pathname##*/}

    # add one to this base name's count
    count[$filename]=$(( ${count[$filename]} + 1 ))
done

# go through the collected names and print any name that
# has a count greater than one
for filename in "${!count[@]}"; do
    if [ "${count[$filename]}" -gt 1 ]; then
        printf 'Duplicate filename: %s\n' "$filename"
    fi
done

Questo non utilizza alcuna utilità esterna.