Calcolo della dimensione totale del file per estensione nella shell

Abbiamo una serie di directory contenenti indici di lucene. Ogni indice è un mix di diversi tipi di file (differenziati per estensione), ad esempio:

0/index/_2z6.frq
0/index/_2z6.fnm
..
1/index/_1sq.frq
1/index/_1sq.fnm
..

(sono circa 10 diverse estensioni)

Vorremmo ottenere un totale per estensione del file, ad esempio:

.frq     21234
.fnm     34757
..

Ho provato varie combinazioni di du / awk / xargs ma trovo difficile fare esattamente questo.

Per ogni data estensione ti è utile

find /path -name '*.frq' -exec ls -l {} \; | awk '{ Total += $5} END { print Total }'

per ottenere la dimensione totale del file per quel tipo.

E dopo un po 'di riflessione

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -n "$ft "
    find . -name "*${ft}" -exec ls -l {} \; | awk '{total += $5} END {print total}'
done

Che produrrà la dimensione in byte di ciascun tipo di file trovato.

Con bash version4, basta alla chiamata find, lse awknon è necessario:

declare -A ary

while IFS=$'\t' read name size; do 
  ext=${name##*.}
  ((ary[$ext] += size))
done < <(find . -type f  -printf "%f\t%s\n")

for key in "${!ary[@]}"; do 
  printf "%s\t%s\n" "$key" "${ary[$key]}"
done

Ogni seconda colonna divisa per .e ultima parte (estensione) salvata nella matrice.

#!/bin/bash

find . -type f -printf "%s\t%f\n" | awk '
{
 split($2, ext, ".")
 e = ext[length(ext)]
 size[e] += $1
}

END{
 for(i in size)
   print size[i], i
}' | sort -n

allora hai tutte le dimensioni totali di ogni estensione in byte.

60055 gemspec
321991 txt
2075312 html
2745143 rb
13387264 gem
47196526 jar

Estensione dello script di Iain con una versione più veloce per lavorare con un gran numero di file.

#!/bin/bash

ftypes=$(find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq)

for ft in $ftypes
do
    echo -ne "$ft\t"
    find . -name "*${ft}" -exec du -bcsh '{}' + | tail -1 | sed 's/\stotal//'
done

Questa è la soluzione:

find . -type f | grep -E ".*\.[a-zA-Z0-9]*$" | sed -e 's/.*\(\.[a-zA-Z0-9]*\)$/\1/' | sort | uniq -c | sort -n

Soluzione pubblicata originariamente in questo post: ottieni tutte le estensioni e il rispettivo conteggio dei file in una directory

Ho risolto usando questi due comandi:

FILES=$(find . -name '*.c')
stat -c %s ${FILES[@]} | awk '{ sum += $1 } END { print ".c" " " sum }'

la mia versione di risposta alla domanda:

#!/bin/bash

date >  get_size.log
# Lists all files
find . -type f -printf "%s\t%f\n" | grep -E ".*\.[a-zA-Z0-9]*$" | sort -h | awk  '
{
        split($2, ext, ".")
        e = ext[length(ext)]
        # Checks that one extension could be found
        if(length(e) < length($2)) {
                # Check that file size are bigger than 0
                if($i > 0) {
                        # Check that extension not are integer
                        if(!(e ~/^[0-9]+$/)) {
                                size[e] += $1
                        }
                }
        }
        if(length(e) == length($2)) {
                size["blandat"] += $1
        }
}

END{
 for(i in size)
   print size[i], i
}' | sort -n >> get_size.log
echo
echo
echo The result are in file get_size.log

Prova Crab ( http://etia.co.uk/ ) - è un'utilità della riga di comando che ti consente di interrogare il filesystem usando SQL.