Il metodo migliore per raccogliere un campione casuale da una raccolta di file

Supponiamo che ci sia una directory che contiene 300 file di dati. Voglio selezionare casualmente 200 di quei file e spostarli in un'altra directory. C'è un modo per farlo sotto Unix / Linux?

Se il tuo sistema ha shuf, puoi usarlo abbastanza comodamente (anche gestendo nomi di file brutti):

shuf -zen200 source/* | xargs -0 mv -t dest

Se non hai shufma ne hai uno sortche richiede -R, questo dovrebbe funzionare:

find source -type f -print0 | sort -Rz | cut -d $'\0' -f-200 | xargs -0 mv -t dest

files=(*)
for (( i=0; i<200; i++ )); do
    keys=("${!files[@]}")
    rnd=$(( RANDOM % ${#keys[@]} ))
    key=${keys[$rnd]}
    mv "${files[$key]}" "$otherdir"
    unset files[$key]
done

Inserisci tutti i nomi di file in un array chiamato "file" in bash:

files=( * )

dimensione dell'array:

echo ${#files[@]}

definirne 2/3 come dimensione del campione:

take=$((2*${#files[@]}/3)) 

for i in $(seq 1 $take)
do
    r=$((RANDOM%${#files[@]})) 
    echo ${files[r]}
done

Questo selezionerà i duplicati e non verrà testato con nomi di file con spazi vuoti e simili.

Il modo più semplice per evitare i duplicati è quello di scorrere su tutti i file e sceglierli ciascuno con probabilità 2/3, ma ciò non porta necessariamente a 200 file.

Questo rimuoverà un file se è stato scelto dall'elenco e soddisfa i tuoi requisiti:

#!/bin/bash
files=( * )
# define 2/3 of them as sample size:
take=$((2*${#files[@]}/3)) 

while (( i < $take ))
do
    r=$((RANDOM%${#files[@]})) 
    f=${files[r]}
    if [[ -n $f ]]
    then 
        i=$((i+1))    
        echo ${files[r]}
        unset files[r]    
    fi
done

Se questo deve essere statisticamente casuale, non dovresti usarlo RANDOM % ${#keys[@]}. Ritenere:

1. $RANDOM ha 32768 valori univoci
2. La prima selezione è 1 su 300 elementi
3. 32768 = 109 * 300 + 68

Pertanto, quando si seleziona il primo elemento, esiste una probabilità del 110/32768 ~ = 0,33569% per ciascuno dei 68 primi elementi e 109/32768 ~ = 0,33264% della probabilità per ciascuno degli altri 232 elementi da selezionare. La raccolta viene ripetuta più volte con diverse possibilità, ma distorta verso i primi elementi ogni volta 32768 % ${#keys[@]} -ne 0, quindi l'errore si aggrava.

Questo dovrebbe essere imparziale e funziona con qualsiasi nome di file:

while IFS= read -r -d '' -u 9
do
    mv -- "$REPLY" /target/dir
done 9< <(find /source/dir -mindepth 1 -print0 | shuf -n 200 -z)

La soluzione di Kevin funziona alla grande! Qualcos'altro che ho usato molto perché trova più facile ricordare dalla parte superiore della mia testa è qualcosa di simile:

cp `ls | shuf -n 200` destination

Una fodera in bash:

ls original_directory/|sort -R|head -number_of_files_to_move|while read file; do cp "new_directory/"$file test; done