Come campionare casualmente un sottoinsieme di un file

Esiste un comando Linux che è possibile utilizzare per campionare un sottoinsieme di un file? Ad esempio, un file contiene un milione di righe e vogliamo campionare casualmente solo mille righe da quel file.

Per casuale intendo che ogni linea ha la stessa probabilità di essere scelta e nessuna delle linee scelte è ripetitiva.

heade tailpuò scegliere un sottoinsieme del file ma non in modo casuale. So di poter sempre scrivere uno script Python per farlo, ma mi chiedo solo che esiste un comando per questo utilizzo.

Il shufcomando (parte di coreutils) può fare questo:

shuf -n 1000 file

E almeno per le versioni non antiche (aggiunte in un commit dal 2013 ), che useranno il campionamento del serbatoio quando appropriato, il che significa che non dovrebbe esaurire la memoria e sta usando un algoritmo veloce.

Se hai un file molto grande (che è un motivo comune per fare un esempio) scoprirai che:

1. shuf esaurisce la memoria
2. L'uso $RANDOMnon funzionerà correttamente se il file supera 32767 righe

Se non hai bisogno di "esattamente" n linee campionate puoi campionare un rapporto come questo:

cat input.txt | awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}' > sample.txt

Questo utilizza memoria costante , campiona l'1% del file (se si conosce il numero di righe del file è possibile regolare questo fattore per campionare un numero limitato di righe) e funziona con qualsiasi dimensione del file ma non lo farà restituisce un numero preciso di righe, solo un rapporto statistico.

Nota: il codice proviene da: https://stackoverflow.com/questions/692312/randomly-pick-lines-from-a-file-without-slurping-it-with-unix

Simile alla soluzione probabilistica di @ Txangel ma si avvicina 100 volte più velocemente.

perl -ne 'print if (rand() < .01)' huge_file.csv > sample.csv

Se hai bisogno di alte prestazioni, dimensioni esatte del campione e sei felice di vivere con un gap campione alla fine del file, puoi fare qualcosa del tipo seguente (campiona 1000 righe da un file di 1m):

perl -ne 'print if (rand() < .0012)' huge_file.csv | head -1000 > sample.csv

.. o addirittura concatenare un secondo metodo di esempio anziché head.

Nel caso in cui il shuf -ntrucco per i file di grandi dimensioni esaurisca la memoria e sia ancora necessario un campione di dimensioni fisse e sia possibile installare un'utilità esterna, quindi provare l' esempio :

$ sample -N 1000 < FILE_WITH_MILLIONS_OF_LINES 

L'avvertenza è che il campione (1000 righe nell'esempio) deve adattarsi alla memoria.

Disclaimer: sono l'autore del software consigliato.

Non sono a conoscenza di alcun singolo comando che potrebbe fare ciò che chiedi, ma ecco un ciclo che ho messo insieme che può fare il lavoro:

for i in `seq 1000`; do sed -n `echo $RANDOM % 1000000 | bc`p alargefile.txt; done > sample.txt

sedprenderà una linea casuale su ciascuno dei 1000 passaggi. Forse ci sono soluzioni più efficienti.

È possibile salvare il codice seguente in un file (ad esempio randextract.sh) ed eseguire come:

randextract.sh file.txt

---- INIZIA FILE ----

#!/bin/sh -xv

#configuration MAX_LINES is the number of lines to extract
MAX_LINES=10

#number of lines in the file (is a limit)
NUM_LINES=`wc -l $1 | cut -d' ' -f1`

#generate a random number
#in bash the variable $RANDOM returns diferent values on each call
if [ "$RANDOM." != "$RANDOM." ]
then
    #bigger number (0 to 3276732767)
    RAND=$RANDOM$RANDOM
else
    RAND=`date +'%s'`
fi 

#The start line
START_LINE=`expr $RAND % '(' $NUM_LINES - $MAX_LINES ')'`

tail -n +$START_LINE $1 | head -n $MAX_LINES

---- FILE FINE ----

Se conosci il numero di righe nel file (come 1e6 nel tuo caso), puoi fare:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

In caso contrario, puoi sempre fare

awk -v n="$(wc -l < file)" -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Ciò farebbe due passaggi nel file, ma eviterebbe comunque di memorizzare l'intero file in memoria.

Un altro vantaggio rispetto a GNU shufè che mantiene l'ordine delle linee nel file.

Si noti che presuppone n sia il numero di righe nel file. Se si desidera stampare pfuori dalle prime n righe del file (che ha potenzialmente più linee), avresti bisogno di fermarsi awkal n^esima linea come:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}
  !n {exit}' < file

Mi piace usare awk per questo quando voglio preservare una riga di intestazione e quando il campione può essere una percentuale approssimativa del file. Funziona con file molto grandi:

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print > "data-sample.txt"}' data.txt

O così:

LINES=$(wc -l < file)  
RANDLINE=$[ $RANDOM % $LINES ]  
tail -n $RANDLINE  < file|head -1  

Dalla pagina man di bash:

        CASUALE Ad ogni riferimento a questo parametro, un numero intero casuale
              tra 0 e 32767 viene generato. La sequenza di casuale
              i numeri possono essere inizializzati assegnando un valore a RAN‐
              DOM. Se RANDOM non è impostato, perde la sua proprietà propria-
              legami, anche se successivamente viene ripristinato.

Se la dimensione del tuo file non è enorme, puoi usare Ordina casuali. Questo richiede un po 'più di tempo di shuf, ma randomizza tutti i dati. Quindi, potresti facilmente fare quanto segue per usare head come richiesto:

sort -R input | head -1000 > output

Questo ordinerebbe il file in modo casuale e ti darebbe le prime 1000 righe.

Come menzionato nella risposta accettata, GNU shufsupporta shuf -nabbastanza semplicemente il campionamento casuale ( ). Se shufsono necessari metodi di campionamento oltre a quelli supportati da , prendere in considerazione tsv-sample dalle Utilità TSV di eBay . Supporta diverse modalità di campionamento aggiuntive, tra cui campionamento casuale ponderato, campionamento di Bernoulli e campionamento distinto. Le prestazioni sono simili a GNU shuf(entrambe sono abbastanza veloci). Disclaimer: sono l'autore.