Qual è un modo semplice per leggere una riga casuale da un file nella riga di comando Unix?

Qual è un modo semplice per leggere una riga casuale da un file nella riga di comando Unix?

Puoi usare shuf:

shuf -n 1 $FILE

C'è anche un'utilità chiamata rl. In Debian è nel randomize-linespacchetto che fa esattamente quello che vuoi, anche se non disponibile in tutte le distribuzioni. Sulla sua home page in realtà raccomanda l'uso di shuf(che non esisteva al momento della sua creazione, credo). shuffa parte dei coreutils GNU, rlnon lo è.

rl -c 1 $FILE

Un'altra alternativa:

head -$((${RANDOM} % `wc -l < file` + 1)) file | tail -1

sort --random-sort $FILE | head -n 1

(Mi piace l'approccio shuf sopra ancora meglio - non sapevo nemmeno che esistesse e non avrei mai trovato quello strumento da solo)

Questo è semplice

cat file.txt | shuf -n 1

Concesso, questo è solo un po 'più lento del "shuf -n 1 file.txt" da solo.

perlfaq5: come posso selezionare una linea casuale da un file? Ecco un algoritmo di campionamento del serbatoio dal Camel Book:

perl -e 'srand; rand($.) < 1 && ($line = $_) while <>; print $line;' file

Questo ha un vantaggio significativo nello spazio rispetto alla lettura dell'intero file. Puoi trovare una prova di questo metodo in The Art of Computer Programming, Volume 2, Sezione 3.4.2, di Donald E. Knuth.

usando uno script bash:

#!/bin/bash
# replace with file to read
FILE=tmp.txt
# count number of lines
NUM=$(wc - l < ${FILE})
# generate random number in range 0-NUM
let X=${RANDOM} % ${NUM} + 1
# extract X-th line
sed -n ${X}p ${FILE}

Linea singola bash:

sed -n $((1+$RANDOM%`wc -l test.txt | cut -f 1 -d ' '`))p test.txt

Leggero problema: nome file duplicato.

Ecco un semplice script Python che farà il lavoro:

import random, sys
lines = open(sys.argv[1]).readlines()
print(lines[random.randrange(len(lines))])

Uso:

python randline.py file_to_get_random_line_from

Un altro modo di usare ' awk '

awk NR==$((${RANDOM} % `wc -l < file.name` + 1)) file.name

Una soluzione che funziona anche su MacOSX e dovrebbe funzionare anche su Linux (?):

N=5
awk 'NR==FNR {lineN[$1]; next}(FNR in lineN)' <(jot -r $N 1 $(wc -l < $file)) $file 

Dove:

• N è il numero di linee casuali che desideri

• NR==FNR {lineN[$1]; next}(FNR in lineN) file1 file2 -> salva i numeri di riga scritti file1e quindi stampa la riga corrispondentefile2

• jot -r $N 1 $(wc -l < $file)-> disegna Nnumeri a caso ( -r) nell'intervallo (1, number_of_line_in_file)con jot. La sostituzione del processo <()lo farà apparire come un file per l'interprete, quindi file1nell'esempio precedente.

#!/bin/bash

IFS=$'\n' wordsArray=($(<$1))

numWords=${#wordsArray[@]}
sizeOfNumWords=${#numWords}

while [ True ]
do
    for ((i=0; i<$sizeOfNumWords; i++))
    do
        let ranNumArray[$i]=$(( ( $RANDOM % 10 )  + 1 ))-1
        ranNumStr="$ranNumStr${ranNumArray[$i]}"
    done
    if [ $ranNumStr -le $numWords ]
    then
        break
    fi
    ranNumStr=""
done

noLeadZeroStr=$((10#$ranNumStr))
echo ${wordsArray[$noLeadZeroStr]}

Ecco cosa scopro poiché il mio Mac OS non usa tutte le risposte facili. Ho usato il comando jot per generare un numero poiché le soluzioni della variabile $ RANDOM non sembrano essere molto casuali nel mio test. Durante il test della mia soluzione, ho riscontrato un'ampia variazione nelle soluzioni fornite nell'output.

  RANDOM1=`jot -r 1 1 235886`
   #range of jot ( 1 235886 ) found from earlier wc -w /usr/share/dict/web2
   echo $RANDOM1
   head -n $RANDOM1 /usr/share/dict/web2 | tail -n 1

L'eco della variabile è di ottenere una visione del numero casuale generato.

Utilizzando solo vanilla sed e awk, e senza usare $ RANDOM, un "one-liner" semplice, efficiente in termini di spazio e ragionevolmente veloce per selezionare una singola riga in modo pseudo-casuale da un file chiamato FILENAME è il seguente:

sed -n $(awk 'END {srand(); r=rand()*NR; if (r<NR) {sub(/\..*/,"",r); r++;}; print r}' FILENAME)p FILENAME

(Funziona anche se FILENAME è vuoto, nel qual caso non viene emessa alcuna riga.)

Un possibile vantaggio di questo approccio è che chiama rand () solo una volta.

Come sottolineato da @AdamKatz nei commenti, un'altra possibilità sarebbe quella di chiamare rand () per ogni linea:

awk 'rand() * NR < 1 { line = $0 } END { print line }' FILENAME

(Una semplice prova di correttezza può essere fornita sulla base dell'induzione.)

Avvertenza circa rand()

"Nella maggior parte delle implementazioni di awk, tra cui gawk, rand () inizia a generare numeri dallo stesso numero iniziale o seme, ogni volta che si esegue awk."

- https://www.gnu.org/software/gawk/manual/html_node/Numeric-Functions.html