Quali sono alcuni usi importanti della generazione di numeri casuali nelle statistiche computazionali?

In che modo e perché i generatori di numeri casuali (RNG) sono importanti nelle statistiche computazionali?

Capisco che la casualità è importante quando si scelgono campioni per molti test statistici per evitare distorsioni verso entrambe le ipotesi, ma ci sono altre aree di statistiche computazionali in cui i generatori di numeri casuali sono importanti?

— Patrick
fonte

Strettamente correlato: stats.stackexchange.com/q/135665/35989

— Tim

Cosa stai chiedendo? La tua domanda non ha molto senso.

— Carl Witthoft,

Potrebbe essere meglio chiedere per le aree in cui sono non importanti. Probabilmente sarebbe un elenco più breve.

— John Coleman,

La domanda è ampia ma il titolo è accattivante e la risposta di Matthew è una bella panoramica. Ho votato per riaprire!

— Benoit Sanchez,

Ciò è chiaramente troppo ampio per gli standard SE convenzionali e equivale a una domanda "grande elenco" che probabilmente accumulerà molte risposte piccole, a malapena elaborate che spesso duplicano risposte già fornite. Tuttavia, sembra esserci un valore reale qui. Un compromesso è che questo sia CW e protetto. In futuro, le risposte che menzionano qualcosa senza elaborazione e / o che gli usi duplicati già menzionati verranno eliminate prontamente e senza commenti.

— gung - Ripristina Monica

Risposte:

Ci sono molti, molti esempi. Troppi da elencare e probabilmente troppi per chiunque ne sappia completamente (oltre forse a @whuber, che non dovrebbe mai essere sottovalutato).

Come accennato, negli esperimenti controllati evitiamo il bias di campionamento suddividendo casualmente i soggetti in gruppi di trattamento e controllo.

Nel bootstrap approssimiamo il campionamento ripetuto da una popolazione campionando casualmente con la sostituzione da un campione fisso. Questo ci consente di stimare la varianza delle nostre stime, tra le altre cose.

Nella convalida incrociata stimiamo l'errore fuori campione di una stima suddividendo casualmente i nostri dati in sezioni e assemblando set di test e training casuali.

Nei test di permutazione utilizziamo permutazioni casuali per campionare sotto l'ipotesi nulla, permettendo di eseguire test di ipotesi non parametrici in un'ampia varietà di situazioni.

Nel bagging controlliamo la varianza di una stima eseguendo ripetutamente la stima su campioni bootstrap di dati di allenamento e quindi calcolando la media dei risultati.

Nelle foreste casuali controlliamo ulteriormente la varianza di una stima anche campionando casualmente dai predittori disponibili in ogni punto di decisione.

Nella simulazione chiediamo a un modello di adattamento di generare casualmente nuovi set di dati che possiamo confrontare con i dati di addestramento o test, aiutando a convalidare l'adattamento e le ipotesi in un modello.

Nella catena di Markov Monte Carlo proviamo da una distribuzione esplorando lo spazio dei possibili risultati usando una catena di Markov (grazie a @Ben Bolker per questo esempio).

Queste sono solo le comuni applicazioni quotidiane che vengono subito in mente. Se scavassi in profondità, probabilmente avrei potuto raddoppiare la lunghezza di quella lista. La casualità è sia un importante oggetto di studio, sia uno strumento importante da maneggiare.

— Matthew Drury
fonte

Questo è vero, ma non risolve il problema principale: un PRNG con qualsiasi tipo di struttura risultante o prevedibilità nella sequenza provocherà il fallimento delle simulazioni.

— Carl Witthoft,

Una delle cose che merita menzione sono i costi computazionali e di memoria della generazione di un gran numero di numeri casuali o pseudocasuali. Alcune applicazioni di RNG nelle statistiche richiedono da centinaia a milioni di numeri casuali, ma alcune richiedono molti ordini di grandezza in più che si ripercuotono su entrambi questi costi.

— Alexis

Questo è vero, ma non risolve il problema principale: un PRNG con qualsiasi tipo di struttura risultante o prevedibilità nella sequenza provocherà il fallimento delle simulazioni. Carl Witthoft, 31 gennaio alle 15:51

Se questa è la tua preoccupazione, forse il titolo della domanda dovrebbe essere cambiato in "Impatto della scelta del GNC sui risultati di Monte Carlo" o qualcosa del genere. In questo caso, già considerato sulla validazione incrociata SE , ecco alcune indicazioni

Se stai considerando RNG mal progettati come il famigerato RANDU , avranno chiaramente un impatto negativo sull'approssimazione di Monte Carlo. Per individuare le carenze nei RNG, esistono banche di parametri di riferimento come i test Diehard di Marsaglia . (Ad esempio, Park & Miller (1988) ha riscontrato la mancanza del generatore congruenziale Lehmer con il fattore 16807 , da sostituire con 47271 o 69621. Naturalmente questo è stato sostituito da generatori di periodi massicci come il PRNG di Mersenne Twister .)
Una domanda SE sulla matematica fornisce un collegamento sull'impatto (o la mancanza di ciò) su stima e precisione, se non una risposta molto utile.
Jeff Rosenthal (U Toronto) ha un articolo in cui studia l'impatto su un RNG sulla convergenza delle catene (Monte Carlo) Markov ma non riesco a trovarlo. Di recente ho eseguito un piccolo esperimento sul mio blog senza alcun impatto visibile del tipo RNG.
- Per inciso, uno schema di lotteria in Ontario ha utilizzato una generazione casuale mal progettata, che è stata individuata da uno statistico, Mohan Srivastava di Toronto, in Canada, che ha notificato il problema alla Lotteria e alla Gaming Corporation dell'Ontario, piuttosto che trarne un grosso profitto da questo scappatoia.
Ecco un'illustrazione di un caso in cui un simulatore di rete classico è influenzato da una scelta di default scadente (collegata a Park e Miller sopra).
Esistono problemi specifici con la struttura degli RNG utilizzati nel calcolo parallelo . L'uso di più semi di solito non è abbastanza buono, specialmente per generatori congruenziali lineari. Nella letteratura informatica sono disponibili molti approcci, tra cui i pacchetti di generazione di numeri casuali paralleli scalabili (SPRNG) di Michael Mascagni (inclusa una versione R) e il creatore dinamico di Matsumoto , un programma C che fornisce valori di partenza per flussi indipendenti quando si utilizza il twister di Mersenne . Questo problema è stato risolto anche con overflow dello stack SE .
L'anno scorso ho visto un discorso di Paula Whitlock sull'impatto della GNU Scientific Library sulla convergenza di percorsi casuali ad alta dimensione, ma non posso.
Per finire con una nota leggera, c'è anche un po 'di letteratura sulla distinzione tra RNG software e hardware, con affermazioni che i sensitivi possono avere un impatto sul successivo !

— Xi'an
fonte