Test dei dati generati casualmente rispetto alla sua distribuzione prevista

Ho scritto un programma che genera dati casuali. Se il programma funziona correttamente, tali dati dovrebbero seguire una distribuzione di probabilità specifica e nota. Vorrei eseguire il programma, fare alcuni calcoli sul risultato e trovare un valore p.

Prima di chiunque altro lo dica: capisco che il test di ipotesi non può rilevare quando il programma funziona correttamente. Può rilevare solo quando funziona in modo errato in un modo specifico. (E anche allora, il test "dovrebbe" fallire l'X% delle volte, a seconda del livello di significatività scelto ...)

Quindi, sto cercando di capire quali strumenti potrebbero essere appropriati. In particolare:

• Posso generare tutti i dati casuali che voglio. Tutto quello che devo fare è lasciare il programma in esecuzione abbastanza a lungo. Quindi non sono limitato a nessuna dimensione specifica del campione.

• Sono interessato a tecniche che producono un valore p. Quindi fissare un grafico e dire "sì, sembra un po 'lineare" non è un'opzione interessante. A meno che non ci sia un modo per mettere un numero duro sulla "traballanza" di un grafico. ;-)

Quello che so finora:

• Ho visto tre tipi principali di test menzionati che sembrano applicabili: test chi-quadrato [Pearson], test di Kolmogorov-Smirnov e test di Anderson-Darling.

• Sembra che un test chi-quadrato sia appropriato per distribuzioni discrete , mentre gli altri due sono più appropriati per distribuzioni continue . (?)

• Varie fonti suggeriscono che il test AD è "migliore" del test KS, ma non riescono a entrare in ulteriori dettagli.

Alla fine, tutti questi test presumibilmente rilevano "modi diversi" di deviare dalla distribuzione nulla specificata. Ma non so ancora quali siano le differenze ... In sintesi, sto cercando una sorta di descrizione generale di dove ogni tipo di test è più applicabile e quali tipi di problemi rileva meglio.

Ecco una descrizione generale di come funzionano i 3 metodi citati.

Il metodo Chi-Squared funziona confrontando il numero di osservazioni in un bin con il numero che ci si aspetta si trovi nel bin in base alla distribuzione. Per le distribuzioni discrete i bin sono di solito le possibilità o le combinazioni discrete di queste. Per le distribuzioni continue è possibile scegliere i punti di taglio per creare i contenitori. Molte funzioni che implementano questo creeranno automaticamente i bin, ma dovresti essere in grado di creare i tuoi bin se vuoi confrontare in aree specifiche. Lo svantaggio di questo metodo è che le differenze tra la distribuzione teorica e i dati empirici che mettono ancora i valori nello stesso cestino non verranno rilevate, un esempio sarebbe arrotondato, se teoricamente i numeri tra 2 e 3 dovrebbero essere sparsi in tutto l'intervallo (prevediamo di vedere valori come 2.34296),

La statistica del test KS è la distanza massima tra le 2 funzioni di distribuzione cumulativa confrontate (spesso una teoria e una empirica). Se le 2 distribuzioni di probabilità hanno solo 1 punto di intersezione, 1 meno la distanza massima è l'area di sovrapposizione tra le 2 distribuzioni di probabilità (questo aiuta alcune persone a visualizzare ciò che viene misurato). Pensa di tracciare sulla stessa trama la funzione di distribuzione teorica e l'EDF, quindi misura la distanza tra le 2 "curve", la differenza più grande è la statistica del test e viene confrontata con la distribuzione dei valori per questo quando il valore nullo è vero. Questo cattura le differenze è la forma della distribuzione o 1 distribuzione spostata o allungata rispetto all'altra.$\frac1n$

Il test Anderson-Darling usa anche la differenza tra le curve CDF come il test KS, ma invece di usare la differenza massima usa una funzione dell'area totale tra le 2 curve (in realtà piazza le differenze, le pesa in modo che le code abbiano più influenza, quindi si integra nel dominio delle distribuzioni). Questo dà più peso agli outlier rispetto a KS e dà anche più peso se ci sono diverse piccole differenze (rispetto a 1 grande differenza che KS enfatizzerebbe). Questo potrebbe finire per sopraffare il test per trovare differenze che considereresti irrilevanti (arrotondamento lieve, ecc.). Come per il test KS, questo presuppone che non si siano stimati i parametri dai dati.

Ecco un grafico per mostrare le idee generali degli ultimi 2:

basato su questo codice R:

set.seed(1)
tmp <- rnorm(25)
edf <- approxfun( sort(tmp), (0:24)/25, method='constant', 
    yleft=0, yright=1, f=1 )

par(mfrow=c(3,1), mar=c(4,4,0,0)+.1)
curve( edf, from=-3, to=3, n=1000, col='green' )
curve( pnorm, from=-3, to=3, col='blue', add=TRUE)

tmp.x <- seq(-3, 3, length=1000)
ediff <- function(x) pnorm(x) - edf(x)
m.x <- tmp.x[ which.max( abs( ediff(tmp.x) ) ) ]
ediff( m.x )  # KS stat
segments( m.x, edf(m.x), m.x, pnorm(m.x), col='red' )  # KS stat

curve( ediff, from=-3, to=3, n=1000 )
abline(h=0, col='lightgrey')    

ediff2 <- function(x) (pnorm(x) - edf(x))^2/( pnorm(x)*(1-pnorm(x)) )*dnorm(x)
curve( ediff2, from=-3, to=3, n=1000 )
abline(h=0)

Il grafico in alto mostra un EDF di un campione da una normale standard rispetto al CDF della normale standard con una linea che mostra la stat KS. Il grafico centrale mostra quindi la differenza tra le 2 curve (puoi vedere dove si trova la stat KS). Il fondo è quindi la differenza quadrata, ponderata, il test AD si basa sull'area sotto questa curva (supponendo che abbia ottenuto tutto corretto).

Altri test osservano la correlazione in un qqplot, osservano la pendenza nel qqplot, confrontano la media, la var e altre statistiche in base ai momenti.

+1 per scrivere una domanda chiara e dettagliata. Spero che la mia risposta non sia troppo frustrante. Credo che il test delle ipotesi non sia un approccio appropriato nel tuo caso. Il test di significatività dell'ipotesi nulla è una cosa ragionevole da fare quando la risposta potrebbe essere sì o no, ma non sai quale . (Sfortunatamente, in realtà non ti dice quale, ma questo è un problema diverso.) Nel tuo caso, ho capito, vuoi sapere se il tuo algoritmo è buono. Tuttavia, è noto (con certezza) che nessun programma per computer può generare dati realmente casuali da qualsiasi distribuzione di probabilità. Questo è vero in primo luogo, perché tutti i computer sono macchine a stati finiti e quindi possono solo produrre numeri pseudocasuali. Inoltre (mettendo da parte la mancanza di vera casualità), non è possibile che i valori generati seguano perfettamente qualsiasi distribuzione continua. Esistono diversi modi per capirlo, ma forse il più semplice è che ci saranno "spazi vuoti" nella linea numerica, il che non è vero per nessuna variabile casuale continua. Inoltre, questi spazi non sono tutti perfettamente ugualmente ampi o perfettamente equidistanti. Tra gli informatici che lavorano sulla generazione di numeri pseudocasuali, il nome del gioco è quello di migliorare gli algoritmi in modo tale che gli spazi siano più piccoli, più uniformi, con periodi più lunghi (e anche che possano generare più valori più velocemente). Ad ogni modo, questi fatti dimostrano che il test delle ipotesi è l'approccio sbagliato per determinare se il tuo algoritmo sta seguendo correttamente "una specifica distribuzione di probabilità nota", perché non lo è. (Scusa.)

Invece, un framework più appropriato è determinare quanto i tuoi dati siano vicini alla distribuzione teorica. Per questo, consiglierei di riconsiderare i grafici, in particolare i grafici qq e pp-trame$1-\beta$ precisione nella stima dei parametri$r=1$

In un'altra nota, per quanto riguarda la valutazione della qualità del tuo algoritmo, potresti voler cronometrarlo rispetto ad altri pRNG standard.

Spero che sia di aiuto.

Non ho letto completamente tutte le risposte ma vedo che sono abbastanza accurate e accurate. Correndo il rischio che sto ripetendo qualcosa di sepolto nelle lunghe risposte, voglio solo dire che v = il test chi quadrato può essere usato per dati continui. Potrebbe non essere il test migliore e come molti test si basa sulla teoria asintotica e quindi potrebbe non essere accurato in piccoli campioni con cellule sparse (questo dipende anche da come si esegue il binning). Anderson-Darling è più potente per testare la normalità rispetto al test KS ma KS può essere migliore per altre distribuzioni continue. Lillefors ha un test progettato per distribuzioni esponenziali.