Test di ipotesi di distribuzione - che senso ha farlo se non si riesce ad "accettare" la propria ipotesi nulla?

Vari test di ipotesi, come il test GOF, Kolmogorov-Smirnov, Anderson-Darling, ecc., Seguono questo formato di base:$\chi^{2}$

$H_0$ : i dati seguono la distribuzione data.

$H_1$ : i dati non seguono la distribuzione fornita.

In genere, si valuta l'affermazione secondo cui alcuni dati dati seguono una determinata distribuzione e se si rifiuta , i dati non sono adatti per la distribuzione data a un certo livello .$H_0$$\alpha$

E se non ? Mi è sempre stato insegnato che non si può "accettare" , quindi sostanzialmente non si prova a rifiutare . Cioè, non ci sono prove che rifiutiamo che i dati seguano la distribuzione data.H 0 H $H_0$$H_0$$H_0$

Quindi, la mia domanda è: a che serve eseguire tali test se non possiamo concludere se i dati seguono o meno una determinata distribuzione?

In linea di massima (non solo nella bontà del test di adattamento, ma in molte altre situazioni), semplicemente non si può concludere che il valore nullo sia vero, perché esistono alternative effettivamente indistinguibili dal valore nullo per ogni data dimensione del campione.

Ecco due distribuzioni, una normale standard (linea continua verde) e una simile (90% standard normale e 10% beta standardizzata (2,2), contrassegnata da una linea tratteggiata rossa):

Quello rosso non è normale. Ad esempio , abbiamo poche possibilità di individuare la differenza, quindi non possiamo affermare che i dati siano estratti da una distribuzione normale - cosa succede se provenissero invece da una distribuzione non normale come quella rossa?$n=100$

Frazioni più piccole di beta standardizzati con parametri uguali ma più grandi sarebbero molto più difficili da vedere come diverse da una normale.

Ma dato che i dati reali non provengono quasi mai da una semplice distribuzione, se avessimo un oracolo perfetto (o dimensioni del campione effettivamente infinite), essenzialmente rifiuteremmo sempre l'ipotesi che i dati provenissero da una semplice forma distributiva.

Come affermava George Box , " Tutti i modelli sono sbagliati, ma alcuni sono utili " .

Considera, ad esempio, il test della normalità. Può darsi che i dati provengano effettivamente da qualcosa di simile a un normale, ma saranno mai esattamente normali? Probabilmente non lo sono mai.

Invece, il meglio che puoi sperare in quella forma di test è la situazione che descrivi. (Vedi, ad esempio, il post I test di normalità sono essenzialmente inutili?, Ma ci sono un numero di altri post qui che rendono punti correlati)

Questo è uno dei motivi per cui suggerisco spesso alle persone che la domanda a cui sono effettivamente interessati (che è spesso qualcosa di più vicino a "i miei dati sono abbastanza vicini alla distribuzione da poter fare deduzioni adeguate su quella base?") non ha ricevuto una buona risposta da test di bontà di adattamento. Nel caso della normalità, spesso le procedure inferenziali che desiderano applicare (t-test, regressione ecc.) Tendono a funzionare abbastanza bene in campioni di grandi dimensioni - spesso anche quando la distribuzione originale è abbastanza chiaramente non normale - proprio quando una bontà di molto probabilmente il test di idoneità rifiuterà la normalità . È poco utile avere una procedura che molto probabilmente ti dirà che i tuoi dati non sono normali proprio quando la domanda non ha importanza.$F$

Considera di nuovo l'immagine qui sopra. La distribuzione in rosso non è normale e con un campione molto grande potremmo rifiutare un test di normalità basato su un campione da esso ... ma con dimensioni del campione molto inferiori, regressioni e due test t per campioni (e molti altri test inoltre) si comporteranno così bene da rendere inutile anche solo preoccuparsi di quella non-normalità.

Considerazioni simili si estendono non solo ad altre distribuzioni, ma in gran parte a una grande quantità di test di ipotesi più in generale (anche un test a due code di per esempio). Si potrebbe anche porre lo stesso tipo di domanda: qual è lo scopo di eseguire tali test se non possiamo concludere se la media abbia o meno un valore particolare?$\mu=\mu_0$

Potresti essere in grado di specificare alcune forme particolari di deviazione e guardare qualcosa come il test di equivalenza, ma è un po 'complicato con la bontà di adattamento perché ci sono molti modi per una distribuzione di essere vicini ma diversi da uno ipotizzato e diversi le forme di differenza possono avere impatti diversi sull'analisi. Se l'alternativa è una famiglia più ampia che include il null come caso speciale, il test di equivalenza ha più senso (test esponenziale contro gamma, per esempio) - e in effetti, l'approccio del "test unilaterale" porta avanti, e ciò potrebbe essere un modo per formalizzare "abbastanza vicino" (o sarebbe se il modello gamma fosse vero, ma in realtà sarebbe di per sé praticamente certo essere respinto da un normale test di bontà di adattamento,

La bontà dei test di adattamento (e spesso più in generale, dei test di ipotesi) è davvero adatta solo per una gamma abbastanza limitata di situazioni. La domanda a cui la gente di solito vuole rispondere non è così precisa, ma un po 'più vaga e più difficile da rispondere - ma come ha detto John Tukey, " Molto meglio una risposta approssimativa alla domanda giusta, che è spesso vaga, che una risposta esatta alla domanda sbagliata, che può essere sempre resa precisa " .

Approcci ragionevoli per rispondere alla domanda più vaga possono includere simulazioni e ricampionamenti delle indagini per valutare la sensibilità dell'analisi desiderata sull'ipotesi che si sta prendendo in considerazione, rispetto ad altre situazioni che sono anche ragionevolmente coerenti con i dati disponibili.

(Fa anche parte della base dell'approccio alla solidità tramite -contaminazione - essenzialmente osservando l'impatto dell'essere a una certa distanza nel senso di Kolmogorov-Smirnov)$\varepsilon$

Io secondo la risposta di @ Glen_b e aggiungo che in generale il problema "assenza di prove non è prova di assenza" fa test di ipotesi e$P$-valori meno utili di quanto sembri. La stima è spesso un approccio migliore anche nella valutazione della bontà di adattamento. Si può usare la distanza di Kolmogorov-Smirnov come misura. È difficile usarlo senza un margine di errore. Un approccio conservativo prenderebbe il limite di confidenza superiore della distanza KS per guidare la modellazione. Ciò porterebbe (correttamente) a molte incertezze, il che potrebbe indurre a concludere che sia preferibile scegliere un metodo solido. Con questo in mente, e tornando all'obiettivo originale, quando si confronta la distribuzione empirica con più di, per esempio, 2 possibili forme parametriche, la vera varianza della distribuzione adattata finale non ha una precisione migliore della funzione di distribuzione cumulativa empirica. Quindi, se non esiste una teoria della materia per guidare la selezione della distribuzione,

Un'opinione che ritengo condivisa dalla maggior parte delle persone è che il test delle ipotesi sia un adattamento probabilistico del principio di falsificazione .

Se un'ipotesi sopravvive a continui e seri tentativi di falsificazione, allora ha "dimostrato il suo coraggio" e può essere provvisoriamente accettata, ma non può mai essere stabilita in modo definitivo.

Pertanto, un fallimento nel rifiutare non implica affatto che sia vero; è solo che è sopravvissuto per un ulteriore controllo.H 0 H $H_0$$H_0$$H_0$

Penso che questo sia un esempio perfetto per illustrare la differenza tra lavoro accademico e processo decisionale pratico. In contesti accademici (dove sono io), puoi discutere in qualsiasi modo tu voglia, purché sia ​​ritenuto ragionevole da altri. Quindi, in sostanza, finiamo per avere una discussione infinita, a volte circolare, argy l'uno con l'altro. In questo senso, questo fornisce alle persone qualcosa su cui lavorare.

Tuttavia, se sei davvero in grado di prendere effettivamente delle decisioni, allora la risposta è un sì o no definitivo. L'indecisione danneggerà la tua reputazione di decisore. Ovviamente, fare una scelta implica non solo statistiche ma a volte anche un elemento di gioco d'azzardo e salto di fiducia. In sintesi, questo tipo di esercizio è in qualche misura utile per il processo decisionale. Tuttavia, se basare la propria decisione esclusivamente su questo test di ipotesi è una storia completamente diversa.

Il punto è che dal puro punto di vista statistico non puoi accettare , ma in pratica lo fai. Ad esempio, se si sta stimando il rischio di un portafoglio utilizzando valore a rischio o misure simili, la distribuzione del rendimento del portafoglio è piuttosto importante. Questo perché il rischio è definito dalla coda della tua distribuzione.

Nei casi di libri di testo, la normale distribuzione viene spesso utilizzata per esempi. Tuttavia, se i rendimenti del tuo portafoglio presentano code fatali (cosa che spesso fanno), la normale approssimazione della distribuzione sottostimerà i rischi. Pertanto, è importante esaminare i rendimenti e decidere se utilizzare o meno l'approssimazione normale. Nota, questo non significa necessariamente eseguire test statistici, potrebbe essere grafici QQ o altri mezzi. Tuttavia, è necessario prendere una decisione a un certo punto in base all'analisi dei resi e dei modelli di reso e utilizzare normalmente o no.

Quindi, per tutti gli scopi pratici, non rifiutare significa veramente accettare anche se non in senso statistico rigoroso. Accetterai il normale e lo utilizzerai nei tuoi calcoli, che verranno mostrati quotidianamente alla direzione superiore, ai tuoi regolatori, ai revisori dei conti, ecc. Il non rifiuto in questo caso ha conseguenze di vasta portata in tutti i sensi, quindi è come o più potente del risultato statico sciocco.

Nessun imputato in tribunale è mai innocente. Sono colpevoli (respingono l'ipotesi nulla di innocente) o non colpiscono (non rifiutano la presunzione di innocenza).

L'assenza di prove non è una prova di assenza.

Quindi, la mia domanda è: a che serve eseguire tali test se non possiamo concludere se i dati seguono o meno una determinata distribuzione?

Se hai in mente una distribuzione alternativa (o un insieme di distribuzioni) da confrontare, allora può essere uno strumento utile.

Direi: ho una serie di osservazioni a portata di mano che penso possano essere normalmente distribuite. (Penso di sì perché ho visto osservazioni di un carattere simile che ero soddisfatto seguivano sensibilmente la curva normale.) Penso anche che potrebbero non seguire la curva normale ma una normale curva non normale. (Penso che ciò possa essere dovuto al fatto che ho visto corpi di dati come questo che non seguono la curva normale ma che, ad esempio, erano inclinati, ecc.) 3 Eseguo quindi un'indagine lungo le seguenti linee: Se le osservazioni provengono da una distribuzione normale, con quale frequenza si verificherebbe un tale chi-quadrato? La conclusione è "Molto raramente, solo due volte su cento". Quindi faccio una richiesta, non dichiarata e non calcolata, ma ritengo assolutamente necessario per il completamento di un argomento valido, come segue: Se la distribuzione non è normale, questa esperienza, giudicata da una differenza chi-quadro, si verificherebbe abbastanza frequentemente. (Tutto quello che devo fare è immaginare che la curva non normale abbia il carattere obliquo osservato della distribuzione.) Respingo pertanto l'ipotesi normale sul principio che accetto quella di ipotesi considerate alternative su cui l'evento sperimentato sarebbe più frequente. Dico che il rifiuto dell'ipotesi nulla è valido solo sulla volontà di accettare un'alternativa (questa alternativa non necessariamente definita precisamente sotto tutti gli aspetti). ) Respingo pertanto l'ipotesi normale sul principio secondo cui accetto quella di ipotesi considerate alternative su cui l'evento con esperienza sarebbe più frequente. Dico che il rifiuto dell'ipotesi nulla è valido solo sulla volontà di accettare un'alternativa (questa alternativa non necessariamente definita precisamente sotto tutti gli aspetti). ) Respingo pertanto l'ipotesi normale sul principio secondo cui accetto quella di ipotesi considerate alternative su cui l'evento con esperienza sarebbe più frequente. Dico che il rifiuto dell'ipotesi nulla è valido solo sulla volontà di accettare un'alternativa (questa alternativa non necessariamente definita precisamente sotto tutti gli aspetti).

Ora il ragionamento che ho descritto, in contrasto con quello che ho descritto come il più comune, spiegherebbe perché la mia decisione differisce da quella di routine nel terzo e nel quarto caso.

Per quanto riguarda il terzo caso, dopo aver provato il test del chi-quadro, sono giunto alla conclusione che, sulla base dell'ipotesi di nessuna differenza rispetto alla normalità, raramente si verificherebbe una distribuzione con un chi-quadrato così grande. Finora ci troviamo esattamente nella stessa posizione in cui eravamo a questo punto nel secondo caso. Ma ora lasciatemi esaminare la probabilità che questa esperienza si verifichi se l'offerta originale fosse normale e non normale. Questa esperienza si verificherebbe più frequentemente? Non c'è motivo di dirlo. La distribuzione è perfettamente simmetrica, cioè l'asimmetria è zero (c'erano esattamente il 50% dei casi su ciascun lato della media), e un esame superficiale delle differenze rispetto alle frequenze attese nelle diverse classi mostra che non sono sys- tematico, cioè le deviazioni più e le deviazioni meno si alternano in ordine casuale. Tale distribuzione non è prevedibile frequentemente da alcuna curva plausibile non normale. Non abbiamo quindi motivo di rifiutare la curva normale.

La mia opinione è che non vi è mai alcun motivo valido per rifiutare l'ipotesi nulla se non sulla volontà di abbracciarne una alternativa.

Alcune difficoltà di interpretazione incontrate nell'applicazione del test Chi-Square. Joseph Berkson. Giornale dell'American Statistical Association. Vol. 33, n. 203 (settembre 1938), pagg. 526-536