Perché un test del rapporto di verosimiglianza viene distribuito chi-quadrato?

Perché la statistica test di un test del rapporto di verosimiglianza è distribuita chi-quadrato?

$2(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}$

Come menzionato da @Nick, questa è una conseguenza del teorema di Wilks . Ma si noti che la statistica del test è asintoticamente , non χ 2-distribuita .$\chi^2$$\chi^2$

Sono molto impressionato da questo teorema perché si colloca in un contesto molto ampio. Si consideri un modello statistico con probabilità dove y è il vettore di osservazioni n osservazioni replicati indipendenti da una distribuzione con parametro θ appartenente ad una sottovariet'a B 1 di R d con dimensione dim ( B 1 ) = s . Sia B 0 ⊂ B 1 una sotto-cartella con dimensione dim ( B $l(\theta \mid y)$$y$$n$$\theta$$B_1$$\mathbb{R}^d$$\dim(B_1)=s$$B_0 \subset B_1$ . Immagina di essere interessato a testare H 0 : { θ ∈ B 0 } .$\dim(B_0)=m$$H_0\colon\{\theta \in B_0\}$

Il rapporto di verosimiglianza è Definisce ladevianzad(y)=2log(lr(y)). Quindiil teorema di Wilksdice che, in base alle solite assunzioni di regolarità,d(y)è asintoticamenteχ2-distribuitocons-mgradi di libertà quandoH0è vero.

Lo dimostra il documento originale di Wilk menzionato da @Nick. Penso che questo documento non sia facile da leggere. Wilks pubblicò un libro più tardi, forse con una presentazione più semplice del suo teorema. Una breve prova euristica è fornita nell'eccellente libro di Williams .

Secondo il duro commento di Nick Sabbe, e la mia breve risposta è : non lo è . Voglio dire, è solo nel normale modello lineare. Per qualsiasi altro tipo di circostanza, la distribuzione esatta non è un . In molte situazioni, puoi sperare che le condizioni del teorema di Wilks siano soddisfatte e quindi asintoticamente le statistiche del test del rapporto verosimiglianza convergono nella distribuzione a χ 2 . Limitazioni e violazioni delle condizioni del teorema di Wilks sono troppo numerose per essere ignorate.$\chi^2$$\chi^2$

1. Il teorema presume che i dati iid prevedano problemi con dati dipendenti, come serie temporali o campioni di sondaggi di probabilità disuguali (per i quali le probabilità sono scarsamente definite, comunque; i test "regolari" χ 2 , come i test di indipendenza nelle tabelle di contingenza, iniziano a comportarsi come somma ∑ k a k v k , v k ∼ iid χ 2 1 ( Rao & Scott ). Per i dati iid, a k = 1 e la somma diventa χ 2. Ma per i dati non indipendenti, questo non è più a lungo il caso.$\Rightarrow$$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$$a_k=1$$\chi^2$
2. Il teorema presuppone che il vero parametro sia all'interno dello spazio dei parametri. Se hai uno spazio euclideo con cui lavorare, non è un problema. Tuttavia, in alcuni problemi, possono sorgere restrizioni naturali, come la varianza 0 o la correlazione tra -1 e 1. Se il parametro vero è uno dei confini, la distribuzione asintotica è una miscela di χ 2 con diversi gradi di libertà, nel senso che il cdf del test è la somma di tali cdf ( Andrews 2001 , più due o tre altri suoi articoli dello stesso periodo, con la storia che risale a Chernoff 1954 ).$\ge$$\chi^2$
3. Il teorema presuppone che tutti i derivati ​​rilevanti siano diversi da zero. Questo può essere messo in discussione con alcuni problemi non lineari e / o parametrizzazioni e / o situazioni in cui un parametro non è identificato sotto il valore null. Supponiamo di avere un modello di miscela gaussiana e che il tuo null sia un componente rispetto all'alternativa di due componenti distinti f N ( μ 1 , σ 2 1 ) + ( 1 - f ) N ( μ 2 , σ 2 2$N(\mu_0,\sigma^2_0)$$f N(\mu_1,\sigma_1^2) + (1-f) N(\mu_2,\sigma_2^2)$con una frazione di miscelazione . Il null è apparentemente nidificato in alternativa, ma ciò può essere espresso in vari modi: come f = 0 (nel qual caso i parametri μ 1 , σ 2 1 non sono identificati), f = 1 (nel qual caso μ 2 , σ 2 2 non sono identificati) o μ 1 = μ 2 , σ 1 = σ 2 (nel qual caso $f$$f=0$$\mu_1,\sigma_1^2$$f=1$$\mu_2, \sigma_2^2$$\mu_1=\mu_2, \sigma_1=\sigma_2$$f$non è identificato). Qui, non puoi nemmeno dire quanti gradi di libertà dovrebbe avere il tuo test, poiché hai un numero diverso di restrizioni a seconda di come parametrizzi l'annidamento. Guarda il lavoro di Jiahua Chen su questo, ad esempio CJS 2001 .
4. Il può funzionare bene se la distribuzione è stato specificato in modo corretto. In caso contrario, il test si interromperà nuovamente. Nella sottozona (in gran parte trascurata dagli statistici) dell'analisi multivariata nota come modellizzazione della covarianza delle equazioni strutturali, viene spesso assunta una distribuzione normale multivariata, ma anche se la struttura è corretta, il test si comporterà in modo diverso se la distribuzione è diversa. Satorra e Bentler 1995 mostrano che la distribuzione diventerà ∑ k a k v k , v k ∼ iid χ 2 1 , la stessa storia dei dati non indipendenti nel mio punto 1, ma hanno anche dimostrato come$\chi^2$$\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$ s dipendono dalla struttura del modello e dai quarti momenti della distribuzione.$a_k$
5. Per i campioni finiti, in una grande classe di situazioni il rapporto di probabilità è Bartlett-correggibile : mentre per un campione di dimensione n , e F ( x ; χ 2 d ) essendo la funzione di distribuzione di χ 2 ${\rm Prob}[d(y) \le x]=F(x;\chi^2_d)[1+O(n^{-1})]$$n$$F(x;\chi^2_d)$$\chi^2_d$distribuzione, per i normali problemi di probabilità è possibile trovare una costante tale che P r o b [ d ( y ) / ( 1 + b / n ) ≤ x ] = F ( x ; χ 2 d ) [ 1 + O ( n - 2 ) ] , ovvero con un ordine di precisione superiore. Quindi il χ $b$${\rm Prob}[d(y)/(1+b/n) \le x]=F(x;\chi^2_d)[1+O(n^{-2})]$$\chi^2$l'approssimazione per i campioni finiti può essere migliorata (e probabilmente dovrebbe essere migliorata se si sa come). La costante dipende dalla struttura del modello e talvolta dai parametri ausiliari, ma se può essere stimata in modo coerente, anche questo funziona nel migliorare l'ordine di copertura.$b$

Per una revisione di questi e simili problemi esoterici nell'inferenza di verosimiglianza, vedi Smith 1989 .