Perché la prova di Wilks del 1938 non funziona per i modelli non specificati?

Nel famoso articolo del 1938 (" La grande distribuzione del rapporto di verosimiglianza per il test di ipotesi composite ", Annals of Mathematical Statistics, 9: 60-62), Samuel Wilks derivò la distribuzione asintotica di (log verosimiglianza) per ipotesi nidificate, presupponendo che l'ipotesi più ampia sia specificata correttamente. La distribuzione limite è (chi-quadrato) con gradi di libertà, dove è il numero di parametri nell'ipotesi più grande e $2 \times LLR$ $\chi^2$ $h-m$ $h$ $m$ è il numero di parametri liberi nell'ipotesi nidificata. Tuttavia, è presumibilmente noto che questo risultato non vale quando le ipotesi sono errate (ad esempio, quando l'ipotesi più ampia non è la vera distribuzione per i dati campionati).

Qualcuno può spiegare perché? Mi sembra che la prova di Wilks dovrebbe ancora funzionare con lievi modifiche. Si basa sulla normalità asintotica della stima della massima verosimiglianza (MLE), che vale ancora per i modelli non specificati. L'unica differenza è la matrice di covarianza della normale multivariata limitante: per modelli correttamente specificati, possiamo approssimare la matrice di covarianza con la matrice d'informazione Fisher inversa , con errata specificazione, possiamo usare la stima sandwich della matrice di covarianza ( ). Quest'ultimo si riduce all'inverso della matrice di informazioni di Fisher quando il modello è correttamente specificato (poiché $J^{-1}$ $J^{-1} K J^{-1}$ $J = K$ ). AFAICT, la dimostrazione di Wilks non importa da dove provenga la stima della matrice di covarianza, purché si abbia una matrice di covarianza asintotica invertibile della normale multivariata per gli MLE ( nel documento di Wilks). $c^{-1}$

— ratsalad
fonte

Quando il modello più grande è vero ma il sottomodello è falso, la distribuzione asintotica non è più

(nei modelli lineari con errori gaussiani, ad esempio, otteniamo cose come esatte distribuzioni di F non centrale quindi la distribuzione asintotica dovrebbe essere qualcosa come nc-

Sto indovinando). Quindi perché dovremmo aspettarci che sia

quando sia il modello più grande che quello più piccolo hanno entrambi torto? Qual è esattamente l'ipotesi nulla qui per cominciare?

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— ragazzo,

Nell'ipotesi nulla specificata correttamente, entrambi i modelli sono "veri", ma quello nidificato ha

parametri fissi sui valori veri. Nell'ipotesi nulla specificata male, entrambi i modelli sono "falsi", ma quello nidificato ha

parametri fissati ai valori pseudotrue. ("Valore pseudotrue" è il valore asintotico del parametro che minimizza la distanza di Kullback-Liebler tra il modello errato e il modello reale). Quindi il tuo esempio di non-F centrale non è rilevante, poiché quella è la distribuzione quando l'ipotesi nulla qui è falsa.

m

$m$

m

$m$

— ratsalad,

Spiacente, avrei dovuto dire che l'ipotesi nidificata ha parametri

fissati sui valori reali.

h - m

$h-m$

— ratsalad,

Comprendo che un modello nullo errato potrebbe essere erroneamente specificato in molti modi. Ad esempio: distribuzione errata dei residui, dati con eteroscedasticità, effetti non additivi, ecc. Tuttavia, concordo sul fatto che se almeno uno dei parametri

"testati" è fissato su un valore falso (ad esempio il valore pseudotrue) , questo è un esempio di un modello null specificato in modo errato.

h - m

$h - m$

— rcorty,

Risposte:

RV Foutz e RC Srivastava hanno esaminato la questione in dettaglio. Il loro articolo del 1977 "Le prestazioni del test del rapporto di verosimiglianza quando il modello non è corretto" contiene una dichiarazione del risultato distributivo in caso di errata specificazione insieme a un breve schizzo della prova, mentre il loro articolo del 1978 "La distribuzione asintotica del rapporto di verosimiglianza quando il modello non è corretto " contiene la dimostrazione, ma quest'ultimo è scritto in un vecchio tipo di macchina da scrivere (entrambi i documenti usano la stessa notazione, quindi è possibile combinarli nella lettura). Inoltre, per alcuni passaggi della dimostrazione fanno riferimento a un articolo di KP Roy "Una nota sulla distribuzione asintotica del rapporto di verosimiglianza" del 1957, che non sembra essere disponibile on-line, neppure con un cancello.

In caso di errata specificazione distributiva, se l'MLE è ancora coerente e asintoticamente normale (che non è sempre il caso), la statistica LR segue asintoticamente una combinazione lineare di chi-quadrati indipendenti (ciascuno con un grado di libertà)

- 2 \ln λ \overset{d}{\to} \sum_{i = 1}^{r} c_{i} χ_{i}^{2}

$-2\ln \lambda \xrightarrow{d} \sum_{i=1}^{r}c_i\mathcal \chi^2_i$

dove . Si può vedere la "somiglianza": invece di un chi-quadrato con gradi di libertà, abbiamo chi-quadrati ciascuno con un grado di libertà. Ma l '"analogia" si ferma qui, perché una combinazione lineare di chi-quadrati non ha una densità di forma chiusa. Ogni chi-quadrato in scala è una gamma, ma con un parametro diverso che porta a un parametro di scala diverso per la gamma e la somma di tali gamme non è a forma chiusa, sebbene i suoi valori possano essere calcolati. $r=h-m$ $h-m$ $h-m$ $c_i$

Per le costanti , abbiamo , e sono gli autovalori di una matrice ... quale matrice? Bene, usando la notazione degli autori, imposta come Assia della verosimiglianza e come prodotto esterno del gradiente della verosimiglianza (in termini attesi). Quindi è la matrice di varianza-covarianza asintotica dell'MLE. $c_i$ $c_1 \geq c_2\geq ...c_r \geq0$ $\Lambda$ $C$ $V = \Lambda^{-1} C (\Lambda')^{-1}$

Quindi impostare essere il blocco superiore diagonale di . $M$ $r \times r$ $V$

Scrivi anche in forma di blocco $\Lambda$

Λ = [\begin{matrix} Λ_{r \times r} & Λ_{2}^{'} \\ Λ_{2} & Λ_{3} \end{matrix}]

$\Lambda =\left [\begin {matrix} \Lambda_{r\times r} & \Lambda_2'\\ \Lambda_2 & \Lambda_3\\ \end{matrix}\right]$

e imposta ( è il negativo del complemento di Schur di ). $W = -\Lambda_{r\times r}+\Lambda_2'\Lambda_3^{-1}\Lambda_2$ $W$ $\Lambda$

Quindi i sono gli autovalori della matrice valutati ai valori reali dei parametri. $c_i$ $MW$

ADDENDUM
Rispondendo all'osservazione valida dell'OP nei commenti (a volte, in effetti, le domande diventano un trampolino di lancio per condividere un risultato più generale e possono essere trascurate nel processo), ecco come procede la prova di Wilks: Wilks inizia con l'articolazione distribuzione normale dell'MLE e procede a derivare l'espressione funzionale del rapporto di verosimiglianza. Fino al suo eq compreso , la prova può andare avanti anche se ipotizziamo che ci sia una mancata specificazione distributiva: come osserva il PO, i termini della matrice di covarianza della varianza saranno diversi nello scenario di errata specificazione, ma tutto ciò che Wilks fa è prendere derivati e identificare termini asintoticamente trascurabili. E così arriva all'eq. $[9]$ $[9]$ dove vediamo che la statistica del rapporto di verosimiglianza, se la specifica è corretta, è solo la somma delle variabili casuali normali standard quadrato, e quindi sono distribuite come un chi-quadrato con gradi di libertà: (notazione generica ) $h-m$ $h-m$

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} \overset{d}{\to} χ_{h - m}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 \xrightarrow{d} \mathcal \chi^2_{h-m}$

$\sqrt n(\hat \theta -\theta)$

So under misspecification we have something like

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{a_{i}})}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{a_i}\right)^2$ and the best we can do is to manipulate it into

- 2 \ln λ = \sum_{i = 1}^{h - m} \frac{σ_{i}^{2}}{a_{i}^{2}} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} = \sum_{i = 1}^{h - m} \frac{σ_{i}^{2}}{a_{i}^{2}} χ_{1}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\mathcal \chi^2_1$

which is a sum of scaled chi-square r.v.'s, no longer distributed as one chi-square r.v. with $h-m$ degrees of freedom. The reference provided by the OP is indeed a very clear exposition of this more general case that includes Wilks' result as a special case.

— Alecos Papadopoulos
fonte

So, this is just a restatement of the standard result when the model is misspecified. This result has been derived and re-derived many times. The clearest and most illuminating derivation I have seen is from Kent 1982 "Robust Properties of Likelihood Ratio Tests" (Biometrika 69:19). However, you did not answer my question. My question was specifically about Wilks 1938 proof, and why it fails.

— ratsalad

Wilks' 1938 proof doesn't work because Wilks used $J^{-1}$ As the asymptotic covariance matrix in his proof. $J^{-1}$ is the inverse of the Hessian of the negative log likelihood rather than the sandwich estimator $J^{-1} K J^{-1}$ . Wilks references the $ij$ th element of $J$ as $c_{ij}$ in his proof. By making the assumption that $J^{-1}KJ^{-1} = J^{-1}$ Wilks (1938) is assuming that $K=J$ holds which is the Fisher Information Matrix equality. If the probability model is correctly specified then $K=J$ . So one interpretation of the assumption by Wilks is that he is assuming the stronger assumption that the probability model is correctly specified.

— RMG
fonte