Perché vengono utilizzate esattamente le informazioni Fisher osservate?

17

Nell'impostazione della probabilità massima standard (tra il campione da una distribuzione con densità )) e nel caso di un modello correttamente specificato, il Fisher le informazioni sono fornite da $Y_{1}, \ldots, Y_{n}$ $f_{y}(y|\theta_{0}$

I (θ) = - E_{θ_{0}} [\frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)]

$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$

dove viene presa l'aspettativa rispetto alla densità reale che ha generato i dati. Ho letto che l'informazione Fisher osservata

\hat{J} (θ) = - \frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)

$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$

viene utilizzato principalmente perché l'integrale coinvolto nel calcolo delle (attese) Informazioni sul pescatore potrebbe non essere fattibile in alcuni casi. Ciò che mi confonde è che anche se l'integrale è fattibile, bisogna aspettarsi rispetto al modello vero, che implica il valore del parametro sconosciuto . Se questo è il caso sembra che senza sapere è impossibile calcolare . È vero? $\theta_{0}$ $\theta_{0}$ $I$

maximum-likelihood fisher-information

— user2249626
fonte

13

Hai quattro quanties qui: il vero parametro , una stima coerente , le informazioni previste a e l'informazione osservata a . Queste quantità sono equivalenti solo asintoticamente, ma in genere è così che vengono utilizzate. $\theta_0$ $\hat \theta$ $I(\theta)$ $\theta$ $J(\theta)$ $\theta$

Le informazioni osservate converge in probabilità alle informazioni previste
$J (θ_{0}) = \frac{1}{N} \sum_{i = 1}^{N} \frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y_{i} | θ_{0})$ $J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$ quandoè un campione iid da . Quiindica l'aspettativa w / r / t la distribuzione indicizzata da:. Questa convergenza vale a causa della legge dei grandi numeri, quindi il presupposto che $I (θ_{0}) = E_{θ_{0}} [\frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y | θ_{0})]$ $I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$ $Y$ $f(\theta_0)$ $E_{\theta_0} (x)$ $\theta_0$ $\int x f(x | \theta_0) dx$ è cruciale qui. $Y \sim f(\theta_0)$
Quando hai una stima che converge in probabilità alla vera parametro (vale a dire, è coerente), allora è possibile sostituire per nessuna parte si vede un sopra, essenzialmente a causa del continuo mappatura teorema , e tutto delle convergenze continuano a essere valide. $\hat \theta$ $\theta_0$ $\theta_0$ $^*$

In realtà, sembra essereun po 'sottile. $^*$

osservazione

Come hai ipotizzato, le informazioni osservate sono in genere più facili da utilizzare perché la differenziazione è più semplice dell'integrazione e potresti averla già valutata nel corso di un'ottimizzazione numerica. In alcune circostanze (la distribuzione normale) saranno gli stessi.

L'articolo "Valutare la precisione dello stimatore della massima verosimiglianza: osservata contro le informazioni attese sul pescatore" di Efron e Hinkley (1978) fa un argomento a favore delle informazioni osservate per campioni finiti.

— Andrew M
fonte

4

Ci sono stati alcuni studi di simulazione che sembrano supportare le osservazioni teoriche di Efron & Hinkley (che sono menzionate nella risposta di Andrew), eccone uno che conosco di persona: Maldonado, G. e Greenland, S. (1994). Un confronto delle prestazioni degli intervalli di confidenza basati sul modello quando la forma del modello corretta non è nota. Epidemiologia, 5, 171-182. Non ho visto studi in conflitto. È interessante quindi che i pacchetti GLM standard che conosco utilizzino le informazioni previste per calcolare gli intervalli Wald. Naturalmente questo non è un problema quando (come nei GLM lineari nel parametro naturale) le matrici delle informazioni osservate e previste sono uguali.

— Sander Groenlandia
fonte