Domanda di base sulla matrice delle informazioni di Fisher e relazione con l'Assia e errori standard

54

Ok, questa è una domanda abbastanza semplice, ma sono un po 'confuso. Nella mia tesi scrivo:

Gli errori standard possono essere trovati calcolando l'inverso della radice quadrata degli elementi diagonali della matrice (osservata) di Fisher Information:

Dal momento che il comando ottimizzazione minimizza Ril (osservata) a matrice Fisher informazioni può essere trovato calcolando l'inverso della dell'Assia:

\begin{aligned} s_{\hat{μ}, {\hat{σ}}^{2}} = \frac{1}{\sqrt{I (\hat{μ}, {\hat{σ}}^{2})}} \end{aligned}

$\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}$

- \log L

$-\log\mathcal{L}$

\begin{aligned} I (\hat{μ}, {\hat{σ}}^{2}) = H^{- 1} \end{aligned}

$\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*}$

La mia domanda principale: è corretto quello che sto dicendo ?

Sono un po 'confuso, perché in questa fonte a pagina 7 dice:

la matrice Informazioni è negativa del valore atteso della matrice Assia

(Quindi nessun inverso dell'Assia.)

Considerando che in questa fonte a pagina 7 (nota 5) si dice:

Le informazioni Fisher osservate sono uguali a . $(-H)^{-1}$

(Quindi ecco l'inverso.)

Sono a conoscenza del segno meno e quando usarlo e quando no, ma perché c'è una differenza nel prendere l'inverso o no?

maximum-likelihood fisher-information

— Jen Bohold
fonte

@COOLSerdash Grazie per le tue correzioni e +1, ma questa fonte: unc.edu/~monogan/computing/r/MLE_in_R.pdf pagina 7 dice chiaramente che le informazioni Fisher osservate sono uguali all'INVERSO dell'Assia?

— Jen Bohold,

@COOLSerdash Ok, potresti voler pubblicare questo come risposta.

— Jen Bohold,

75

Yudi Pawitan scrive nel suo libro In tutta la verosimiglianza che la seconda derivata della verosimiglianza valutata alla massima verosimiglianza (MLE) sono le informazioni di Fisher osservate (vedere anche questo documento , pagina 2). Questo è esattamente ciò che piace optimalla maggior parte degli algoritmi di ottimizzazione in Rcambio: l'Assia ha valutato al MLE. Quando il negativola probabilità di log è ridotta al minimo, viene restituita l'Assia negativa. Come correttamente sottolineato, gli errori standard stimati dell'MLE sono le radici quadrate degli elementi diagonali dell'inverso della matrice di informazioni di Fisher osservata. In altre parole: le radici quadrate degli elementi diagonali dell'inverso dell'Assia (o dell'Assia negativa) sono gli errori standard stimati.

Sommario

L'assia negativa valutata presso l'MLE è la stessa della matrice di informazioni Fisher osservata valutata presso l'MLE.
Per quanto riguarda la tua domanda principale: No, non è corretto che le informazioni Fisher osservate possano essere trovate invertendo l'Assia (negativa).
Per quanto riguarda la tua seconda domanda: l'inverso dell'assia (negativa) è uno stimatore della matrice di covarianza asintotica. Quindi, le radici quadrate degli elementi diagonali della matrice di covarianza sono stimatori degli errori standard.
Penso che il secondo documento che colleghi per sbagliarlo.

formalmente

$l(\theta)$ $\mathbf{I}(\theta)$ $(p\times p)$

I (θ) = - \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{I}(\theta)=-\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

I ({\hat{θ}}_{M L})

$\mathbf{I}(\hat{\theta}_{\mathrm{ML}})$

H (θ) = \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{H}(\theta)=\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

V a r ({\hat{θ}}_{M L}) = [I ({\hat{θ}}_{M L})]^{- 1}

$\mathrm{Var}(\hat{\theta}_{\mathrm{ML}})=[\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}$

{\hat{θ}}_{M L} \overset{a}{\sim} N (θ_{0}, [I ({\hat{θ}}_{M L})]^{- 1})

$\hat{\theta}_{\mathrm{ML}}\stackrel{a}{\sim}\mathcal{N}\left(\theta_{0}, [\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}\right)$

θ_{0}

$\theta_{0}$

S E ({\hat{θ}}_{M L}) = \frac{1}{\sqrt{I ({\hat{θ}}_{M L})}}

$\mathrm{SE}(\hat{\theta}_{\mathrm{ML}})=\frac{1}{\sqrt{\mathbf{I}(\hat{\theta}_{\mathrm{ML}})}}$

— COOLSerdash
fonte

1

dovrebbe indicare "quando la probabilità di log negativa è ridotta al minimo " (o ottimizzata ).

— cmo

8

I (θ) = E I (θ)

$\mathcal{I}(\theta)=\operatorname{E}I(\theta)$

I (θ)

$I(\theta)$

θ

$\theta$

I (θ) = I (θ)

$\mathcal{I}(\theta)=I(\theta)$

— Scortchi - Ripristina Monica

6

La stima delle funzioni di probabilità comporta un processo in due fasi.

Innanzitutto, si dichiara la funzione di verosimiglianza. quindi si ottimizzano le funzioni di verosimiglianza. Va bene.

$-1*l$ $l$

$(-H)^-1$

— Adelino Martins
fonte