Relazione tra Hessian Matrix e Covariance Matrix

Mentre sto studiando la stima della massima verosimiglianza, per dedurre la stima della massima verosimiglianza, dobbiamo conoscere la varianza. Per scoprire la varianza, ho bisogno di conoscere il Rao Lower Bound di Cramer, che assomiglia a una matrice hessiana con seconda derivazione sulla curvatura. Sono un po 'confuso per definire la relazione tra matrice di covarianza e matrice di iuta. Spero di sentire alcune spiegazioni sulla domanda. Un semplice esempio sarà apprezzato.

— user122358
fonte

Dovresti prima dare un'occhiata a questa domanda di base sulla matrice delle informazioni di Fisher e sulla relazione con l'Assia e gli errori standard

Supponiamo di avere un modello statistico (famiglia di distribuzioni) . Nel caso più generale abbiamo , in modo da questa famiglia è parametrizzato da . In determinate condizioni di regolarità, abbiamo $\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$

{io}_{io, j} (θ) = - E_{θ} [\frac{\partial^{2} l (X; θ)}{\partial θ_{io} \partial θ_{j}}] = - E_{θ} [H_{io, j} (l (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

dove è una matrice di informazioni di Fisher (in funzione di ) e è il valore osservato (campione) $I_{i,j}$ $\theta$ $X$

l (X; θ) = l n (f_{θ} (X)), per alcuni θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

Quindi la matrice di informazioni di Fisher è un valore atteso negato di Hesian della probabilità logaritmica in alcuni $\theta$

Supponiamo ora di stimare alcune funzioni vettoriali del parametro sconosciuto . Di solito si desidera che lo stimatore sia imparziale, cioè $\psi(\theta)$ $T(X) = (T_1(X), \dots, T_d(X))$

\forall_{θ \in Θ} E_{θ} [T (X)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

Cramer Rao Lower Bound afferma che per ogni imparziale il soddisfa $T(X)$ $cov_{\theta}(T(X))$

c o v_{θ} (T (X)) \geq \frac{\partial ψ (θ)}{\partial θ} {io}^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} = B (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

dove per matrici significa che è semi-definito positivo , è semplicemente un giacobino . Nota che se stimiamo , cioè , sopra semplifica $A \ge B$ $A - B$ $\frac{\partial\psi(\theta)}{\partial\theta}$ $J_{i,j}(\psi)$ $\theta$ $\psi(\theta) = \theta$

c o v_{θ} (T (X)) \geq {io}^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

Ma cosa ci dice davvero? Ad esempio, ricordalo

v un' r_{θ} (T_{io} (X)) = [c o v_{θ} (T (X))]_{io, io}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

e che per ogni semi-definita positiva matrice diagonali siano non negativo $A$

\forall_{io} {UN}_{io, io} \geq 0

$\forall_i\ A_{i,i} \ge 0$

Dall'alto possiamo concludere che la varianza di ciascun elemento stimato è delimitata da elementi diagonali della matrice $B(\theta)$

\forall_{io} v un' r_{θ} (T_{io} (X)) \geq [B (θ)]_{io, io}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

Quindi CRLB non ci dice la varianza del nostro stimatore, ma se il nostro stimatore è ottimale o meno , cioè se ha la covarianza più bassa tra tutti gli stimatori imparziali.

— Łukasz Grad
fonte

Apprezzo la tua spiegazione qui. Non sono davvero una persona matematica, ma sto imparando la matematica in modo serio. Tuttavia, mi sembra ancora troppo astratto. Spero che ci sia un esempio gentile con numeri semplici, che lo capiranno sicuramente.

— user122358,