Perché la matrice di informazioni Fisher è semidefinita positiva?

18

Consenti . La matrice di informazioni Fisher è definita come: $\theta \in R^{n}$

io (θ)_{io, j} = - E [\frac{\partial^{2} \log (f (X | θ))}{\partial θ_{io} \partial θ_{j}} | θ]

$I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right]$

Come posso dimostrare che la matrice di informazioni Fisher è semidefinita positiva?

inference linear-algebra fisher-information

— madprob
fonte

7

Non è il valore atteso di un prodotto esterno del punteggio con se stesso?

— Neil G,

19

Dai un'occhiata a: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

Dalla definizione, abbiamo

{io}_{io j} = E_{θ} [(\partial_{io} \log f_{X | Θ} (X | θ)) (\partial_{j} \log f_{X | Θ} (X | θ))],

$I_{ij} = \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] \, ,$ per , in cui . La tua espressione per segue da questa in condizioni di regolarità.

i, j = 1, \dots, k

$i,j=1,\dots,k$

\partial_{i} = \partial / \partial θ_{i}

$\partial_i=\partial /\partial \theta_i$

I_{i j}

$I_{ij}$

Per un vettore non nullo , deriva dalla linearità dell'aspettativa che $u = (u_1,\dots,u_k)^\top\in\mathbb{R}^n$

Σ_{io, j = 1}^{K} u_{io} {io}_{io j} u_{j} = Σ_{io, j = 1}^{K} (u_{io} E_{θ} [(\partial_{io} \log f_{X | Θ} (X | θ)) (\partial_{j} \log f_{X | Θ} (X | θ))] u_{j}) = E_{θ} [(Σ_{io = 1}^{K} u_{io} \partial_{io} \log f_{X | Θ} (X | θ)) (Σ_{j = 1}^{K} u_{j} \partial_{j} \log f_{X | Θ} (X | θ))] = E_{θ} [{(Σ_{io = 1}^{K} u_{io} \partial_{io} \log f_{X | Θ} (X | θ))}^{2}] \geq 0 .

$\sum_{i,j=1}^k u_i I_{ij} u_j = \sum_{i,j=1}^k \left( u_i \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] u_j \right) \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\sum_{j=1}^k u_j \partial_j \log f_{X\mid\Theta} (X\mid\theta)\right)\right] \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right)^2 \right] \geq 0 \, .$

Se questa notazione saggia del componente è troppo brutta, si noti che la matrice Informazioni Fisher può essere scritta come , in cui il vettore dei punteggi è definito come $H=(I_{ij})$ $H = \mathrm{E}_\theta\left[S S^\top\right]$ $S$

S = {(\partial_{1} \log f_{X | Θ} (X | θ), ..., \partial_{K} \log f_{X | Θ} (X | θ))}^{⊤} .

$S = \left( \partial_1 \log f_{X\mid\Theta}(X\mid\theta), \dots, \partial_k \log f_{X\mid\Theta}(X\mid\theta) \right)^\top \, .$

Quindi, abbiamo il one-liner

u^{⊤} H u = u^{⊤} E_{θ} [S S^{⊤}] u = E_{θ} [u^{⊤} S S^{⊤} u] = E_{θ} [| | S^{⊤} u | |^{2}] \geq 0.

$u^\top H u = u^\top \mathrm{E}_\theta[S S^\top] u = \mathrm{E}_\theta[u^\top S S^\top u] = \mathrm{E}_\theta\left[|| S^\top u ||^2\right] \geq 0.$

— zen
fonte

3

(+1) Buona risposta e bentornato, Zen. Mi preoccupavo che avremmo potuto perderti definitivamente, vista la durata della tua pausa. Sarebbe stato un vero peccato!

— cardinale

5

ATTENZIONE: non una risposta generale!

Se corrisponde a una famiglia esponenziale di rango massimo, allora l'Assia negativa della probabilità logaritmica è la matrice di covarianza della statistica sufficiente. Le matrici di covarianza sono sempre semi-definite positive. Poiché le informazioni di Fisher sono una combinazione convessa di matrici semi-definite positive, quindi devono anche essere semi-definite positive. $f(X|\theta)$

— gusl
fonte