Perché la matrice di informazioni Fisher è semidefinita positiva?


18

Consenti . La matrice di informazioni Fisher è definita come:θRn

io(θ)io,j=-E[2log(f(X|θ))θioθj|θ]

Come posso dimostrare che la matrice di informazioni Fisher è semidefinita positiva?


7
Non è il valore atteso di un prodotto esterno del punteggio con se stesso?
Neil G,

Risposte:


19

Dai un'occhiata a: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

Dalla definizione, abbiamo

ioioj=Eθ[(iologfX|Θ(X|θ))(jlogfX|Θ(X|θ))],
per , in cui . La tua espressione per segue da questa in condizioni di regolarità.io,j=1,...,Kio=/θioioioj

Per un vettore non nullo , deriva dalla linearità dell'aspettativa che u=(u1,...,uK)Rn

Σio,j=1Kuioioiojuj=Σio,j=1K(uioEθ[(iologfX|Θ(X|θ))(jlogfX|Θ(X|θ))]uj)=Eθ[(Σio=1KuioiologfX|Θ(X|θ))(Σj=1KujjlogfX|Θ(X|θ))]=Eθ[(Σio=1KuioiologfX|Θ(X|θ))2]0.

Se questa notazione saggia del componente è troppo brutta, si noti che la matrice Informazioni Fisher può essere scritta come , in cui il vettore dei punteggi è definito come H=(ioioj)H=Eθ[SS]S

S=(1logfX|Θ(X|θ),...,KlogfX|Θ(X|θ)).

Quindi, abbiamo il one-liner

uHu=uEθ[SS]u=Eθ[uSSu]=Eθ[||Su||2]0.


3
(+1) Buona risposta e bentornato, Zen. Mi preoccupavo che avremmo potuto perderti definitivamente, vista la durata della tua pausa. Sarebbe stato un vero peccato!
cardinale

5

ATTENZIONE: non una risposta generale!

Se corrisponde a una famiglia esponenziale di rango massimo, allora l'Assia negativa della probabilità logaritmica è la matrice di covarianza della statistica sufficiente. Le matrici di covarianza sono sempre semi-definite positive. Poiché le informazioni di Fisher sono una combinazione convessa di matrici semi-definite positive, quindi devono anche essere semi-definite positive.f(X|θ)

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.