Che tipo di informazioni sono le informazioni di Fisher?

Supponiamo di avere una variabile casuale $X \sim f(x|\theta)$ . Se $\theta_0$ fosse il parametro vero, la funzione di verosimiglianza dovrebbe essere massimizzata e la derivata uguale a zero. Questo è il principio alla base dello stimatore della massima verosimiglianza.

A quanto ho capito, le informazioni di Fisher sono definite come

I (θ) = E [{(\frac{\partial}{\partial θ} f (X | θ))}^{2}]

$I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ]$

Pertanto, se $\theta_0$ è il parametro vero, $I(\theta) = 0$ . Ma se $\theta_0$ non è il parametro vero, avremo una maggiore quantità di informazioni Fisher.

le mie domande

Le informazioni Fisher misurano l '"errore" di un determinato MLE? In altre parole, l'esistenza di informazioni Fisher positive non implica che il mio MLE non possa essere l'ideale?
In che modo questa definizione di "informazione" differisce da quella usata da Shannon? Perché le chiamiamo informazioni?

— Stan Shunpike
fonte

Perché lo scrivi

E_{θ}

$E_\theta$ ? L'attesa è sui valori di

X

$X$ distribuiti come se provenissero dalla tua distribuzione con il parametro

θ

$\theta$ .

— Neil G,

Anche

I (θ)

$I(\theta)$ non è zero sul parametro vero.

— Neil G,

La E (S) è zero (cioè: aspettativa della funzione di punteggio), ma come ha scritto Neil G - le informazioni sul pescatore (V (S)) non sono (di solito) zero.

— Tal Galili,

Cercando di integrare le altre risposte ... Che tipo di informazioni sono le informazioni di Fisher? Inizia con la funzione loglikelihood in funzione di per , lo spazio dei parametri. Supponendo alcune condizioni di regolarità di cui non discutiamo qui, abbiamo

ℓ (θ) = \log f (x; θ)

$\ell (\theta) = \log f(x;\theta)$

θ

$\theta$

θ \in Θ

$\theta \in \Theta$

(scriveremo le derivate rispetto al parametro come punti come qui). La varianza è l'informazione di Fisher

E \frac{\partial}{\partial θ} ℓ (θ) = E_{θ} \dot{ℓ} (θ) = 0

$\DeclareMathOperator{\E}{\mathbb{E}} \E \frac{\partial}{\partial \theta} \ell (\theta) = \E_\theta \dot{\ell}(\theta) = 0$

l'ultima formula che mostra che si tratta della curvatura (negativa) della funzione di loglikelihood. Spesso si trova lo stimatore della massima verosimiglianza (mle) di

I (θ) = E_{θ} (\dot{ℓ} (θ))^{2} = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = \E_\theta ( \dot{\ell}(\theta) )^2= -\E_\theta \ddot{\ell}(\theta)$

risolvendo l'equazione di verosimiglianza

quando le informazioni di Fisher come varianza del punteggio

sono grandi, allora la soluzione di tale equazione sarà molto sensibile ai dati, dando una speranza per precisione della mle. Ciò è confermato almeno asintoticamente, la varianza asintotica della mle è l'inverso delle informazioni di Fisher.

θ

$\theta$

\dot{ℓ} (θ) = 0

$\dot{\ell}(\theta)=0$

\dot{ℓ} (θ)

$\dot{\ell}(\theta)$

Come possiamo interpretarlo? sono le informazioni probabilità sul parametro dal campione. Questo può davvero essere interpretato solo in un senso relativo, come quando lo usiamo per confrontare le plausibilità di due valori di parametri possibili distinti tramite il test del rapporto di verosimiglianza $\ell(\theta)$ $\theta$ . Il tasso di variazione del loglikelihood è la funzione di punteggio ci dice quanto velocemente cambia la probabilità e la sua varianza $\ell(\theta_0) - \ell(\theta_1)$ $\dot{\ell}(\theta)$ $I(\theta)$ quanto questo varia da campione a campione, ad un dato valore di parametro, diciamo . L'equazione (che è davvero sorprendente!) , e la curvatura della funzione di probabilità per quel valore di parametro. Questa è una relazione sorprendente tra la variabilità (varianza) della statistica $\theta_0$

io (θ) = - E_{θ} \ddot{ℓ} (θ)

$I(\theta) = - \E_\theta \ddot{\ell}(\theta)$ ci dice che esiste una relazione (uguaglianza) tra la variabilità delle informazioni (verosimiglianza) per un dato valore di parametro,

θ_{0}

$\theta_0$

\dot{ℓ} (θ) ∣_{θ = θ_{0}}

$\dot{\ell}(\theta) \mid_{\theta=\theta_0}$ e il cambiamento atteso in similitudine quando variamo il parametro

in un intervallo intorno a

(per gli stessi dati). Questo è davvero sia strano, sorprendente e potente!

θ

$\theta$

θ_{0}

$\theta_0$

Quindi qual è la funzione di verosimiglianza? Di solito pensiamo al modello statistico come una famiglia di distribuzioni di probabilità per i dati , indicizzata dal parametro $\{ f(x;\theta), \theta \in \Theta \}$ $x$ $\theta$ qualche elemento nello spazio dei parametri . Pensiamo che questo modello sia vero se esiste un valore tale che i dati abbiano effettivamente la distribuzione di probabilità $\Theta$ $\theta_0 \in \Theta$ $x$ $f(x;\theta_0)$ . Quindi otteniamo un modello statistico incorporando la distribuzione di probabilità di generazione di dati reale in una famiglia di distribuzioni di probabilità. Ma è chiaro che un tale inganno può essere fatto in molti modi diversi, e ciascuno di essi sarà un modello "vero" e forniranno funzioni di probabilità diverse. E, senza un tale imbroglio, non esiste alcuna funzione di verosimiglianza. Sembra che abbiamo davvero bisogno di aiuto, di alcuni principi su come scegliere saggiamente un imbroglio! $f(x;\theta_0)$

Che cosa significa questo? Significa che la scelta della funzione di probabilità ci dice come ci aspetteremmo che i dati cambiassero, se la verità cambiasse un po '. Tuttavia, ciò non può essere realmente verificato dai dati, poiché i dati forniscono solo informazioni sulla vera funzione del modello che ha effettivamente generato i dati e non nulla su tutti gli altri elementi nel modello scelto. In questo modo vediamo che la scelta della funzione di verosimiglianza è simile alla scelta di un precedente nell'analisi bayesiana, inietta informazioni non di dati nell'analisi. Vediamo questo in un semplice esempio (un po 'artificiale) e guardiamo l'effetto dell'integrazione $f(x;\theta_0)$ $f(x;\theta_0)$ in un modello in diversi modi.

Supponiamo che siano iid come . Quindi, questa è la vera distribuzione generatrice di dati. Ora, incorporiamo questo in un modello in due modi diversi, modello A e modello B. $X_1, \dotsc, X_n$ $N(\mu=10, \sigma^2=1)$ puoi verificare che questo coincida per .

A : X_{1}, \dots, X_{n} iid N (μ, σ^{2} = 1), μ \in R B : X_{1}, \dots, X_{n} iid N (μ, μ / 10), μ > 0

$A \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \sigma^2=1),\mu \in \mathbb{R} \\ B \colon X_1, \dotsc, X_n ~\text{iid}~N(\mu, \mu/10), \mu>0$

μ = 10

$\mu=10$

Le funzioni di loglikelihood diventano

ℓ_{A} (μ) = - \frac{n}{2} \log (2 π) - \frac{1}{2} \sum_{i} (x_{i} - μ)^{2} ℓ_{B} (μ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log (μ / 10) - \frac{10}{2} \sum_{i} \frac{(x_{i} - μ)^{2}}{μ}

$\ell_A(\mu) = -\frac{n}{2} \log (2\pi) -\frac12\sum_i (x_i-\mu)^2 \\ \ell_B(\mu) = -\frac{n}{2} \log (2\pi) - \frac{n}{2}\log(\mu/10) - \frac{10}{2}\sum_i \frac{(x_i-\mu)^2}{\mu}$

Il punteggio funziona: (derivati di loglikelihood): e le curvature

{\dot{ℓ}}_{A} (μ) = n (\bar{x} - μ) {\dot{ℓ}}_{B} (μ) = - \frac{n}{2 μ} - \frac{10}{2} \sum_{i} (\frac{x_{i}}{μ})^{2} - 15 n

$\dot{\ell}_A(\mu) = n (\bar{x}-\mu) \\ \dot{\ell}_B(\mu) = -\frac{n}{2\mu}- \frac{10}{2}\sum_i (\frac{x_i}{\mu})^2 - 15 n$

, quindi, le informazioni di Fisher dipendono davvero dall'incorporamento. Ora, calcoliamo le informazioni di Fisher al valore reale

{\ddot{ℓ}}_{A} (μ) = - n {\ddot{ℓ}}_{B} (μ) = \frac{n}{2 μ^{2}} + \frac{10}{2} \sum_{i} \frac{2 x_{i}^{2}}{μ^{3}}

$\ddot{\ell}_A(\mu) = -n \\ \ddot{\ell}_B(\mu) = \frac{n}{2\mu^2} + \frac{10}{2}\sum_i \frac{2 x_i^2}{\mu^3}$

μ = 10

$\mu=10$

quindi le informazioni di Fisher sul parametro sono leggermente più grandi nel modello B.

I_{A} (μ = 10) = n, I_{B} (μ = 10) = n \cdot (\frac{1}{200} + \frac{2020}{2000}) > n

$I_A(\mu=10) = n, \\ I_B(\mu=10) = n \cdot (\frac1{200}+\frac{2020}{2000}) > n$

Questo dimostra che, in un certo senso, le informazioni di Fisher ci dicono quanto velocemente le informazioni dai dati sul parametro sarebbero cambiate se il parametro di governo fosse cambiato nel modo postulato dall'incorporamento in una famiglia di modelli . La spiegazione di maggiori informazioni nel modello B è che la nostra famiglia di modelli B postula che se l'attesa fosse aumentata, anche la varianza sarebbe aumentata . In modo che, nel modello B, la varianza del campione porti anche informazioni su , cosa che non farà nel modello A. $\mu$

Inoltre, questo esempio mostra che abbiamo davvero bisogno di qualche teoria per aiutarci a costruire famiglie modello.

— kjetil b halvorsen
fonte

ottima spiegazione. Perché dici

? è una funzione di

- non è 0 solo se valutato con il parametro vero

\E_{θ} \dot{ℓ} (θ) = 0

$\E_\theta \dot{\ell}(\theta) =0$

θ

$\theta$

θ_{0}

$\theta_0$

— ihadanny,

Sì, quello che dici è vero, @idadanny È zero quando valutato al valore del parametro vero.

— kjetil b halvorsen,

Grazie ancora @kjetil - quindi solo un'altra domanda: la sorprendente relazione tra la varianza del punteggio e la curvatura della probabilità è vera per ogni

? o solo in prossimità del parametro vero

θ

$\theta$

θ_{0}

$\theta_0$

— ihadanny,

Ancora una volta, quella relazione è vera per il valore del parametro vero. Ma per che per essere di grande aiuto, ci deve essere una continuità, in modo che sia circa il vero in una certa zona, dal momento che lo useremo al valore stimato

, non solo al valore vero (sconosciuto).

\hat{θ}

$\hat{\theta}$

— kjetil b halvorsen,

quindi, la relazione vale per il vero parametro

, vale quasi per

poiché ipotizziamo che sia vicina a

, ma per un generale

non regge, giusto?

θ_{0}

$\theta_0$

θ_{m l e}

$\theta_{mle}$

θ_{0}

$\theta_0$

θ_{1}

$\theta_1$

— ihadanny,

$\ell$ $\ell$ $\ell$

$\ell$ $\theta$ $\theta$

Considera che hai avuto un modello grande con milioni di parametri. E avevi una piccola chiavetta su cui riporre il tuo modello. Come si dovrebbe dare la priorità a quanti bit di ciascun parametro memorizzare? La risposta giusta è allocare bit in base alle informazioni di Fisher (Rissanen ha scritto a riguardo). Se le informazioni Fisher di un parametro sono zero, quel parametro non ha importanza.

Le chiamiamo "informazioni" perché le informazioni di Fisher misurano quanto questo parametro ci dice sui dati.

Un modo colloquiale di pensarci è questo: Supponiamo che i parametri guidino un'auto e che i dati siano sul sedile posteriore correggendo il guidatore. La fastidiosità dei dati è l'informazione di Fisher. Se i dati consentono al guidatore di guidare, le informazioni di Fisher sono zero; se i dati apportano costantemente correzioni, è grande. In questo senso, l'informazione di Fisher è la quantità di informazioni che va dai dati ai parametri.

Considera cosa succede se rendi il volante più sensibile. Ciò equivale a una riparametrizzazione. In tal caso, i dati non vogliono essere così rumorosi per paura del sovrasterzo dell'auto. Questo tipo di riparametrizzazione riduce le informazioni di Fisher.

— Neil G
fonte

Complementare alla bella risposta di @ NeilG (+1) e per rispondere a domande specifiche:

Direi che conta la "precisione" piuttosto che l '"errore" stesso.

$I$ $I_{j,j}$ $tr(I)$ deve essere positivo. Ciò significa che puoi avere solo stimatori "non ideali" secondo la tua affermazione. Quindi no, un'informazione Fisher positiva non è correlata a quanto sia ideale il tuo MLE.

La definizione differisce nel modo in cui interpretiamo la nozione di informazione in entrambi i casi. Detto questo, le due misurazioni sono strettamente correlate.

$–p·log_2(p)$ $p$ è la probabilità che la variabile assuma il valore. Entrambe sono misurazioni di quanto sia "istruttiva" una variabile. Nel primo caso però giudichi queste informazioni in termini di precisione mentre nel secondo caso in termini di disordine; facce diverse, stessa medaglia! : D

$I$

— usεr11852 dice Reinstate Monic
fonte