Determinante della matrice di informazioni Fisher per un modello sovra parametrizzato

Considera una variabile casuale Bernoulli con parametro (probabilità di successo). La funzione di verosimiglianza e le informazioni di Fisher (una matrice ) sono: $X\in\{0,1\}$ $\theta$ $1 \times 1$

\begin{aligned} L_{1} (θ; X) & = p (X | θ) = θ^{X} (1 - θ)^{1 - X} \\ I_{1} (θ) & = det I_{1} (θ) = \frac{1}{θ (1 - θ)} \end{aligned}

$\begin{align} \mathcal{L}_1(\theta;X) &= p(\left.X\right|\theta) = \theta^{X}(1-\theta)^{1-X} \\ \mathcal{I}_1(\theta) &= \det \mathcal{I}_1(\theta) = \frac{1}{\theta(1-\theta)} \end{align}$

Consideriamo ora una versione "sovraparametrizzata" con due parametri: la probabilità di successo $\theta_1$ e la probabilità di fallimento $\theta_0$ . (Si noti che $\theta_1+\theta_0=1$ e questo vincolo implica che uno dei parametri è ridondante.) In questo caso la funzione di verosimiglianza e la matrice di informazioni Fisher (FIM) sono:

\begin{aligned} L_{2} (θ_{1}, θ_{0}; X) & = p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X} \\ I_{2} (θ_{1}, θ_{0}) & = (\begin{matrix} \frac{1}{θ_{1}} & 0 \\ 0 & \frac{1}{θ_{0}} \end{matrix}) \\ det I_{2} (θ) & = \frac{1}{θ_{1} θ_{0}} = \frac{1}{θ_{1} (1 - θ_{1})} \end{aligned}

$\begin{align} \mathcal{L}_2(\theta_1,\theta_0;X) &= p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X} \\ \mathcal{I}_2(\theta_1,\theta_0) &= \left( \begin{matrix} \frac{1}{\theta_1} & 0 \\ 0 & \frac{1}{\theta_0} \end{matrix} \right) \\ \det \mathcal{I}_2(\theta) &= \frac{1}{\theta_1 \theta_0} = \frac{1}{\theta_1 (1-\theta_1)} \end{align}$

Si noti che i determinanti di questi due FIM sono identici. Inoltre, questa proprietà si estende al caso più generale di modelli categorici (ovvero più di due stati). Sembra inoltre estendersi ai modelli log-lineari con vari sottoinsiemi di parametri vincolati a zero; in questo caso, il parametro "ridondante" aggiuntivo corrisponde alla funzione di partizione del registro e l'equivalenza dei due determinanti FIM può essere mostrata in base al complemento Schur del FIM più grande. (In realtà, per i modelli log-linear il FIM più piccolo è solo il complemento Schur del FIM più grande.)

Qualcuno può spiegare se questa proprietà si estende a un set più ampio di modelli parametrici (ad esempio a tutte le famiglie esponenziali), consentendo l'opzione di derivare i determinanti FIM sulla base di un tale set di parametri "esteso"? Vale a dire qualsiasi dato modello statistico con parametri che giacciono su una varietà dimensionale incorporata in uno spazio -dimensionale. Ora, se estendiamo l'insieme di parametri per includere un'altra dimensione (che è totalmente vincolata in base agli altri) e calcoliamo i parametri basati su FIM , avremo sempre lo stesso determinante di quello basato sull'originale parametri (indipendenti)? Inoltre, in che modo sono collegati questi due FIM? $n$ $n$ $(n+1)$ $(n+1)$ $n$

Il motivo per cui faccio questa domanda è che il FIM con il parametro extra appare spesso più semplice. Il mio primo pensiero è che questo non dovrebbe funzionare in generale. La FIM comporta il calcolo di derivate parziali della probabilità di log per ogni parametro. Questi derivati parziali presumono che, mentre il parametro in questione cambia, tutti gli altri parametri rimangono costanti, il che non è vero una volta coinvolto il parametro extra (vincolato). In questo caso, mi sembra che le derivate parziali non siano più valide perché non possiamo assumere che gli altri parametri siano costanti; tuttavia, devo ancora trovare prove che questo sia effettivamente un problema. (Se i derivati parziali sono problematici nei casi con parametri dipendenti, sono i derivati totali $(n+1) \times (n+1)$ necessario invece? Non ho ancora visto un esempio di calcolo del FIM con derivati totali, ma forse questa è la soluzione ...)

L'unico esempio che ho trovato online che calcola il FIM sulla base di un set di parametri "esteso" è il seguente: queste note contengono un esempio per la distribuzione categoriale, calcolando le derivate parziali richieste come al solito (cioè come se ogni parametro fosse indipendente , anche se è presente un vincolo tra i parametri).

— Tyler Streeter
fonte

Buona domanda! Penso che la specifica a due parametri della variabile casuale di Bernoulli sia un esempio piuttosto sfortunato, perché senza il vincolo, non è più destinato ad essere densità. Puoi riprodurre la tua osservazione per la famiglia esponenziale curva, per esempio?

p (X | θ_{1}, θ_{0}) = θ_{1}^{X} θ_{0}^{1 - X}

$p(\left.X\right|\theta_1,\theta_0) = \theta_1^{X}\theta_0^{1-X}$

— Khashaa,

@Khashaa Suppongo che il vincolo applichi nel caso di due parametri (quello che hai menzionato), quindi la funzione di probabilità sarà comunque una densità valida. Inoltre, sì, posso riprodurre questa osservazione, ad esempio per i modelli log-lineari con vari sottoinsiemi di parametri vincolati a zero; in questo caso, il parametro "ridondante" corrisponde alla funzione di partizione del registro.

θ_{1} + θ_{2} = 1

$\theta_1 + \theta_2 = 1$

— Tyler Streeter,

Che ne dici di ?

N (μ, μ^{2})

$N(\mu, \mu^2)$

— Khashaa,

Risposte:

Per normale , la matrice di informazioni è Per normale curvaQuindi, la tua osservazione che i determinanti sono uguali non è universale, ma non è l'intera storia. $X\sim N(\mu,\sigma^2)$

I_{1} = (\begin{matrix} \frac{1}{σ^{2}} & 0 \\ 0 & \frac{1}{2 σ^{4}} \end{matrix})

$\mathcal{I}_1 = \left( \begin{matrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{1}{2\sigma^4} \end{matrix} \right)$

X \sim N (μ, μ^{2})

$X\sim N(\mu,\mu^2)$

I_{2} = \frac{3}{μ^{2}} .

$\mathcal{I}_2=\frac{3}{\mu^2}.$

In generale, se è la matrice di informazioni sotto la riparametrizzazione allora non è difficile vedere che la matrice di informazioni per i parametri originali è dove è il giacobino della trasformazione . $\mathcal{I}_g$

g (θ) = (g_{1} (θ), . . ., g_{k} (θ))^{'},

$g(\theta)=(g_1(\theta),...,g_k(\theta))',$

I (θ) = G^{'} I_{g} (g (θ)) G

$I(\theta)=G'I_g(g(\theta))G$

G

$G$

g = g (θ)

$g=g(\theta)$

Per esempio Bernoulli e . Quindi, il giacobino è e quindi $(\theta_0,\theta_1)=(p,1-p)$ $g(p)=(p,1-p)$ $(1,-1)'$

I (p) = (\begin{matrix} 1 & - 1 \end{matrix}) (\begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1 - p} \end{matrix}) (\begin{matrix} 1 \\ - 1 \end{matrix}) = \frac{1}{p (1 - p)}

$\mathcal{I}(p) = \left( \begin{matrix} 1& -1 \end{matrix} \right)\left( \begin{matrix} \frac{1}{p} & 0 \\ 0 & \frac{1}{1-p} \end{matrix} \right) \left( \begin{matrix} 1 \\ -1 \end{matrix} \right)=\frac{1}{p(1-p)}$

Per un esempio normale curvo,

I_{2} = (\begin{matrix} 1 & 2 μ \end{matrix}) (\begin{matrix} \frac{1}{μ^{2}} & 0 \\ 0 & \frac{1}{2 μ^{4}} \end{matrix}) (\begin{matrix} 1 \\ 2 μ \end{matrix}) = \frac{3}{μ^{2}} .

$\mathcal{I}_2 = \left( \begin{matrix} 1& 2\mu \end{matrix} \right)\left( \begin{matrix} \frac{1}{\mu^2} & 0 \\ 0 & \frac{1}{2\mu^4} \end{matrix} \right) \left( \begin{matrix} 1 \\ 2\mu \end{matrix} \right)=\frac{3}{\mu^2}.$

Penso che ora puoi facilmente mettere in relazione i determinanti.

Seguito dopo il commento

Se ti ho capito correttamente, il FIM è valido fintanto che estendi i parametri in modo significativo: la probabilità sotto nuova parametrizzazione dovrebbe essere una densità valida. Quindi, ho chiamato l'esempio di Bernoulli sfortunato.

Penso che il link che hai fornito abbia un grave difetto nella derivazione del FIM per variabili categoriche, dato che abbiamo ed . L'aspettativa dell'Assia negativa dà , ma non per la covarianza dei vettori dei punteggi. Se si trascurano i vincoli, l'uguaglianza della matrice di informazioni non regge. $E(x_i^2)=\theta_i(1-\theta_i)\neq \theta_i$ $E(x_ix_j)=\theta_i\theta_j\neq 0$ $\mathrm{diag}\{1/\theta_i\}$

— Khashaa
fonte

Grazie per aver menzionato l'approccio di trasformazione giacobino e per gli esempi semplici e chiari. Puoi (o chiunque altro) commentare il seguente problema che mi riguarda ancora: quando estendiamo l'insieme di parametri di una dimensione, come stiamo facendo qui, introduciamo un vincolo tra i parametri in modo tale che qualsiasi derivata parziale (come richiesto da il FIM) dovrebbe essere non valido perché ora, quando variamo un parametro, gli altri non sono più costanti. Quindi il FIM è valido anche per il set esteso di parametri, dato che i derivati parziali non sono validi a causa del vincolo aggiuntivo?

— Tyler Streeter,

@TylerStreeter Ho aggiornato la mia risposta per risolvere il problema.

— Khashaa,

Sembra che il risultato valga per un tipo specifico di relazione tra i parametri.

Senza rivendicare la piena generalità per i risultati seguenti, mi attengo al caso "uno o due parametri". Indica l'equazione implicita che esprime la relazione che deve contenere tra i due parametri. Quindi la verosimiglianza "corretta estesa", "a due parametri" (non ciò che l'OP calcola - arriveremo lì) $g(\theta_0,\theta_1) =0$

L^{e} = L^{*} (θ_{0}, θ_{1}) + λ g (θ_{0}, θ_{1})

$L^e=L^*(\theta_0,\theta_1) +\lambda g(\theta_0,\theta_1)$ è equivalente alla reale probabilità , poiché , ( è un moltiplicatore) e possiamo considerare i due parametri come indipendenti, mentre differenziamo.

L

$L$

g (θ_{0}, θ_{1}) = 0

$g(\theta_0,\theta_1)=0$

λ

$\lambda$

Utilizzando i pedici per indicare le derivate rispetto ai parametri (un primo pedale derivato, due pedici secondo derivato), il determinante dell'Assia della corretta probabilità logaritmica estesa sarà

\begin{matrix} (1) & D_{H} (L^{e}) = [L_{00}^{*} + λ g_{00}] [L_{11}^{*} + λ g_{11}] - [L_{01}^{*} + λ g_{01}]^{2} = D_{H} (L) \end{matrix}

$D_H(L^e) = [L^*_{00}+\lambda g_{00}][L^*_{11}+\lambda g_{11}] - [L^*_{01}+\lambda g_{01}]^2 = D_H(L) \tag{1}$

Cosa sta facendo invece l'OP?

Considera la probabilità errata "ignorando" la relazione tra i due parametri e senza tener conto del vincolo . Procede quindi con la differenziazione e ottiene $L^*(\theta_0,\theta_1)$ $g(\theta_0,\theta_1)$

\begin{matrix} (2) & D_{H} (L^{*}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} \end{matrix}

$D_H(L^*) = L^*_{00}L^*_{11} - [L^*_{01}]^2 \tag{2}$

È evidente che non è generalmente uguale a . $(2)$ $(1)$

Ma se , allora $g_{00}=g_{11}=g_{00}=0$

(1) \to D_{H} (L^{e}) = L_{00}^{*} L_{11}^{*} - [L_{01}^{*}]^{2} = D_{H} (L^{*}) = D_{H} (L)

$(1) \rightarrow D_H(L^e) = L^*_{00}L^*_{11} - [L^*_{01}]^2 = D_H(L^*) = D_H(L)$

Quindi se la relazione tra il parametro attuale e il parametro ridondante è tale che le seconde derivate parziali della funzione implicita che le collega sono tutte zero , allora l'approccio che è fondamentalmente sbagliato, finisce per essere "corretto".

Per il caso Bernoulli, abbiamo davvero

g (θ_{0}, θ_{1}) = θ_{0} + θ_{1} - 1 \Rightarrow g_{00} = g_{11} = g_{01} = 0

$g(\theta_0,\theta_1) = \theta_0 + \theta_1 -1 \Rightarrow g_{00}=g_{11}=g_{01}=0$

ADDENDUM
Per rispondere alla domanda @Khashaa e mostrare la meccanica qui, consideriamo una probabilità specificata con un parametro ridondante, ma anche sotto un vincolo che collega il parametro ridondante con quello vero. Quello che facciamo con le probabilità logaritmiche è massimizzarli, quindi qui abbiamo un caso di massimizzazione vincolata. Supponiamo un campione di dimensione ,: $n$

max L_{n}^{*} (θ_{0}, θ_{1}) = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1}, s . t . θ_{1} = 1 - θ_{0}

$\max L_n^*(\theta_0, \theta_1) = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1,\;\; s.t. \;\; \theta_1 = 1-\theta_0$

Questo problema ha un Langrangean (quello che informalmente ho chiamato "corretta probabilità estesa" sopra),

L^{e} = \ln θ_{0} \sum_{i = 1}^{n} x_{i} + (n - \sum_{i = 1}^{n} x_{i}) \ln θ_{1} + λ (θ_{1} - 1 + θ_{0})

$L^e = \ln \theta_0\sum_{i=1}^nx_i + \left(n-\sum_{i=1}^nx_i\right)\ln\theta_1 + \lambda(\theta_1 - 1+\theta_0)$

Le condizioni del primo ordine per un massimo sono

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} + λ = 0, \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} + λ_{0} = 0

$\frac {\sum_{i=1}^nx_i}{\theta_0} + \lambda = 0,\;\;\; \frac {n-\sum_{i=1}^nx_i}{\theta_1} +\lambda_0 =0$

per il quale otteniamo la relazione

\frac{\sum_{i = 1}^{n} x_{i}}{θ_{0}} = \frac{n - \sum_{i = 1}^{n} x_{i}}{θ_{1}} \Rightarrow θ_{1} \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$\frac {\sum_{i=1}^nx_i}{\theta_0} = \frac {n-\sum_{i=1}^nx_i}{\theta_1} \Rightarrow \theta_1\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

utilizzando il vincolo in base al quale il sopra sono validi, otteniamo $\theta_1 = 1-\theta_0$

(1 - θ_{0}) \sum_{i = 1}^{n} x_{i} = (n - \sum_{i = 1}^{n} x_{i}) θ_{0}

$(1-\theta_0)\sum_{i=1}^nx_i = \left(n-\sum_{i=1}^nx_i\right)\theta_0$

\Rightarrow \sum_{i = 1}^{n} x_{i} = n θ_{0} \Rightarrow {\hat{θ}}_{0} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\Rightarrow \sum_{i=1}^nx_i = n\theta_0 \Rightarrow \hat \theta_0 = \frac 1n\sum_{i=1}^nx_i$

come dovremmo.

Inoltre, poiché il vincolo è lineare in tutti i parametri, le sue seconde derivate saranno zero. Ciò si riflette nel fatto che nei primi derivati del lagrangiano, il moltiplicatore "sta da solo" e verrà eliminato quando prenderemo i secondi derivati del lagrangiano. Il che a sua volta ci condurrà a un Assia il cui determinante sarà uguale alla seconda derivata (unidimensionale) della verosimiglianza logaritmica a un parametro, dopo aver imposto anche il vincolo (che è ciò che fa l'OP). Quindi prendere il negativo del valore atteso in entrambi i casi, non modifica questa equivalenza matematica e arriviamo alla relazione "Informazioni Fisher unidimensionali = determinante delle informazioni Fisher bidimensionali". Adesso $\lambda$ dato che il vincolo è lineare in tutti i parametri, l'OP ottiene lo stesso risultato (al secondo livello di derivata) senza introdurre il vincolo con un moltiplicatore nella funzione da massimizzare, perché al secondo livello di derivata la presenza / effetto del il vincolo scompare in tal caso.

Tutto ciò ha a che fare con il calcolo, non con concetti statistici.

— Alecos Papadopoulos
fonte

Non riesco a seguire la tua logica. Potresti spiegare perché simile a Lagrangean è considerata come "corretta estensione", "verosimiglianza a due parametri"? Inoltre, l'Assia è completamente misteriosa per me. Stai calcolando la matrice di informazioni osservate?

L^{e}

$L^e$

— Khashaa,

@Khashaa È terminologia consolidata che l '"Assia" è la matrice dei secondi derivati di una funzione multivariata.

— Alecos Papadopoulos,

Sarebbe utile se qui i downvoter avessero pubblicato una risposta - perché esiste l'esempio specifico del PO - e richiede una spiegazione.

— Alecos Papadopoulos,

Scusa, se la mia domanda non era chiara. La mia domanda era su come hai collegato l'Assia alla matrice delle informazioni, dal momento che non vedevo alcuna aspettativa operarci su di essa e il risultato sembrava una matrice di informazioni osservata. Inoltre, puoi spiegare perché la responsabilità corretta? Immagino che tu stia utilizzando un metodo di principio per valutare la probabilità limitata, ma non capisco come funzioni.

L^{e}

$L^e$

— Khashaa,

@Khashaa Ho aggiunto un'esposizione usando l'esempio del PO.

— Alecos Papadopoulos,