Considera una variabile casuale Bernoulli con parametro (probabilità di successo). La funzione di verosimiglianza e le informazioni di Fisher (una matrice ) sono:θ 1 × 1
Consideriamo ora una versione "sovraparametrizzata" con due parametri: la probabilità di successo e la probabilità di fallimento . (Si noti che e questo vincolo implica che uno dei parametri è ridondante.) In questo caso la funzione di verosimiglianza e la matrice di informazioni Fisher (FIM) sono:
Si noti che i determinanti di questi due FIM sono identici. Inoltre, questa proprietà si estende al caso più generale di modelli categorici (ovvero più di due stati). Sembra inoltre estendersi ai modelli log-lineari con vari sottoinsiemi di parametri vincolati a zero; in questo caso, il parametro "ridondante" aggiuntivo corrisponde alla funzione di partizione del registro e l'equivalenza dei due determinanti FIM può essere mostrata in base al complemento Schur del FIM più grande. (In realtà, per i modelli log-linear il FIM più piccolo è solo il complemento Schur del FIM più grande.)
Qualcuno può spiegare se questa proprietà si estende a un set più ampio di modelli parametrici (ad esempio a tutte le famiglie esponenziali), consentendo l'opzione di derivare i determinanti FIM sulla base di un tale set di parametri "esteso"? Vale a dire qualsiasi dato modello statistico con parametri che giacciono su una varietà dimensionale incorporata in uno spazio -dimensionale. Ora, se estendiamo l'insieme di parametri per includere un'altra dimensione (che è totalmente vincolata in base agli altri) e calcoliamo i parametri basati su FIM , avremo sempre lo stesso determinante di quello basato sull'originale parametri (indipendenti)? Inoltre, in che modo sono collegati questi due FIM?
Il motivo per cui faccio questa domanda è che il FIM con il parametro extra appare spesso più semplice. Il mio primo pensiero è che questo non dovrebbe funzionare in generale. La FIM comporta il calcolo di derivate parziali della probabilità di log per ogni parametro. Questi derivati parziali presumono che, mentre il parametro in questione cambia, tutti gli altri parametri rimangono costanti, il che non è vero una volta coinvolto il parametro extra (vincolato). In questo caso, mi sembra che le derivate parziali non siano più valide perché non possiamo assumere che gli altri parametri siano costanti; tuttavia, devo ancora trovare prove che questo sia effettivamente un problema. (Se i derivati parziali sono problematici nei casi con parametri dipendenti, sono i derivati totalinecessario invece? Non ho ancora visto un esempio di calcolo del FIM con derivati totali, ma forse questa è la soluzione ...)
L'unico esempio che ho trovato online che calcola il FIM sulla base di un set di parametri "esteso" è il seguente: queste note contengono un esempio per la distribuzione categoriale, calcolando le derivate parziali richieste come al solito (cioè come se ogni parametro fosse indipendente , anche se è presente un vincolo tra i parametri).