Cos'è l'identificabilità del modello?

So che con un modello non identificabile si può dire che i dati sono generati da più assegnazioni diverse ai parametri del modello. So che a volte è possibile vincolare i parametri in modo che tutti siano identificabili, come nell'esempio in Cassella & Berger 2nd ed, sezione 11.2.

Dato un modello particolare, come posso valutare se è identificabile o no?

identifiability

— Jack Tanner
fonte

Per identificabilità stiamo parlando di un parametro (che potrebbe essere un vettore), che spazia su uno spazio parametrico , e una famiglia di distribuzioni (per semplicità, pensa PDF) indicizzato da che abbiamo qualcosa di tipicamente scrivere come $\theta$ $\Theta$ $\theta$ . Ad esempio, potrebbe essere e potrebbe essere $\{ f_{\theta}|\, \theta \in \Theta\}$ $\theta$ $\theta = \beta$ $f$

che significherebbe che. Affinché il modello sia identificabile, la trasformazione che mappa daadovrebbe essereuno a uno. Dato un modello nel tuo giro, il modo più semplice per verificarlo è iniziare con l'equazione , (questa uguaglianza dovrebbe valere per (quasi) tutte lenel

f_{θ} (x) = \frac{1}{β} e^{- x / β}, x > 0, β > 0,

$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$

Θ = (0, \infty)

$\Theta = (0,\infty)$

θ

$\theta$

f_{θ}

$f_{\theta}$

f_{θ_{1}} = f_{θ_{2}}

$f_{\theta_{1}} = f_{\theta_{2}}$

x

$x$ supporto ) e provare a usare l'algebra (o qualche altro argomento) per dimostrare che proprio una tale equazione implica che, in realtà,

θ_{1} = θ_{2}

$\theta_{1} = \theta_{2}$

Se hai successo con questo piano, allora il tuo modello è identificabile; vai avanti con i tuoi affari. In caso contrario, il tuo modello non è identificabile o devi trovare un altro argomento. L'intuizione è la stessa, a prescindere: in un modello identificabile è impossibile per due parametri distinti (che potrebbero essere vettori) dare origine alla stessa funzione di probabilità.

Ciò ha senso, perché se, per i dati fissi, due parametri univoci generassero la stessa probabilità, sarebbe impossibile distinguere tra i due parametri candidati in base ai soli dati. In questo caso sarebbe impossibile identificare il parametro vero.

Per l'esempio sopra, l'equazione è $f_{\theta_{1}} = f_{\theta_{2}}$ per (quasi) tutti. Se prendiamo tronchi di entrambe le parti otteniamo

\frac{1}{β_{1}} e^{- x / β_{1}} = \frac{1}{β_{2}} e^{- x / β_{2}},

$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$

x > 0

$x > 0$

per

, che implica la funzione lineare

- \ln β_{1} - \frac{x}{β_{1}} = - \ln β_{2} - \frac{x}{β_{2}}

$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$

x > 0

$x > 0$

è (quasi) identicamente zero. L'unica linea che fa una cosa del genere è quella che ha l'inclinazione 0 e l'intercetta y zero. Spero che tu possa vedere il resto.

- (\frac{1}{β_{1}} - \frac{1}{β_{2}}) x - (\ln β_{1} - \ln β_{2})

$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$

A proposito, se riesci a capire guardando il tuo modello che non è identificabile (a volte puoi), allora è comune introdurre ulteriori vincoli su di esso per renderlo identificabile (come hai detto). Questo è simile al riconoscere che la funzione non è uno a uno per in , ma è uno a uno se limitiamo a mentire dentro . Nei modelli più complicati le equazioni sono più difficili ma l'idea è la stessa. $f(y) = y^{2}$ $y$ $[-1,1]$ $y$ $[0,1]$

(+1) Spiegazione piacevole, completa e concreta. Le analogie che tracciate rendono chiari i concetti.

— cardinale il

Hai sicuramente risposto alla domanda che ho posto, ma sono troppo alle prime armi per capire davvero la tua risposta. Se conosci una spiegazione migliore per un principiante, per favore fammi sapere.

— Jack Tanner il

@ cardinale, grazie. A Jack, va bene, capisco. Che ne dici di questo: se c'è qualcosa sopra che non è ancora chiaro, e se me lo fai notare, allora posso provare a perfezionarlo un po 'di più. Oppure, se preferisci, potresti scrivere un'altra domanda che richiede una spiegazione da "profano" o esempi di queste idee. Penso che sia giusto dire che l'identificabilità è un argomento che di solito emerge dopo il tipico periodo introduttivo di studio, quindi se desideri fornire un contesto del motivo per cui stai incontrando questo ora, potrebbe aiutare i potenziali rispondenti.

y_{i j} = μ + α_{1} + α_{2} + \dots + α_{k} + ε_{i}

$y_{ij}=\mu+\alpha_1+\alpha_2+\ldots+\alpha_k+\varepsilon_i$

$\Sigma$ $\Sigma$ $\Sigma$

$\Sigma$

Se stai riscontrando un problema di massima probabilità, allora sai che la matrice di covarianza asintotica delle tue stime è uguale all'inverso delle informazioni sul pescatore valutate al MLE. Quindi, controllare la matrice di informazioni sul pescatore per singolarità (approssimativa) è anche un modo ragionevole per valutare l'identificabilità. Ciò funziona anche laddove le informazioni teoriche sul pescatore sono difficili da calcolare perché è spesso possibile approssimare in modo molto accurato numericamente uno stimatore coerente della matrice di informazioni sul pescatore, ad esempio stimando il prodotto esterno atteso della funzione di punteggio dal prodotto esterno medio osservato .

$\Sigma$

— macro
fonte

(+1) Ben fatto. Non avevo nemmeno pensato di affrontare questa domanda da quella direzione.

Uno dei motivi per cui l'idea di calcolare una matrice di covarianza basata su dati simulati è particolarmente chiara, è che si dovrebbero simulare comunque i dati per eseguire un controllo Cook-Gelman-Rubin .

— Jack Tanner il