In un GLM, la probabilità di log del modello saturo è sempre zero?

Come parte dell'output di un modello lineare generalizzato, la deviazione nulla e residua vengono utilizzate per valutare il modello. Vedo spesso le formule per queste quantità espresse in termini di probabilità logaritmica del modello saturo, ad esempio: /stats//a/113022/22199 , Regressione logistica: come ottenere un modello saturo

Il modello saturo, per quanto ho capito, è il modello che si adatta perfettamente alla risposta osservata. Pertanto, nella maggior parte dei luoghi che ho visto, la probabilità di log del modello saturo viene sempre indicata come zero.

Tuttavia, il modo in cui viene data la formula della devianza suggerisce che a volte questa quantità è diversa da zero. (Come se fosse sempre zero, perché preoccuparsi di includerlo?)

In quali casi può essere diverso da zero? Se non è mai diverso da zero, perché includerlo nella formula per devianza?

— alex
fonte

Risposte:

Se intendevi veramente verosimiglianza , allora la risposta è: non è sempre zero.

Ad esempio, considerare i dati di Poisson: $y_i \sim \text{Poisson}(\mu_i), i = 1, \ldots, n$ . La probabilità logaritmica per $Y = (y_1, \ldots, y_n)$ è data da:

\begin{matrix} (*) & ℓ (μ; Y) = - \sum_{i = 1}^{n} μ_{i} + \sum_{i = 1}^{n} y_{i} \log μ_{i} - \sum_{i = 1}^{n} \log (y_{i}!) . \end{matrix}

$\ell(\mu; Y) = -\sum_{i = 1}^n \mu_i + \sum_{i = 1}^n y_i \log \mu_i - \sum_{i = 1}^n \log(y_i!). \tag{$*$}$

Differenzia $\ell(\mu; Y)$ in $(*)$ rispetto a $\mu_i$ e impostalo su $0$ (è così che otteniamo il MLE per il modello saturo):

- 1 + \frac{y_{io}}{μ_{io}} = 0.

$-1 + \frac{y_i}{\mu_i} = 0.$ risolvere questo per

μ_{i}

$\mu_i$ ottenga

, sostituendo

resta in

per

dà che verosimiglianza del modello saturo è:

{\hat{μ}}_{i} = y_{i}

$\hat{\mu}_i = y_i$

{\hat{μ}}_{i}

$\hat{\mu}_i$

(*)

$(*)$

μ_{i}

$\mu_i$

meno che

ℓ (\hat{μ}; Y) = Σ_{io = 1}^{n} y_{io} (\log y_{io} - 1) - Σ_{io = 1}^{n} \log (y_{io}!) \neq 0

$\ell(\hat{\mu}; Y) = \sum_{i = 1}^n y_i(\log y_i - 1) -\sum_{i = 1}^n \log(y_i!) \neq 0$

y_{i}

$y_i$ prendo valori molto speciali.

Nella pagina di aiuto della Rfunzione glm, sotto l'elemento deviance, il documento spiega questo problema come segue:

deviance fino a una costante, meno il doppio della probabilità logaritmica massima. Ove sensato, la costante viene scelta in modo tale che un modello saturo abbia devianza zero.

Si noti che ha menzionato che la devianza , invece della verosimiglianza del modello saturo, è stata scelta come zero.

Probabilmente, quello che volevi davvero confermare è che "la devianza del modello saturo viene sempre data come zero", il che è vero, dal momento della devianza, per definizione (vedi Sezione 4.5.1 di Analisi dei dati categorici (2a edizione) di Alan Agresti) è la statistica del rapporto di probabilità di un GLM specificato rispetto al modello saturo. Quanto constantsopra menzionato nella documentazione R è in realtà il doppio della probabilità logaritmica massima del modello saturo.

Per quanto riguarda la tua affermazione "Tuttavia, il modo in cui viene data la formula della devianza suggerisce che a volte questa quantità è diversa da zero", è probabilmente dovuto all'abuso dell'uso del termine devianza . Ad esempio, in R, la statistica del rapporto di verosimiglianza del confronto tra due modelli arbitrari (nidificati) e viene anche definita devianza, che sarebbe più precisamente definita come la differenza tra la devianza di e la devianza di , se seguissimo da vicino la definizione data nel libro di Agresti. $M_1$ $M_2$ $M_1$ $M_2$

Conclusione

La probabilità logaritmica del modello saturo è generalmente diversa da zero.
La deviazione (nella sua definizione originale) del modello saturo è zero.
L' output di devianza dai software (come R) è generalmente diverso da zero in quanto in realtà significa qualcos'altro (la differenza tra deviazioni).

Quelli che seguono sono la derivazione del caso familiare esponenziale generale e un altro esempio concreto. Supponiamo che i dati provengano da una famiglia esponenziale (vedi Statistica applicata moderna con S , capitolo ): $7$

\begin{matrix} (1) & f (y_{io}; θ_{io}, φ) = \exp [{UN}_{io} (y_{io} θ_{io} - γ (θ_{io})) / φ + τ (y_{io}, φ / {UN}_{io})] . \end{matrix}

$f(y_i; \theta_i, \varphi) = \exp[A_i(y_i\theta_i - \gamma(\theta_i))/\varphi + \tau(y_i, \varphi/A_i)]. \tag{1}$ dove

A_{i}

$A_i$ sono noti pesi precedenti e

sono parametri di dispersione / scala (per molti casi come binomiale e Poisson, questo parametro è noto, mentre per altri casi come normale e Gamma, questo parametro è sconosciuto). Quindi la probabilità logaritmica è data da:

φ

$\varphi$

Come nell'esempio di Poisson, i parametri del modello saturo possono essere stimati risolvendo la seguentefunzione dipunteggio:

ℓ (θ, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} θ_{i} - γ (θ_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) .

$\ell(\theta, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \theta_i - \gamma(\theta_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i).$

0 = U (θ_{i}) = \frac{\partial ℓ (θ, φ; Y)}{\partial θ_{i}} = \frac{A_{i} (y_{i} - γ^{'} (θ_{i}))}{φ}

$0 = U(\theta_i) = \frac{\partial \ell(\theta, \varphi; Y)}{\partial \theta_i} = \frac{A_i(y_i - \gamma'(\theta_i))}{\varphi}$

$\hat{\theta}_i$

\begin{matrix} (* *) & ℓ (\hat{θ}, φ; Y) = \sum_{i = 1}^{n} A_{i} (y_{i} {\hat{θ}}_{i} - γ ({\hat{θ}}_{i})) / φ + \sum_{i = 1}^{n} τ (y_{i}, φ / A_{i}) . \end{matrix}

$\ell(\hat{\theta}, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \hat{\theta}_i - \gamma(\hat{\theta}_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i). \tag{$**$}$

$(**)$ $\Gamma(\alpha, \beta)$

f (y; α, β) = \frac{β^{α}}{Γ (α)} e^{- β y} y^{α - 1}, y > 0, α > 0, β > 0,

$f(y; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)}e^{-\beta y}y^{\alpha - 1}, \quad y > 0, \alpha > 0, \beta > 0,$

f

$f$

(1)

$(1)$

φ = \frac{1}{α}, θ = - \frac{β}{α},

$\varphi = \frac{1}{\alpha},\, \theta = -\frac{\beta}{\alpha},$

f

$f$

f (y; θ, φ) = \exp [\frac{θ y - (- \log (- θ))}{φ} + τ (y, φ)],

$f(y; \theta, \varphi) = \exp\left[\frac{\theta y - (-\log(-\theta))}{\varphi}+ \tau(y, \varphi)\right],$

τ (y, φ) = - \frac{\log φ}{φ} + (\frac{1}{φ} - 1) \log y - \log Γ (φ^{- 1}) .

$\tau(y, \varphi) = -\frac{\log \varphi}{\varphi} + \left(\frac{1}{\varphi} - 1\right)\log y - \log\Gamma(\varphi^{-1}).$

{\hat{θ}}_{i} = - \frac{1}{y_{i}}

$\hat{\theta}_i = -\frac{1}{y_i}$

\sum_{i = 1}^{n} \frac{1}{φ} [{\hat{θ}}_{i} y_{i} - (- \log (- {\hat{θ}}_{i}))] = \sum_{i = 1}^{n} \frac{1}{φ} [- 1 - \log (y_{i})] \neq 0,

$\sum_{i = 1}^n \frac{1}{\varphi}[\hat{\theta}_iy_i - (-\log(-\hat{\theta}_i))] = \sum_{i = 1}^n \frac{1}{\varphi}[-1 - \log(y_i)] \neq 0,$ unless

y_{i}

$y_i$ take very special values.

— Zhanxiong
fonte

Il loglikelihood è zero se e solo se il modello può assegnare il 100% di probabilità a ciascuno dei possibili risultati?

— Alex,

Non capisco bene cosa volevi dire. Ma dalla mia derivazione potresti concludere che lo è

0

$0$ se e solo se il

τ

$\tau$ è identico

0

$0$ e non esiste alcun parametro di dispersione.

— Zhanxiong,

La tua derivazione è molto buona, ma la prova formale è un po 'sopra la mia testa in questo momento. Grazie per il tuo esempio con il modello Poisson. Quello che ho preso da questo esempio è che il modello di Poisson non può assegnare il 100% di probabilità al risultato osservato dato un valore per la media di Poisson, quindi la probabilità non può essere zero.

— Alex

L'istruzione "modello assegnato

100 %

$100\%$ probabilità per il risultato osservato "suona strano per me. Vuoi dire che date le osservazioni

y_{1}, \dots, y_{n}

$y_1, \ldots, y_n$ , e se

Y

$Y$ è una variabile casuale di Poisson,

P (Y = y_{1}) + P (Y = y_{2}) + \dots + P (Y = y_{n}) < 1

$P(Y= y_1) + P(Y = y_2) + \cdots + P(Y = y_n) < 1$ ?

— Zhanxiong,

Quello che volevo dire è che se

Y

$Y$ era una variabile casuale di Poisson, allora

P (Y = y_{i}) < 1

$P(Y = y_i) < 1$ per ogni

i

$i$ o Poisson significa, quindi è impossibile trovare qualsiasi parametro del modello che dia una probabilità log pari a zero per l'osservato. Forse sto completamente fraintendendo il concetto di un modello saturo.

— Alex

La risposta di Zhanxiong è già ottima (+1), ma ecco una rapida dimostrazione che la probabilità logaritmica del modello saturo è $0$ per una regressione logistica. Ho pensato che avrei pubblicato perché non avevo visto questo TeX su questo sito e perché li avevo appena scritti per una lezione.

La probabilità è

\begin{matrix} (1) & L (y; X, β) = Π_{io = 1}^{n} f (y_{io}; X_{io}, β) = Π_{io = 1}^{n} π_{io}^{y_{io}} (1 - π_{io})^{1 - y_{io}} = Π_{io = 1}^{n} {(\frac{π_{io}}{1 - π_{io}})}^{y_{io}} (1 - π_{io}) \end{matrix}

$L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) = \prod_{i=1}^n f(y_i ; \mathbf{x}_i, \boldsymbol{\beta}) = \prod_{i=1}^n \pi_i^{y_i}(1-\pi_i)^{1-y_i} = \prod_{i=1}^n\left( \frac{\pi_i}{1-\pi_i}\right)^{y_i} (1 - \pi_i) \tag{1}$ dove

π_{i} = invlogit (x_{i}^{⊺} β)

$\pi_i = \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )$ .

La probabilità logaritmica è

\begin{aligned} \log L (y; X, β) & = Σ_{io = 1}^{n} y_{io} \log (\frac{π_{io}}{1 - π_{io}}) + \log (1 - π_{io}) \\ = Σ_{io = 1}^{n} y_{io} logit (π_{io}) + \log (1 - π_{io}) \\ = Σ_{io = 1}^{n} y_{io} X_{io}^{⊺} β + \log (1 - invlogit (X_{io}^{⊺} β)) \\ = Σ_{io = 1}^{n} y_{io} X_{io}^{⊺} β + \log (invlogit (- X_{io}^{⊺} β)) \\ = Σ_{io = 1}^{n} y_{io} X_{io}^{⊺} β - \log (1 + \exp [X_{io}^{⊺} β])) \end{aligned}

$\begin{align*} \log L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) &= \sum_{i=1}^n y_i \log \left( \frac{\pi_i}{1-\pi_i}\right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \text{logit} \left( \pi_i \right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( 1 - \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( \text{invlogit}( - \mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} - \log( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] )) \end{align*}$

Se prendi i derivati rispetto a tutti i coefficienti che ottieni

\begin{matrix} (2) & \nabla ℓ (β) = Σ_{io = 1}^{n} y_{io} X_{io} - \frac{\exp [X_{io}^{⊺} β]}{(1 + \exp [X_{io}^{⊺} β])} X_{io} . \end{matrix}

$\nabla \ell(\boldsymbol{\beta}) = \sum_{i=1}^n y_i \mathbf{x}_i - \frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }\mathbf{x}_i \tag{2}.$

Impostando questa espressione uguale a $\mathbf{0}$ e risolvendo per $\boldsymbol{\beta}$ ti darà la tua risposta. Di solito questo non può essere fatto analiticamente, il che spiega la popolarità / necessità dell'uso di algoritmi iterativi per adattarsi a questo modello, ma nel caso di un modello saturo, è possibile.

Per trovare il modello saturo, diamo ad ogni riga il proprio coefficiente. Così $\boldsymbol{\beta} \in \mathbb{R}^n$ e la matrice di progettazione moltiplicata per il vettore del coefficiente

X β = [\begin{matrix} 1 & 0 & \dots & 0 \\ 0 & 1 & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & 1 \end{matrix}] [\begin{matrix} β_{1} \\ β_{2} \\ ⋮ \\ β_{n} \end{matrix}] .

$\mathbf{X}\boldsymbol{\beta} = \begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1\\ \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix}.$

Si noti che in particolare, $\mathbf{x}_i^\intercal \boldsymbol{\beta} = \beta_i$ .

Quindi prendendo il $j$ la riga dell'equazione (2) ci dà

Σ_{io = 1}^{n} y_{io} X_{io, j} = Σ_{io = 1}^{n} \frac{\exp [X_{io}^{⊺} β]}{(1 + \exp [X_{io}^{⊺} β])} X_{io, j}

$\sum_{i=1}^n y_i x_{i,j} = \sum_{i=1}^n\frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }x_{i,j}$

che può essere vero solo se per ogni osservazione $i$ :

y_{io} = invlogit (β_{io})

$y_i = \text{invlogit}(\beta_i )$ o in altre parole ciascuno

β_{i}

$\beta_i$ è più o meno infinito (se

y_{i}

$y_i$ è

1

$1$ o

0

$0$ , rispettivamente). Possiamo ricollegare questi parametri in (1) per ottenere la massima probabilità:

Π_{io = 1}^{n} {\hat{π}}_{io}^{y_{io}} (1 - {\hat{π}}_{io})^{1 - y_{io}} = 1^{n} = 1.

$\prod_{i=1}^n \hat{\pi}_i^{y_i}(1-\hat{\pi}_i)^{1-y_i} = 1^n = 1.$ Chiaramente il registro di questo è

0

$0$ .

— Taylor
fonte

Ma questo presuppone dati non raggruppati . Se hai gruppi con

n_{i} > 1

$n_i>1$ (e gli stessi valori di covariata) (in R, ad esempio utilizzando il modulo glm( cbind(k, n-k) ~ x + ... ), il modello saturo non ha zero loglikelihood.

— kjetil b halvorsen,

@kjetilbhalvorsen oh buon punto. Non ho mai provato a farmi controllare

— Taylor

@Alex: sì, esatto. almeno per le distribuzioni discrete. per le distribuzioni continue, si tratterebbe di lasciare che la densità sia uguale a 1, il che non è necessariamente significativo e quindi non è una cosa sensata da provare e da raggiungere. leggermente più in generale, la probabilità logaritmica del modello saturo offre un limite superiore per le prestazioni di qualsiasi modello che segue il presupposto della famiglia di distribuzione sottostante. In altre parole, la probabilità logaritmica di un modello binomiale saturo è "buona quanto ottiene" per il dato set di dati (X, Y) supponendo che Y sia binomiale. Ha senso confrontare il tuo modello glm con questo limite superiore al 100% (o simile), dal momento che il tuo modello è intrinsecamente vincolato dal tuo presupposto sulla distribuzione della risposta.

— bettmensch88
fonte