Perché GLM è diverso da un LM con variabile trasformata

16

Come spiegato in questo volantino del corso (pagina 1) , un modello lineare può essere scritto nel modulo:

y = β_{1} x_{1} + \dots + β_{p} x_{p} + ε_{i},

$y = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

dove $y$ è la variabile di risposta e $x_{i}$ è l' $i^{th}$ variabile esplicativa .

Spesso con l'obiettivo di soddisfare le ipotesi di test, si può trasformare la variabile di risposta. Ad esempio applichiamo la funzione di registrazione su ciascun $y_i$ . Trasformare una variabile di risposta NON equivale a fare un GLM.

Un GLM può essere scritto nel seguente modulo (di nuovo dal volantino del corso (pagina 3) )

g (u) = β_{1} x_{1} + \dots + β_{p} x_{p} + ε_{i},

$g(u) = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

dove $u$ è solo un altro simbolo per $y$ mi pare di capire dalla pagina 2 nella dispensa del corso. $g()$ è chiamata la funzione di collegamento.

Non capisco davvero la differenza tra un GLM e un LM con una variabile trasformata dalle diapositive nel corso. Potete aiutarmi con quello?

— Remi.b
fonte

2

Potresti trovare illuminante considerare il fatto che tutte le trasformazioni di un risultato binario sono affini, il che quindi ti limiterebbe alla normale regressione dei minimi quadrati. Questo ovviamente non è ciò che la regressione logistica (un GLM standard per le risposte binarie) sta realizzando. (Prova: lascia che i valori di risultato siano codificati come

e

e che

sia una trasformazione. Scrivendo

e

troviamo

concorda su

y_{0}

$y_0$

y_{1}

$y_1$

ϕ

$\phi$

z_{0} = ϕ (y_{0})

$z_0=\phi(y_0)$

z_{1} = ϕ (y_{1})

$z_1=\phi(y_1)$

ϕ

$\phi$

con

(che è una trasformazione affine di

) dove

e

)

{y_{0}, y_{1}}

$\{y_0,y_1\}$

y \to λ y + μ

$y\to \lambda y + \mu$

y

$y$

λ = (z_{1} - z_{0}) / (y_{1} - y_{0})

$\lambda=(z_1-z_0)/(y_1-y_0)$

μ = z_{0} - λ y_{0}

$\mu=z_0-\lambda y_0$

— whuber

15

Trasformare la risposta prima di fare una regressione lineare sta facendo questo:

E (g (Y)) \sim β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

$E(g(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

dove è una data funzione e assumiamo che abbia una data distribuzione (di solito normale). $g$ $g(Y)$

Un modello lineare generalizzato sta facendo questo:

g (E (Y)) \sim β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

$g(E(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

dove è lo stesso di prima e assumiamo che abbia una data distribuzione (di solito non normale). $g$ $Y$

— Hong Ooi
fonte

qual è E nella tua equazione?

— user1406647

1

è la notazione standard per il valore di aspettazione di

.

E (X)

$E(X)$

X

$X$

— Marcus PS,

Ho trovato utile anche questo: christoph-scherber.de/content/PDF%20Files/…

— Aditya

22

Non sono sicuro che ciò costituirà una risposta completa per te, ma potrebbe aiutarti a liberare il logjam concettuale.

Sembra che ci siano due idee sbagliate nel tuo account:

Tenere presente che la regressione dei minimi quadrati ordinari (OLS - "lineare") è un caso speciale del modello lineare generalizzato. Pertanto, quando si dice "[t] la trasformazione di una variabile di risposta NON equivale a fare un GLM", ciò non è corretto. Il montaggio di un modello lineare o la trasformazione della variabile di risposta e quindi il montaggio di un modello lineare costituiscono entrambi "fare un GLM".
Nella formulazione standard dei GLM, ciò che chiami " " (che è spesso rappresentato da , ma questa è solo una questione di preferenza) è la media della distribuzione della risposta condizionale in una posizione specifica nello spazio della covariata (cioè ). Pertanto, quando si dice "dove è solo un altro simbolo per ", anche questo è errato. Nella formulazione OLS, è una variabile casuale e / o è un valore realizzato di per l'unità di osservazione / studio . Cioè, (più genericamente) rappresenta i dati , non un parametro . $u$ $\mu$ $X$ $u$ $y$ $Y$ $y_i$ $Y$ $i$ $y$

(Non intendo essere arrogante di errori, ho solo il sospetto che questi possano causare confusione.)
C'è anche un altro aspetto del modello lineare generalizzato che non ti vedo menzionare. Cioè specifichiamo una distribuzione di risposta. Nel caso della regressione OLS, la distribuzione della risposta è gaussiana (normale) e la funzione di collegamento è la funzione di identità. Nel caso, per esempio, della regressione logistica (che potrebbe essere ciò a cui la gente pensa per la prima volta quando pensa ai GLM), la distribuzione della risposta è il Bernoulli (/ binomiale) e la funzione di collegamento è il logit. Quando si utilizzano le trasformazioni per garantire il rispetto delle ipotesi per OLS, spesso si cerca di rendere accettabilmente normale la distribuzione della risposta condizionale. Tuttavia, nessuna trasformazione del genere renderà la distribuzione di Bernoulli accettabilmente accettabile.

— gung - Ripristina Monica
fonte