Presupposti sulla distribuzione residua della regressione

12

Perché è necessario porre l'assunto distributivo sugli errori, ad es

$y_i = X\beta + \epsilon_{i}$ , con . $\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$

Perché non scrivere

$y_i = X\beta + \epsilon_{i}$ , con , $y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$

dove in entrambi i casi . Ho visto sottolineato che le ipotesi distributive sono poste sugli errori, non sui dati, ma senza spiegazioni. $\epsilon_i = y_i - \hat{y}$

Non capisco davvero la differenza tra queste due formulazioni. In alcuni punti in cui vedo le ipotesi distributive posizionate sui dati (Bayesian acceso. Sembra principalmente), ma la maggior parte delle volte le ipotesi sono poste sugli errori.

Quando si modella, perché / si dovrebbe scegliere di iniziare con ipotesi sull'uno o sull'altro?

— bill_e
fonte

Innanzitutto, non è "necessario", dipende da cosa intendi fare. Ci sono alcune buone risposte, ma penso che il punto cruciale sia l'assunto sottostante della causalità, nel senso che le X "causano" la y, e se la guardi in quel modo vedi che la distribuzione di y è "causata" da la distribuzione di rhs, vale a dire le X e gli errori (se presenti). Puoi fare molti econometrici con ipotesi distributive molto limitate e, in particolare, senza normalità. Grazie Dio.

— Patrick,

3

non è

, e la media della popolazione

's non è la stessa della stima campione di essa. Vale a dire che la seconda cosa che non è in realtà la stessa cosa come il primo, ma se non viene sostituito con la sua aspettativa (

), i due sarebbero equivalenti.

\hat{y}

$\hat y$

X β

$X\beta$

y

$y$

E (\hat{y}) = E (y) = X β

$E(\hat y) = E(y) = X\beta$

— Glen_b

Che cosa è

? E se

varia con

, perché non fa

varia? Per favore, decidi quale notazione vuoi usare, il vettore o la matrice. Ora, se si assume che

vostra notazione è più bizzare:

\hat{y}

$\hat{y}$

y_{i}

$y_i$

i

$i$

X β

$X\beta$

\hat{y} = X \hat{β}

$\hat{y}=X\hat\beta$

y_{i} \sim N (x_{i}^{'} (\sum x_{j} x_{j}^{'})^{- 1} \sum x_{j} y_{j}, σ^{2})

$y_i\sim N(x_i'(\sum x_jx_j')^{-1}\sum x_jy_j,\sigma^2)$ , cioè tu definisci la distribuzione di

in termini di se stesso e di tutte le altre osservazioni

!

y_{i}

$y_i$

y_{j}

$y_j$

— mpiktas,

1

Ho sottovalutato la domanda perché penso che la notazione sia confusa e questo ha già portato a diverse risposte sottilmente contrastanti.

— mpiktas,

9

In un'impostazione di regressione lineare è comune fare analisi e derivare i risultati in base a , ovvero in base ai "dati". Quindi, ciò di cui hai bisogno è che sia normale, cioè che tu abbia bisogno di per essere normale. Come dimostra l'esempio di Peter Flom, si può avere la normalità di senza avere la normalità di , e quindi, poiché ciò di cui si ha bisogno è la normalità di , questa è l'assunzione ragionevole. $X$ $y\mid X$ $\epsilon$ $\epsilon$ $y$ $\epsilon$

— Ekvall
fonte

9

Vorrei scrivere la seconda definizione come

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

o (come suggerisce Karl Oskar +1)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

cioè l'assunto di modellizzazione è che la variabile di risposta è normalmente distribuita attorno alla linea di regressione (che è una stima della media condizionale), con varianza costante . Questa non è la stessa cosa suggerendo che siano distribuiti normalmente, perché la media della distribuzione dipende . $\sigma^2$ $y_i$ $X_i$

Penso di aver visto formulazioni simili a questa nella letteratura sull'apprendimento automatico; per quanto posso vedere che è equivalente alla prima definizione, tutto ciò che ho fatto è di rexpress seconda formulazione un po 'diverso per eliminare l' 's e la s. $\epsilon_i$ $\hat{y}$

— Dikran Marsupial
fonte

3

La differenza è più semplice da illustrare con un esempio. Eccone uno semplice:

Supponiamo che Y sia bimodale, con la modalità spiegata da una variabile indipendente. Ad esempio, supponiamo che Y sia altezza e che il tuo campione (per qualsiasi motivo) sia composto da fantini e giocatori di basket. ad esR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

la prima densità è molto non normale. Ma i residui del modello sono estremamente vicini alla normalità.

Sul motivo per cui le restrizioni sono poste in questo modo - Lascerò che qualcun altro risponda a quello.

— Peter Flom - Ripristina Monica
fonte

1

Grazie! Capisco cosa intendi con una distribuzione bimodale. Domanda di follow-up: cosa succede se le variazioni dei dati sono diverse, (eteroscedasticità?) Dire ... tutti i fantini sono piccoli, ma le altezze dei giocatori di basket variano molto. Forse per loro, alto <- rnorm (100,78,10). In che modo una situazione come questa cambia le tue assunzioni su

o

?

y_{i}

$y_i$

ϵ_{i}

$\epsilon_i$

— bill_e,

In tal caso, l'eteroscedasticità sarebbe un problema e dovresti usare un'altra forma di regressione, o forse una trasformazione, oppure potresti aggiungere un'altra variabile (in questo esempio sciocco, la posizione giocata nel basket potrebbe farlo).

— Peter Flom - Ripristina Monica

Non sono sicuro che la formulazione abbia lo scopo di suggerire che gli y sono normalmente distribuiti, solo che hanno una distribuzione condizionale normale.

— Dikran Marsupial,

2

y_{i} \sim N ({\hat{y}}_{i}, σ_{ε}^{2})

$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$

\hat{y}

$\hat y$

x_{i}

$\bf x_i$

$\hat y_i$ $\bf x_i\boldsymbol{\hat\beta}$

y_{i} \sim N (x_{i} \hat{β}, σ_{ε}^{2})

$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$

\begin{aligned} E [x_{i} \hat{β}] & = E [x_{i} \hat{β} + E [N (0, σ_{ε}^{2})]] \\ = E [x_{i} \hat{β} + 0] \\ = E [x_{i} \hat{β}] \end{aligned}

$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$

Quindi la domanda diventa, c'è un motivo per preferire presentare l'idea usando la prima formulazione?

Penso che la risposta sia sì per due motivi:

$Y$ $\bf X$ $Y|\bf X$ $\varepsilon$
$Y|\bf X$ $Y|\bf X$

Credo che queste confusioni siano più probabili utilizzando la seconda formulazione rispetto alla prima.

— gung - Ripristina Monica
fonte

1

\hat{y}

$\hat y$

X β

$X\beta$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

_{i}

$_i$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

Y

$Y$

@Glen_b se fosse l'esempio significa che sarebbe anziché . Inizialmente ho trovato confusa anche la notazione, ma il fatto che deriva dalle affermazioni che e . Perché entrambe queste cose siano vere, può essere solo .

\bar{y}

$\bar{y}$

\hat{y}

$\hat{y}$

\hat{y} = X β

$\hat{y} = X\beta$

y_{i} = X β + ϵ_{i}

$y_i = X\beta + \epsilon_i$

ϵ_{i} = y_{i} - \hat{y}

$\epsilon_i = y_i - \hat{y}$

\hat{y}

$\hat{y}$

X β

$X\beta$

— Dikran Marsupial,