Perché l'errore standard dell'intercettazione aumenta con l'aumentare di da 0?

L'errore standard del termine di intercettazione ( ) in è dato da dove è la media di . $\hat{\beta}_0$ $y=\beta_1x+\beta_0+\varepsilon$

S E ({\hat{β}}_{0})^{2} = σ^{2} [\frac{1}{n} + \frac{{\bar{x}}^{2}}{\sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}]

$SE(\hat{\beta}_0)^2 = \sigma^2\left[\frac{1}{n}+\frac{\bar{x}^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\right]$

\bar{x}

$\bar{x}$

x_{i}

$x_i$

Da quanto ho capito, SE quantifica la tua incertezza, ad esempio, nel 95% dei campioni, l'intervallo $[\hat{\beta}_0-2SE,\hat{\beta}_0+2SE]$ conterrà il vero $\beta_0$ . Non riesco a capire come la SE, una misura di incertezza, aumenti con $\bar{x}$ . Se sposto semplicemente i miei dati, in modo che $\bar{x}=0$ , la mia incertezza diminuisce? Sembra irragionevole.

Un'interpretazione analoga è: nella versione non centrata dei miei dati, $\hat{\beta}_0$ corrisponde alla mia previsione su $x=0$ , mentre nei dati centrati, $\hat{\beta}_0$ corrisponde alla mia previsione su $x=\bar{x}$ . Quindi questo significa che la mia incertezza sulla mia previsione su $x=0$ è maggiore della mia incertezza sulla mia previsione su $x=\bar{x}$ ? Anche questo sembra irragionevole, l'errore $\epsilon$ ha la stessa varianza per tutti i valori di $x$ , quindi la mia incertezza nei miei valori previsti dovrebbe essere la stessa per tutti $x$ .

Sono sicuro che ci sono delle lacune nella mia comprensione. Qualcuno potrebbe aiutarmi a capire cosa sta succedendo?

regression interpretation standard-error

— elexhobby
fonte

Hai mai regredito qualcosa contro un appuntamento? Molti sistemi informatici iniziano le loro date in un lontano passato, spesso oltre 100 o oltre 2000 anni fa. L'intercetta stima il valore dei tuoi dati estrapolati all'indietro fino a quell'ora di inizio. Quanto saresti sicuro, per esempio, del prodotto interno lordo dell'Iraq nell'anno 0 CE basato sulla regressione di una serie di dati del 21 ° secolo?

— whuber

Sono d'accordo, ha senso se ci pensi in questo modo. Questa e la risposta di Gung chiariscono le cose.

— elexhobby

Questa risposta fornisce una spiegazione intuitiva, con diagrammi) di come si presenta, lanciando la linea adattata in termini di adattamento alla media (la linea adattata passa attraverso ) e mostra perché la posizione di dove può andare la linea si allarga quando ci si allontana da (che è causato dall'incertezza nella pendenza).

\bar{x}

$\bar x$

(\bar{x}, \bar{y})

$(\bar x,\bar y)$

\bar{x}

$\bar x$

— Glen_b

Poiché la linea di regressione adattata dai minimi quadrati ordinari passerà necessariamente attraverso la media dei tuoi dati (cioè, ) - almeno fino a quando non sopprimerai l'intercettazione - incertezza sul valore reale della pendenza non ha alcun effetto sulla posizione verticale della linea alla media di (ovvero, a ). Ciò si traduce in una minore incertezza verticale in rispetto a quanto più ci si allontana da . Se l'intercettazione, dove è , ciò ridurrà al minimo l'incertezza sul valore reale di $(\bar x, \bar y)$ $x$ $\hat y_{\bar x}$ $\bar x$ $\bar x$ $x=0$ $\bar x$ $\beta_0$ . In termini matematici, questo si traduce nel valore più piccolo possibile dell'errore standard per . $\hat\beta_0$

Ecco un rapido esempio in R:

set.seed(1)                           # this makes the example exactly reproducible
x0      = rnorm(20, mean=0, sd=1)     # the mean of x varies from 0 to 10
x5      = rnorm(20, mean=5, sd=1)
x10     = rnorm(20, mean=10, sd=1)
y0      = 5 + 1*x0  + rnorm(20)       # all data come from the same  
y5      = 5 + 1*x5  + rnorm(20)       #  data generating process
y10     = 5 + 1*x10 + rnorm(20)
model0  = lm(y0~x0)                   # all models are fit the same way
model5  = lm(y5~x5)
model10 = lm(y10~x10)

inserisci qui la descrizione dell'immagine

Questa cifra è un po 'occupata, ma puoi vedere i dati da diversi studi in cui la distribuzione di era più vicina o più lontana da . Le pendenze differiscono leggermente da studio a studio, ma sono in gran parte simili. (Notate che passano tutti attraverso la X cerchiata che ho usato per contrassegnare .) Tuttavia, l'incertezza sul vero valore di quelle pendenze provoca l'incertezza su per espandersi più si ottiene da , il che significa che è molto ampio per i dati che sono stati campionati in prossimità di e molto stretto per lo studio in cui i dati sono stati campionati in prossimità di . $x$ $0$ $(\bar x, \bar y)$ $\hat y$ $\bar x$ $SE(\hat\beta_0)$ $x=10$ $x=0$

Modifica in risposta al commento: Sfortunatamente, centrare i tuoi dati dopo averli non ti aiuterà se vuoi conoscere il probabile valore su un valore . Invece, devi centrare la tua raccolta di dati sul punto che ti interessa in primo luogo. Per comprendere meglio questi problemi, può essere utile leggere qui la mia risposta: Intervallo di previsione della regressione lineare . $y$ $x$ $x_\text{new}$

— gung - Ripristina Monica
fonte

Quindi, diciamo per qualche motivo che sono più interessato alla previsione al valore . La spiegazione sopra implica che non dovrei centrare i miei dati (cioè spostare modo che ), ma invece spostarli in modo che . È corretto?

x = x^{'}

$x=x'$

x

$x$

\bar{x} = 0

$\bar{x}=0$

\bar{x} = x^{'}

$\bar{x}=x'$

— elexhobby,

La formula generale ha nel numeratore anziché : non è necessario alcuno spostamento.

(x^{'} - \bar{x})^{2}

$(x^\prime - \bar{x})^2$

{\bar{x}}^{2}

$\bar{x}^2$

— whuber

@elexhobby, ho aggiunto alcune informazioni per rispondere al tuo commento, potresti anche voler guardare il materiale collegato. Fammi sapere se hai ancora bisogno di più.

— gung - Ripristina Monica

Ecco come ho capito: ho letto altrove che . Ora l'errore nel valore previsto in causa di questa incertezza nella pendenza è . Inoltre, l'errore dovuto all'incertezza nella posizione verticale della linea è . Combinandoli insieme, otteniamo l'incertezza nel valore previsto a causa dell'incertezza in e is . Correggimi se sbaglio.

S E ({\hat{β}}_{1}) = \frac{σ^{2}}{\sum (x_{i} - \bar{x})^{2}}

$SE(\hat{\beta}_1)=\frac{\sigma^2}{\sum(x_i-\bar{x})^2}$

x_{n e w}

$x_{new}$

S E ({\hat{β}}_{1}) (x_{n e w} - \bar{x})^{2}

$SE(\hat{\beta}_1)(x_{new}-\bar{x})^2$

\frac{σ^{2}}{n}

$\frac{\sigma^2}{n}$

{\hat{β}}_{1}

$\hat{\beta}_1$

{\hat{β}}_{0}

$\hat{\beta}_0$

\frac{σ^{2}}{n} + \frac{σ^{2} (x_{n e w} - \bar{x})^{2}}{\sum (x_{i} - \bar{x})^{2}}

$\frac{\sigma^2}{n}+\frac{\sigma^2(x_{new}-\bar{x})^2}{\sum(x_i-\bar{x})^2}$

— elexhobby

Inoltre, è chiaro perché l'errore nella posizione verticale è - sappiamo che la linea deve passare attraverso in . Ora contiene la media di iid errori, e quindi avrà SE uguale a . Wow! Grazie mille per il tuo diagramma e spiegazione chiara, apprezzo molto.

\frac{σ^{2}}{n}

$\frac{\sigma^2}{n}$

\bar{y}

$\bar{y}$

x = \bar{x}

$x=\bar{x}$

\bar{y}

$\bar{y}$

n

$n$

\frac{σ^{2}}{n}

$\frac{\sigma^2}{n}$

— elexhobby