Intervallo di previsione della regressione lineare

Se la migliore approssimazione lineare (usando i minimi quadrati) dei miei punti dati è la linea , come posso calcolare l'errore di approssimazione? Se computo la deviazione standard delle differenze tra osservazioni e previsioni , posso in seguito dire che un valore reale (ma non osservato) appartiene all'intervallo ( ) con probabilità ~ 68%, ipotizzando una distribuzione normale? $y=mx+b$ $e_i=real(x_i)-(mx_i+b)$ $y_r=real(x_0)$ $[y_p-\sigma, y_p+\sigma]$ $y_p=mx_0+b$

Chiarire:

Ho fatto osservazioni riguardo una funzione valutandola con alcuni punti . Adatto queste osservazioni a una linea . Per che non ho osservato, vorrei sapere quanto grande può essere . Usando il metodo sopra, è corretto dire che con prob. ~ 68%? $f(x)$ $x_i$ $l(x)=mx+b$ $x_0$ $f(x_0)-l(x_0)$ $f(x_0) \in [l(x_0)-\sigma, l(x_0)+\sigma]$

— bmx
fonte

Penso che tu stia chiedendo degli intervalli di previsione. Si noti, tuttavia, che si utilizza " ", anziché " ". È un errore di battitura? Noi non prevediamo s.

x_{i}

$x_i$

y_{i}

$y_i$

x

$x$

— gung - Ripristina Monica

@gung: io uso per indicare, ad esempio, il tempo il valore di alcune variabili in quel momento, quindi significa che ho fatto un'osservazione al momento . Voglio sapere fino a che punto le previsioni della funzione di adattamento possono essere dai valori reali di y. Ha senso? La funzione restituisce il valore "corretto" di in e i miei punti dati sono costituiti da .

x

$x$

y

$y$

y = f (x)

$y=f(x)$

y

$y$

x

$x$

r e a l (x_{i})

$real(x_i)$

y

$y$

x_{i}

$x_i$

(x_{i}, r e a l (x_{i}))

${(x_i, real(x_i))}$

— bmx

Sembra perfettamente ragionevole. Le parti su cui mi sto concentrando sono, ad esempio, " ", di solito pensiamo agli errori / ai residui in un modello reg come " " . La DS dei residui svolge un ruolo nel calcolo degli intervalli di previsione. È quel " " che è strano per me; Mi chiedo se si tratta di un errore di battitura o se stai chiedendo qualcosa che non riconosco.

e_{i} = r e a l (x_{i}) - (m x_{i} + b)

$e_i=real(x_i)-(mx_i+b)$

e_{i} = y_{i} - (m x_{i} + b)

$e_i=y_i-(mx_i+b)$

x_{i}

$x_i$

— gung - Ripristina Monica

Penso di vedere; Ho perso la tua modifica. Ciò suggerisce che il sistema è perfettamente deterministico e se si avesse accesso alla vera funzione sottostante, si potrebbe sempre prevedere perfettamente senza errori. Questo non è il modo in cui generalmente pensiamo ai modelli reg.

y_{i}

$y_i$

— gung - Ripristina Monica

bmx, mi sembra che tu abbia una chiara idea della tua domanda e una buona consapevolezza di alcuni dei problemi. Potresti essere interessato a recensire tre discussioni strettamente correlate. stats.stackexchange.com/questions/17773 descrive gli intervalli di previsione in termini non tecnici; stats.stackexchange.com/questions/26702 fornisce una descrizione più matematica; e in stats.stackexchange.com/questions/9131 , Rob Hyndman fornisce la formula che cerchi. Se questi non rispondono completamente alla tua domanda, almeno possono darti una notazione standard e un vocabolario per chiarirlo.

— whuber

@whuber ti ha indicato tre buone risposte, ma forse posso ancora scrivere qualcosa di valore. La tua domanda esplicita, a quanto ho capito, è:

Dato il mio modello montato, $\hat y_i=\hat mx_i + \hat b$ (nota che ho aggiunto 'cappelli') , e supponendo che i miei residui siano normalmente distribuiti, , posso prevedere che una risposta non ancora osservata, , con un valore predittivo noto, , rientrerà nell'intervallo , con una probabilità del 68%? $\mathcal N(0, \hat\sigma^2_e)$ $y_{new}$ $x_{new}$ $(\hat y -\sigma_e, \hat y +\sigma_e)$

Intuitivamente, la risposta sembra che dovrebbe essere "sì", ma la vera risposta è forse . Questo sarà il caso in cui i parametri (ovvero, & ) sono noti e senza errori. Dato che hai stimato questi parametri, dobbiamo tener conto della loro incertezza. $m, b,$ $\sigma$

Pensiamo innanzitutto alla deviazione standard dei tuoi residui. Poiché questo è stimato dai tuoi dati, potrebbe esserci un errore nel preventivo. Di conseguenza, la distribuzione da utilizzare per formare l'intervallo di previsione dovrebbe essere , non la normale. Tuttavia, poiché la converge rapidamente alla normalità, è meno probabile che ciò costituisca un problema in pratica. $t_\text{df error}$ $t$

Quindi, possiamo semplicemente usare , invece di e segui la nostra strada allegra? Sfortunatamente no. Il problema più grande è che c'è incertezza sulla tua stima della media condizionale della risposta in quella posizione a causa dell'incertezza nelle tue stime & . Pertanto, la deviazione standard delle previsioni deve includere più di un semplice . Poiché le varianze si aggiungono , la varianza stimata delle previsioni sarà: Notare che la " $\hat y_\text{new}\pm t_{(1-\alpha/2,\ \text{df error})}s$ $\hat y_\text{new}\pm z_{(1-\alpha/2)}s$ $\hat m$ $\hat b$ $s_\text{error}$

s_{predictions(new)}^{2} = s_{error}^{2} + Var (\hat{m} x_{new} + \hat{b})

$s^2_\text{predictions(new)}=s^2_\text{error}+\text{Var}(\hat mx_\text{new}+\hat b)$

x

$x$ "viene sottoscritto per rappresentare il valore specifico per la nuova osservazione e che" "viene corrispondentemente sottoscritto. In altre parole, il tuo intervallo di previsione dipende dalla posizione della nuova osservazione lungo l' asse . La deviazione standard del tuo le previsioni possono essere più convenientemente stimate con la seguente formula: Come nota a interessante, possiamo dedurre alcuni fatti sugli intervalli di previsione da questa equazione. Innanzitutto, gli intervalli di previsione saranno più stretti quanto più dati avremo quando abbiamo creato il modello di previsione (questo perché c'è meno incertezza in &

s^{2}

$s^2$

x

$x$

s_{predictions(new)} = \sqrt{s_{error}^{2} (1 + \frac{1}{N} + \frac{(x_{new} - \bar{x})^{2}}{\sum (x_{i} - \bar{x})^{2}})}

$s_\text{predictions(new)}=\sqrt{s^2_\text{error}\left(1+\frac{1}{N}+\frac{(x_\text{new}-\bar x)^2}{\sum(x_i-\bar x)^2}\right)}$

\hat{m}

$\hat m$

\hat{b}

$\hat b$ ). In secondo luogo, le previsioni saranno più precise se fatte alla media dei valori utilizzati per sviluppare il modello, poiché il numeratore per il terzo termine sarà . Il motivo è che in circostanze normali non vi è incertezza sulla pendenza stimata nella media di

x

$x$

0

$0$

x

$x$ , solo qualche incertezza sulla vera posizione verticale della linea di regressione. Pertanto, alcune lezioni da apprendere per la costruzione di modelli di previsione sono: che più dati sono utili, non per trovare "significato", ma per migliorare la precisione delle previsioni future; e che dovresti concentrare i tuoi sforzi di raccolta dei dati sull'intervallo in cui dovrai fare previsioni in futuro (per minimizzare quel numeratore), ma diffondere le osservazioni il più ampiamente possibile da quel centro (per massimizzare quel denominatore).

Avendo calcolato il valore corretto in questo modo, possiamo quindi usarlo con la distribuzione appropriata come indicato sopra. $t$

— gung - Ripristina Monica
fonte