Comprensione della forma dell'intervallo di confidenza per la regressione polinomiale (MLR)

11

Ho difficoltà a comprendere la forma dell'intervallo di confidenza di una regressione polinomiale.

Ecco un esempio artificiale, . La figura a sinistra mostra l'UPV (varianza di previsione non graduata) e il grafico a destra mostra l'intervallo di confidenza e i punti (artificiali) misurati su X = 1,5, X = 2 e X = 3. $\hat{Y}=a+b\cdot X+c\cdot X^2$

Dettagli dei dati sottostanti:

il set di dati è costituito da tre punti di dati (1.5; 1), (2; 2.5) e (3; 2.5).
ogni punto è stato "misurato" 10 volte e ogni valore misurato appartiene a . Un MLR con un modello poinomiale è stato eseguito sui 30 punti risultanti. $y \pm 0.5$
l'intervallo di confidenza è stato calcolato con le formule e (entrambe le formule sono tratte da Myers, Montgomery, Anderson-Cook, quarta edizione "Response Surface Methodology", pagina 407 e 34)
$U P V = \frac{V un' r [\hat{y} (X_{0})]}{{\hat{σ}}^{2}} = X_{0}^{'} (X^{'} X)^{- 1} X_{0}$ $UPV=\frac{Var[\hat{y}(x_0)]}{\hat{\sigma}^2}=x_0'(X'X)^{-1}x_0$ $\hat{y} (X_{0}) - t_{α / 2, d f (e r r o r)} \sqrt{{\hat{σ}}^{2} \cdot X_{0}^{'} (X^{'} X)^{- 1} X_{0}}$ $\hat{y}(x_0) - t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0}$ $\leq μ_{y | X_{0}} \leq \hat{y} (X_{0}) + t_{α / 2, d f (e r r o r)} \sqrt{{\hat{σ}}^{2} \cdot X_{0}^{'} (X^{'} X)^{- 1} X_{0}} .$ $\leq \mu_{y|x_0} \leq \hat{y}(x_0) + t_{\alpha /2, df(error)}\sqrt{\hat{\sigma}^2\cdot x_0'(X'X)^{-1}x_0} .$

$t_{\alpha /2, df(error)}=2$ e . $\hat{\sigma}^2=MSE=SSE/(n-p)\sim0.075$

Non sono particolarmente interessato ai valori assoluti dell'intervallo di confidenza, ma piuttosto alla forma dell'UPV che dipende solo da . $x_0'(X'X)^{-1}x_0$

Figura 1:

la varianza prevista molto alta al di fuori dello spazio di progettazione è normale perché stiamo estrapolando
ma perché la varianza è minore tra X = 1,5 e X = 2 rispetto ai punti misurati?
e perché la varianza aumenta per valori superiori a X = 2 ma poi diminuisce dopo X = 2.3 per ridursi rispetto al punto misurato in X = 3?

Non sarebbe logico che la varianza sia piccola sui punti misurati e grande tra loro?

Modifica: stessa procedura ma con i punti dati [(1.5; 1), (2.25; 2.5), (3; 2.5)] e [(1.5; 1), (2; 2.5), (2.5; 2.2), (3; 2.5)].

Figura 2:

Figura 3:

È interessante notare che, nelle figure 1 e 2, l'UPV sui punti è esattamente uguale a 1. Ciò significa che l'intervallo di confidenza sarà esattamente uguale a . Con un numero crescente di punti (figura 3), possiamo ottenere valori UPV sui punti misurati che sono inferiori a 1. $\hat{y} \pm t_{\alpha /2, df(error)}\cdot \sqrt{MSE}$

regression confidence-interval

— John Tokka Tacos
fonte

2

Puoi modificare il tuo post per includere i dati con cui lavori?

— Stephan Kolassa,

@StephanKolassa Ho provato a spiegare quali dati ho usato. Tuttavia, la domanda è più generale e non legata a un esempio particolare.

— John Tokka Tacos,

Se si forniscono i dati, sarà più semplice illustrare una risposta.

— Stephan Kolassa,

6

I due modi principali per comprendere tale fenomeno di regressione sono algebrici - manipolando le equazioni e le formule normali per la loro soluzione - e geometrici. L'algebra, come illustrato nella domanda stessa, è buona. Ma ci sono diverse utili formulazioni geometriche di regressione. In questo caso, visualizzando il dei dati in spazio offerte intuizione $(x,y)$ $(x,x^2,y)$ che altrimenti potrebbe essere difficile da trovare.

Paghiamo il prezzo della necessità di guardare oggetti tridimensionali, cosa difficile da fare su uno schermo statico. (Trovo che le immagini che ruotano all'infinito siano fastidiose e quindi non ti infliggeranno nessuna, anche se possono essere utili.) Pertanto, questa risposta potrebbe non piacere a tutti. Ma quelli disposti ad aggiungere la terza dimensione con la loro immaginazione saranno premiati. Propongo di aiutarti in questo sforzo per mezzo di alcuni elementi grafici scelti con cura.

Cominciamo visualizzando le variabili indipendenti . Nel modello di regressione quadratica

\begin{matrix} (1) & y_{io} = β_{0} + β_{1} (X_{io}) + β_{2} (X_{io}^{2}) + errore, \end{matrix}

$y_i = \beta_0 + \beta_1 (x_i) + \beta_2 (x_i^2) + \text{error},\tag{1}$

$(x_i)$ $(x_i^2)$ $(x_i,x_i^2)$ $x$ $x^2.$ $(t,t^2):$

$(x,x^2)$

La regressione quadratica adatta un piano a questi punti.

$(\beta_0,\beta_1,\beta_2),$ $(x,x^2,y)$ $(1)$ $-\beta_1(x)-\beta_2(x^2)+(1)y-\beta_0,$ $(-\beta_1,-\beta_2,1).$ $\beta_1=-55/8$ $\beta_2=15/2,$ $1,$ $(x,x^2)$ aereo.)

Ecco il piano dei minimi quadrati montato su questi punti:

$y=f(x,x^2),$ $(t,t^2)$

t \to (t, t^{2}, f (t, t^{2}))

$t\to (t, t^2, f(t,t^2))$

$x$ $y$ $x^2$

$(x,\hat y)$ $\hat y$ $x.$

La fascia di confidenza per questa curva adattata descrive ciò che può accadere all'adattamento quando i punti dati vengono variati in modo casuale. Senza cambiare il punto di vista, ho tracciato cinque piani adattati (e le loro curve sollevate) in cinque nuovi insiemi di dati indipendenti (di cui è mostrato solo uno):

$x \approx 1.75$ $x \approx 3.$

Diamo un'occhiata alla stessa cosa passando sopra la trama tridimensionale e guardando leggermente verso il basso e lungo l'asse diagonale del piano. Per aiutarti a vedere come cambiano i piani, ho anche compresso la dimensione verticale.

$(t,t^2)$ $(x,x^2).$

$(x_i,x_i^2)$ $\mathcal L$ $(x,x^2)$ $(x,x^2)$ $(x,x^2)$ $\mathcal L.$

$\mathcal L$ $t\to(t,t^2)$ $\mathcal L$ $x$ $1.7$ $2.9$

$(x,y)$

Questa analisi si applica concettualmente alla regressione polinomiale di grado superiore, nonché alla regressione multipla in generale. Sebbene non possiamo veramente "vedere" più di tre dimensioni, la matematica della regressione lineare garantisce che l'intuizione derivata da grafici bidimensionali e tridimensionali del tipo mostrato qui rimanga accurata in dimensioni superiori.

— whuber
fonte

Grazie per questa grande risposta! Non mi è mai venuto in mente che la regressione quadratica si adatta a un piano ai punti. Queste formulazioni geometriche sono davvero intuitive e mi hanno aiutato molto.

— John Tokka Tacos,

1

Questa è un'ottima risposta - dovremmo compilare i tuoi post migliori e trasformarli in un libro open source

— Xavier Bourret Sicotte,

1

@Xavier Grazie per le belle parole. Ho pensato a qualcosa del genere e accolgo con favore tutti i suggerimenti e le critiche costruttive.

— whuber

1

Intuitivo

In un senso molto intuitivo e approssimativo potresti vedere la curva polinomiale come due curve lineari cucite insieme (una in aumento e una in diminuzione). Per queste curve lineari potresti ricordare la forma stretta al centro .

I punti a sinistra del picco influenzano relativamente poco le previsioni a destra del picco e viceversa.

Quindi potresti aspettarti due regioni strette su entrambi i lati del picco (dove i cambiamenti nelle pendenze di entrambi i lati hanno un effetto relativamente scarso).
La regione intorno al picco è relativamente più incerta perché un cambiamento nella pendenza della curva ha un effetto maggiore in questa regione. È possibile disegnare molte curve con un grande spostamento del picco che va ancora ragionevolmente attraverso i punti di misurazione

Illustrazione

Di seguito è un'illustrazione con alcuni dati diversi, che mostra più facilmente come può nascere questo schema (si potrebbe dire un doppio nodo):

set.seed(1)
x <- c(rep(c(-6, -5, 6, 5), 5))
y <- 0.2*x^2 + rnorm(20, 0, 1)
plot(x, y, 
     ylim=c(-10,30), xlim=c(-10,10),
     pch=21, col=1, bg=1, cex=0.3)

data    = list(y=y,           x=x,                x2=x^2)
newdata = list(y=rep(0,3001), x=seq(-15,15,0.01), x2=seq(-15,15,0.01)^2  )

model <- lm(y~1+x+x2, data=data)
predictions = predict(model, newdata = newdata, interval="predict")
lines(newdata$x, predictions[,1])
lines(newdata$x, predictions[,2], lty=2)
lines(newdata$x, predictions[,3], lty=2)

Formale

^{$x$

$x$}

— Sesto Empirico
fonte

1

Sto facendo fatica a credere a questa caratterizzazione o ad alcuna delle sue conclusioni, perché sono abbastanza sicuro che la regressione quadratica non si comporti in questo modo. Potresti convincermi fornendo loro qualche giustificazione?

— whuber

1

Immagino che dipenda dalla posizione dei punti. Nell'esempio i punti sono su entrambi i lati del picco. Quindi potresti considerare la posizione del picco come una sorta di estrapolazione. Farò un esempio più estremo in seguito. (Mi chiedo anche come viene eseguita la regressione, ma immagino che l'errore nei coefficienti sia considerato correlato o altrimenti in realtà non si ottiene questo schema)

— Sesto Empirico

(x_{i}, x_{i}^{2})

$(x_i, x_i^2)$

x

$x$

x^{2}

$x^2$