Perché la regressione polinomiale è considerata un caso speciale di regressione lineare multipla?

38

Se la regressione polinomiale modella relazioni non lineari, come può essere considerato un caso speciale di regressione lineare multipla?

Wikipedia osserva che "Sebbene la regressione polinomiale si adatti a un modello non lineare ai dati, come problema di stima statistica è lineare, nel senso che la funzione di regressione è lineare nei parametri sconosciuti stimati dai dati. " $\mathbb{E}(y | x)$

In che modo la regressione polinomiale è lineare nei parametri sconosciuti se i parametri sono coefficienti per termini con ordine 2? $\ge$

— gavinmh
fonte

4

I parametri da stimare sono (multi) lineari. Se si stessero stimando i valori degli esponenti, il problema della stima non sarebbe lineare; ma la quadratura di un predittore risolve l'esponente esattamente a 2.

— Sycorax dice Reinstate Monica

La mia comprensione è che il commento di @ user777, così come le risposte di seguito, si applicano non solo alla regressione polinomiale, ma anche a qualsiasi regressione che utilizza una biiezione delle variabili predittive. ad es. qualsiasi funzione reversibile, come

,

, ecc. (più alcune altre funzioni, ovviamente, dal momento che il 2 ° potere non è biiettivo).

l o g (x)

$log(x)$

e^{x}

$e^x$

— naught101

Grazie a tutti; tutte le risposte e i commenti sono stati utili.

— Gavinmh

53

Quando si forma un modello di regressione come , il modello e le OLS stimatore non 'sapere' che è semplicemente il quadrato , 'pensa' che sia un'altra variabile. Naturalmente c'è una certa collinearità, che viene incorporata nell'adattamento (ad esempio, gli errori standard sono più grandi di quanto potrebbero essere altrimenti), ma molte coppie di variabili possono essere in qualche modo collineari senza che una di esse sia una funzione dell'altra. $\hat y_i = \hat\beta_0 + \hat\beta_1x_i + \hat\beta_2x^2_i$ $x^2_i$ $x_i$

Noi non riconosciamo che ci sono davvero due variabili distinte nel modello, perché noi sappiamo che è in definitiva la stessa variabile che abbiamo trasformato e incluso al fine di catturare una relazione curvilinea tra e . Che la conoscenza della vera natura di , insieme con la nostra convinzione che ci sia una relazione curvilinea tra e è ciò che rende difficile per noi capire il modo in cui è ancora lineare dal punto di vista del modello. Inoltre, visualizziamo $x^2_i$ $x_i$ $x_i$ $y_i$ $x^2_i$ $x_i$ $y_i$ e insieme osservando la proiezione marginale della funzione 3D sul piano 2D . $x_i$ $x^2_i$ $x, y$

Se hai solo e , puoi provare a visualizzarli nello spazio 3D completo (anche se è ancora piuttosto difficile vedere davvero cosa sta succedendo). Se osservassi la funzione adattata in tutto lo spazio 3D, vedresti che la funzione adattata è un piano 2D e inoltre che è un piano piatto. Come ho detto, è difficile vedere bene perché i dati esistono solo lungo una linea curva che attraversa quello spazio 3D (quel fatto è la manifestazione visiva della loro collinearità). Possiamo provare a farlo qui. Immagina che questo sia il modello montato: $x_i$ $x^2_i$ $x_i, x^2_i$

x     = seq(from=0, to=10, by=.5)
x2    = x**2
y     = 3 + x - .05*x2
d.mat = data.frame(X1=x, X2=x2, Y=y)

# 2D plot
plot(x, y, pch=1, ylim=c(0,11), col="red", 
     main="Marginal projection onto the 2D X,Y plane")
lines(x, y, col="lightblue")

inserisci qui la descrizione dell'immagine

# 3D plot
library(scatterplot3d)
s = scatterplot3d(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, color="gray", pch=1, 
              xlab="X1", ylab="X2", zlab="Y", xlim=c(0, 11), ylim=c(0,101), 
              zlim=c(0, 11), type="h", main="In pseudo-3D space")
s$points(x=d.mat$X1, y=d.mat$X2, z=d.mat$Y, col="red", pch=1)
s$plane3d(Intercept=3, x.coef=1, y.coef=-.05, col="lightblue")

inserisci qui la descrizione dell'immagine

Potrebbe essere più facile vedere in queste immagini, che sono schermate di una figura 3D ruotata fatta con gli stessi dati usando il rglpacchetto.

inserisci qui la descrizione dell'immagine

$p$ $p$ $p\!+\!1$

— gung - Ripristina Monica
fonte

17

$y = a + bx + cx^2$ $x$ $a$ $b$ $c$ $y = \sum_{i=0}^N a_i h_i(x)$ $h_i$ $x$ $h_i$ $x$

— Ape Regina
fonte

14

y_{i} = b_{0} + b_{1} x_{i}^{n_{1}} + \dots + b_{p} x_{i}^{n_{p}} + ϵ_{i} .

$y_i = b_0+b_1 x^{n_1}_i + \cdots+ b_px^{n_p}_i + \epsilon_i.$

y = X b + ϵ; X = (\begin{matrix} 1 & x_{1}^{n_{1}} & \dots & x_{1}^{n_{p}} \\ 1 & x_{2}^{n_{1}} & \dots & x_{2}^{n_{p}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n}^{n_{1}} & \dots & x_{n}^{n_{p}} \end{matrix}) .

$y = X b + \epsilon;\\ X= \begin{pmatrix} 1 & x_{1}^{n_1} & \cdots & x_{1}^{n_p} \\ 1 & x_{2}^{n_1} & \cdots & x_{2}^{n_p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n}^{n_1} & \cdots & x_{n}^{n_p} \\ \end{pmatrix}.$

— mookid
fonte