Nella regressione lineare multipla, perché un diagramma dei punti previsti non giace in linea retta?

Sto usando la regressione lineare multipla per descrivere le relazioni tra Y e X1, X2.

Dalla teoria ho capito che la regressione multipla assume relazioni lineari tra Y e ciascuno di X (Y e X1, Y e X2). Non sto usando alcuna trasformazione di X.

Quindi, ho ottenuto il modello con R = 0,45 e tutte le X significative (P <0,05). Quindi ho tracciato Y contro X1. Non capisco perché i cerchi di colore rosso che sono previsioni del modello non formano una linea. Come ho detto prima, mi aspettavo che ogni coppia di Y e X fosse montata da una linea.

La trama viene generata in Python in questo modo:

fig, ax = plt.subplots()
plt.plot(x['var1'], ypred, 'o', validation['var1'], validation['y'], 'ro');
ax.set_title('blue: true,   red: OLS')
ax.set_xlabel('X')
ax.set_ylabel('Y')
plt.show()

Supponiamo che la tua equazione di regressione multipla fosse

dove y significa "predetta y ".$\hat y$$y$

Ora prendi solo quei punti per i quali . Poi, se si traccia y contro x 1 , questi punti in grado di soddisfare l'equazione:$x_2 = 1$$\hat y$$x_1$

Quindi devono trovarsi su una linea di pendenza 2 e con intercettazione 8.$y$

Ora prendi quei punti per i quali . Quando si stampa y contro x 1 , quindi questi punti soddisfa:$x_2 = 2$$\hat y$$x_1$

Quindi questa è una linea di pendenza 2 e con intercetta 13. Puoi verificare tu stesso che se x 2 = 3 allora ottieni un'altra linea di pendenza 2 e y- intercetta è 18.$y$$x_2=3$$y$

Vediamo che punti con valori diversi di troveranno su linee diverse, ma tutti con lo stesso gradiente: il significato del coefficiente di 2 x 1 nell'equazione di regressione originale è che, ceteris paribus cioè mantenendo costanti altri predittori, uno unità di aumento di x 1 aumenta la risposta prevista medio y da due unità, mentre il significato del intercetta 3 nell'equazione di regressione era che quando x 1 = 0 e x 2 = 0 allora la risposta media prevista è $x_2$$2x_1$$x_1$$\hat y$$3$$x_1 = 0$$x_2 = 0$$3$. Ma non tutti i tuoi punti hanno lo stesso , il che significa che si trovano su linee con una diversa intercettazione - la linea avrebbe solo intercettare 3 per quei punti per i quali x 2 = 0 . Quindi, invece di vedere una singola riga, potresti vedere (se si verificano solo determinati valori di x 2 , ad esempio se x 2 è sempre intero) una serie di "strisce" diagonali. Considerare i seguenti dati, dove y = 2 x 1 + 5 x 2 + 3 .$x_2$$3$$x_2=0$$x_2$$x_2$$\hat y = 2 x_1 + 5 x_2 + 3$

Qui ci sono "strisce" percettibili. Ora, se coloro quei punti per i quali come cerchi rossi, x 2 = 2 come triangoli d'oro e x 2 = 3 come quadrati blu, vediamo che giacciono su tre linee distinte, tutte con pendenza 2 e y- intercetti 8, 13 e 18 come sopra calcolato. Naturalmente, se x 2 non fosse costretto a prendere valori interi, o la situazione fosse complicata da altre variabili predittive incluse nella regressione, allora lo striature diagonale sarebbe meno chiaro, ma sarebbe comunque il caso che ciascun punto previsto si trova su una linea separata$x_2=1$$x_2=2$$x_2=3$$y$$x_2$basato sui valori degli altri predittori non mostrati nel grafico .

Se si dovesse tracciare un grafico 3-dimensionale di contro x 1 e x 2 , quindi i punti previsti giacciono tutti nel piano bidimensionale di equazione y = 2 x 1 + 5 x 2 + 3 . Il grafico y contro x 1 che ho descritto sopra è una proiezione di quel grafico tridimensionale su due dimensioni: immagina di allinearti con l' asse x 2 in modo da guardarlo dritto verso il basso, mentre l' asse y punta verso l'alto e la x $y$$x_1$$x_2$$\hat y = 2 x_1 + 5 x_2 + 3$$y$$x_1$$x_2$$y$$x_1$-asse indica a destra.

$y$$y$

$\hat y$$x_1$$x_2$$x_2$$\hat y$$x_1$$x_2$$y$$x_1$ $x_2$$y$$x_1$

Codice per grafici R

library(scatterplot3d)

data.df <- data.frame(
  x1 = c(0,2,4,5,8, 1,3,4,7,8, 0,3,5,6,7),
  x2 = c(1,1,1,1,1, 2,2,2,2,2, 3,3,3,3,3)
)

data.df$yhat <- with(data.df, 2*x1 + 5*x2 + 3)

data1.df <- data.df[data.df$x2==1,]
data2.df <- data.df[data.df$x2==2,]
data3.df <- data.df[data.df$x2==3,]

#Before lines added    
mar.default <- c(5,4,4,2) + 0.1
par(mar = mar.default + c(0, 1, 0, 0)) 
plot(data.df[c("x1","yhat")], main=expression("Predicted y against "*x[1]),
     xlab=expression(x[1]), ylab=expression(hat(y)))

#After lines added
plot(data.df[c("x1","yhat")], main=expression("Predicted y against "*x[1]),
     xlab=expression(x[1]), ylab=expression(hat(y)), pch=".")
points(data1.df[c("x1","yhat")], pch=19, col="red")
abline(lm(yhat ~ x1, data=data1.df), col="red")
points(data2.df[c("x1","yhat")], pch=17, col="gold")
abline(lm(yhat ~ x1, data=data2.df), col="gold")
points(data3.df[c("x1","yhat")], pch=15, col="blue")
abline(lm(yhat ~ x1, data=data3.df), col="blue")

#3d plot
myPlot <- scatterplot3d(data.df, pch=".", xlab=expression(x[1]),
                        ylab=expression(x[2]), zlab=expression(hat(y)),
                        main=expression("Predicted y against "*x[1]*" and "*x[2]))
myPlot$plane3d(Intercept=3, x.coef=2, y.coef=5, col="darkgrey")
myPlot$points3d(data1.df, pch=19, col="red")
myPlot$points3d(data2.df, pch=17, col="gold")
myPlot$points3d(data3.df, pch=15, col="blue")
print(myPlot)