Dato punti di dati , nel piano, disegniamo una linea retta
. Se prevediamo come valore di , l' errore è , l' errore al quadrato è
e l' errore al quadrato totale . Noi chiediamo( x i , y i ) , i = 1 , 2 , ... n y = a x + b una x i + b y i y i ( y i - y i ) = ( y i - un x i - b ) ( y i - a x i - bn(xi,yi),i=1,2,…ny=ax+baxi+by^iyi(yi−y^i)=(yi−axi−b)∑ n i = 1 ( y i - a x i - b ) 2(yi−axi−b)2 ∑ni=1(yi−axi−b)2
Quale scelta di e riduce al minimo
?b S = n ∑ i = 1 ( y i - a x i - b ) 2abS=∑i=1n(yi−axi−b)2
Poiché è la distanza verticale di dalla linea retta, chiediamo la linea in modo tale che la somma dei quadrati delle distanze verticali dei punti dalla linea sia piccola quanto possibile. Ora è una funzione quadratica sia e e raggiunge il suo valore minimo quando e sono tali che
Dalla seconda equazione, otteniamo
dove
( x i , y i ) S a b a b ∂ S(yi−axi−b)(xi,yi)Sabab b=1
∂S∂a∂S∂b=2∑i=1n(yi−axi−b)(−xi)=2∑i=1n(yi−axi−b)(−1)=0=0
μy=1b=1n∑i=1n(yi−axi)=μy−aμx
yixia=( 1μy=1n∑i=1nyi, μx=1n∑i=1nxi sono la media aritmetica valori rispettivamente di e di . Sostituendo nella prima equazione, otteniamo
Pertanto, la linea che minimizza può essere espressa come
e il valore minimo di è
yixiSy=ax+b=μy+((1a=(1n∑ni=1xiyi)−μxμy(1n∑ni=1x2i)−μ2x.
SSSmin=[(1y=ax+b=μy+((1n∑ni=1xiyi)−μxμy(1n∑ni=1x2i)−μ2x)(x−μx),
SSmin=[(1n∑ni=1y2i)−μ2y][(1n∑ni=1x2i)−μ2x]−[(1n∑ni=1xiyi)−μxμy]2(1n∑ni=1x2i)−μ2x.
Se si scambiano i ruoli di ed , tracciare una linea
, e chiedere i valori di
e che minimizzano
cioè vogliamo la linea in modo tale che la somma dei quadrati delle distanze orizzontali dei punti dal la linea è più piccola possibile, quindi otteniamoxyx=a^y+b^a^b^
T=∑i=1n(xi−a^yi−b^)2,
x=a^y+b^=μx+((1n∑ni=1xiyi)−μxμy(1n∑ni=1y2i)−μ2y)(y−μy)
e il valore minimo di è
TTmin=[(1n∑ni=1y2i)−μ2y][(1n∑ni=1x2i)−μ2x]−[(1n∑ni=1xiyi)−μxμy]2(1n∑ni=1y2i)−μ2y.
Nota che entrambe le linee passano attraverso il punto
ma le pendenze sono
sono diversi in generale. In effetti, come sottolinea @whuber in un commento, le pendenze sono le stesse quando tutti i punti trovano sulla stessa linea retta. Per vedere questo, nota che
(μx,μy)
a=(1n∑ni=1xiyi)−μxμy(1n∑ni=1x2i)−μ2x, a^−1=(1n∑ni=1y2i)−μ2y(1n∑ni=1xiyi)−μxμy
(xi,yi)a^−1−a=Smin(1n∑ni=1xiyi)−μxμy=0⇒Smin=0⇒yi=axi+b,i=1,2,…,n.