Relazione tra MLE e minimi quadrati in caso di regressione lineare

Hastie e Tibshirani menzionano nella sezione 4.3.2 del loro libro che nell'impostazione della regressione lineare, l'approccio dei minimi quadrati è in realtà un caso speciale di massima probabilità. Come possiamo dimostrare questo risultato?

PS: non risparmia dettagli matematici.

regression maximum-likelihood least-squares

— Pradnyesh Joshi
fonte

Non è un caso speciale: sono identici quando la distribuzione dell'errore è normale.

— Zhanxiong,

Il modello di regressione lineare

, dove $Y = X\beta + \epsilon$ $\epsilon \sim N(0,I\sigma^2)$

, e $Y \in \mathbb{R}^{n}$ $X \in \mathbb{R}^{n \times p}$ $\beta \in \mathbb{R}^{p}$

Nota che il nostro errore del modello (residuo) è . Il nostro obiettivo è trovare un vettore di che minimizzi la norma quadrato di questo errore. ${\bf \epsilon = Y - X\beta}$ $\beta$ $L_2$

Minimi quadrati

Dati riportati dove ogni è dimensionale, cerchiamo di trovare: $(x_1,y_1),...,(x_n,y_n)$ $x_{i}$ $p$

{\hat{β}}_{L S} = \underset{β}{argmin} | | ε | |^{2} = \underset{β}{argmin} | | Y - X β | |^{2} = \underset{β}{argmin} Σ_{io = 1}^{n} (y_{io} - X_{io} β)^{2}

$\widehat{\beta}_{LS} = {\underset \beta {\text{argmin}}} ||{\bf \epsilon}||^2 = {\underset \beta {\text{argmin}}} ||{\bf Y - X\beta}||^2 = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} ( y_i - x_{i}\beta)^2$

Probabilità massima

Utilizzando il modello sopra, possiamo impostare la probabilità dei dati dati i parametri come: $\beta$

L (Y | X, β) = Π_{io = 1}^{n} f (y_{io} | X_{io}, β)

$L(Y|X,\beta) = \prod_{i=1}^{n} f(y_i|x_i,\beta)$

dove è il pdf di una distribuzione normale con media 0 e varianza . Collegandolo: $f(y_i|x_i,\beta)$ $\sigma^2$

L (Y | X, β) = Π_{io = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{(y_{io} - X_{io} β)^{2}}{2 σ^{2}}}

$L(Y|X,\beta) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i - x_i\beta)^2}{2\sigma^2}}$

Ora, generalmente, quando si ha a che fare con le probabilità è matematicamente più facile prendere il registro prima di continuare (i prodotti diventano somme, gli esponenziali vanno via), quindi facciamolo.

\log L (Y | X, β) = Σ_{io = 1}^{n} \log (\frac{1}{\sqrt{2 π σ^{2}}}) - \frac{(y_{io} - X_{io} β)^{2}}{2 σ^{2}}

$\log L(Y|X,\beta) = \sum_{i=1}^{n} \log(\frac{1}{\sqrt{2\pi\sigma^2}}) -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

Poiché vogliamo la stima della massima verosimiglianza, vogliamo trovare il massimo dell'equazione sopra, rispetto a . Il primo termine non influisce sulla nostra stima di , quindi possiamo ignorarlo: $\beta$ $\beta$

{\hat{β}}_{M L E} = \underset{β}{argmax} Σ_{io = 1}^{n} - \frac{(y_{io} - X_{io} β)^{2}}{2 σ^{2}}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmax}}} \sum_{i=1}^{n} -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

Si noti che il denominatore è una costante rispetto a . Infine, nota che c'è un segno negativo davanti alla somma. Quindi trovare il massimo di un numero negativo è come trovarne il minimo senza il negativo. In altre parole: $\beta$

{\hat{β}}_{M L E} = \underset{β}{argmin} Σ_{io = 1}^{n} (y_{io} - X_{io} β)^{2} = {\hat{β}}_{L S}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} (y_i - x_i\beta)^2 = \widehat{\beta}_{LS}$

Ricordiamo che per far funzionare tutto ciò, abbiamo dovuto formulare alcune ipotesi di modello (normalità dei termini di errore, media 0, varianza costante). Ciò rende i minimi quadrati equivalenti a MLE in determinate condizioni. Vedi qui e qui per ulteriori discussioni.

Per completezza, si noti che la soluzione può essere scritta come:

β = (X^{T} X)^{- 1} X^{T} y

${\bf \beta = (X^TX)^{-1}X^Ty}$

— ilanman
fonte