Qual è la differenza tra "coefficiente di determinazione" e "errore quadratico medio"?

Per problemi di regressione, ho visto le persone usare il "coefficiente di determinazione" (aka R quadrato) per eseguire la selezione del modello, ad esempio, trovare il coefficiente di penalità appropriato per la regolarizzazione.

Tuttavia, è anche comune usare "errore quadrato medio" o "errore quadrato medio radice" come misura dell'accuratezza della regressione.

Quindi qual è la differenza principale tra questi due? Potrebbero essere usati in modo intercambiabile per compiti di "regolarizzazione" e di "regressione"? E quali sono i principali utilizzi di ciascuno in pratica, come nell'apprendimento automatico, nelle attività di data mining?

SSESST$R^2=1-\frac{SSE}{SST}$ , dove è la somma dell'errore al quadrato (residui o deviazioni dalla linea di regressione) e è la somma delle deviazioni al quadrato dalla media del dipendente .$SSE$$SST$$Y$

n$MSE=\frac{SSE}{n-m}$ , dove è la dimensione del campione e è il numero di parametri nel modello (inclusa l'intercettazione, se presente).$n$$m$

M S E R 2 R $R^2$ è una misura standardizzata del grado di previsione o adattamento nel campione. è la stima della varianza dei residui, o non idonei, nella popolazione. Le due misure sono chiaramente correlate, come si vede nella formula più usuale per aggiustata (la stima di per la popolazione):$MSE$ $R^2$$R^2$

$R_{adj}^2=1-(1-R^2)\frac{n-1}{n-m}=1-\frac{SSE/(n-m)}{SST/(n-1)}=1-\frac{MSE}{\sigma_y^2}$ .