RMSE e MAE possono avere lo stesso valore?

Sto implementando la validazione incrociata e il calcolo delle metriche di errore come RMSE, , MAE, MSE, ecc.$R^2$

RMSE e MAE possono avere lo stesso valore?

Sì, in teoria. Il caso più semplice che posso immaginare è un set di dati in cui tutti gli errori di previsione (ovvero i residui) sono esattamente 1. RMSE e MAE restituiranno valori identici a 1. Si possono costruire anche altri scenari, ma nessuno sembra molto probabile.$\pm$

EDIT: Grazie a @DilipSarwate per aver sottolineato (ulteriormente elaborato da @ user20160 nella loro eccellente risposta) che questo risultato è possibile se e solo se i valori assoluti di tutti gli errori di previsione sono identici. Non c'è niente di speciale nel valore 1 nel mio esempio, in altre parole; qualsiasi altro numero funzionerebbe invece di 1.$\pm$

L'errore assoluto medio (MAE) può eguagliare l'errore quadratico medio (MSE) o l'errore quadratico medio radice (RMSE) in determinate condizioni, che mostrerò di seguito. È improbabile che queste condizioni si verifichino nella pratica.

Preliminari

Sia $r_i = |y_i - \hat{y}_i|$denota il valore assoluto del residuo per l' $i$ esimo punto dati e lascia che $r = [r_i, \dots, r_n]^T$ sia un vettore contenente residui assoluti per tutti gli $n$ punti nel set di dati. Lasciando $\vec{1}$ denota un vettore $n \times 1$ di quelli, MAE, MSE e RMSE possono essere scritti come:

$$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$$

MSE

Impostare MSE uguale al MAE e riordinare dà:

$$(r - \vec{1})^T r = 0 \tag{2}$$

MSE e MAE sono uguali per tutti i set di dati in cui i residui assoluti risolvono l'equazione di cui sopra. Due soluzioni ovvie sono: $r = \vec{0}$ (errore zero) e $r = \vec{1}$ (i residui sono tutti $\pm 1$ , come menzionato mkt). Ma ci sono infinite soluzioni.

Possiamo interpretare l'equazione $(2)$ geometricamente come segue: LHS è il prodotto punto di $r-\vec{1}$ e $r$ . Il prodotto a punto zero implica l'ortogonalità. Quindi, MSE e MAE sono uguali se sottraendo 1 da ciascun residuo assoluto si ottiene un vettore ortogonale ai residui assoluti originali.

Inoltre, completando il quadrato, l'equazione $(2)$ può essere riscritta come:

$$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$$

Questa equazione descrive una sfera $n$ dimensionale centrata su $[\frac{1}{2}, \dots, \frac{1}{2}]^T$con raggio$\frac{1}{2} \sqrt{n}$ . MSE e MAE sono uguali se e solo se i residui assoluti si trovano sulla superficie di questa ipersfera.

RMSE

Impostando RMSE uguale a MAE e riordinando si ottiene:

$$r^T A r = 0 \tag{4}$$

$$A = (n I - \vec{1} \vec{1}^T)$$

dove $I$ sono la matrice dell'identità. Il set di soluzioni è lo spazio nullo di $A$ ; vale a dire, l'insieme di tutte $r$ tale che $A r = \vec{0}$ . Per trovare lo spazio nullo, nota che $A$ è una matrice $n \times n$ con elementi diagonali uguali a $n-1$ e tutti gli altri elementi uguali a $-1$ . L'istruzione $A r = \vec{0}$ corrisponde al sistema di equazioni:

$$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$$

Oppure, riordinando le cose:

$$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$$

Cioè, ogni elemento $r_i$ deve essere uguale alla media degli altri elementi. L'unico modo per soddisfare questo requisito è che tutti gli elementi siano uguali (questo risultato può anche essere ottenuto considerando la composizione geografica di $A$ ). Pertanto, il set di soluzioni è costituito da tutti i vettori non negativi con voci identiche:

$$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$$

Quindi, RMSE e MAE sono uguali se e solo se i valori assoluti dei residui sono uguali per tutti i punti dati.