Come interpretare le misure di errore?

Sto eseguendo la classificazione in Weka per un determinato set di dati e ho notato che se sto cercando di prevedere un valore nominale, l'output mostra in modo specifico i valori previsti correttamente e in modo errato. Tuttavia, ora lo sto eseguendo per un attributo numerico e l'output è:

Correlation coefficient                 0.3305
Mean absolute error                     11.6268
Root mean squared error                 46.8547
Relative absolute error                 89.2645 %
Root relative squared error             94.3886 %
Total Number of Instances               36441

Come posso interpretarlo? Ho provato a cercare su google ogni nozione ma non capisco molto dato che le statistiche non sono affatto nel mio campo di competenza. Gradirei molto un tipo di risposta ELI5 in termini di statistiche.

— FloIancu
fonte

Diamo denotano il vero valore di interesse come e il valore stimato utilizzando alcuni algoritmo come . $\theta$ $\hat{\theta}$

Correlazione ti dice quanto e sono correlate. Dà valori compresi tra e , dove è alcuna relazione, è molto forte, relazione lineare e è un inverso relazione lineare (ossia i valori maggiori di indicano valori minori di , o viceversa). Di seguito troverai un esempio illustrato di correlazione. $\theta$ $\hat{\theta}$ $-1$ $1$ $0$ $1$ $-1$ $\theta$ $\hat{\theta}$

Correlation example

(fonte: http://www.mathsisfun.com/data/correlation.html )

L'errore assoluto medio è:

M A E = \frac{1}{N} \sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |

$\mathrm{MAE} = \frac{1}{N} \sum^N_{i=1} | \hat{\theta}_i - \theta_i |$

L' errore quadratico medio di root è:

R M S E = \sqrt{\frac{1}{N} \sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}

$\mathrm{RMSE} = \sqrt{ \frac{1}{N} \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 }$

Errore assoluto relativo :

R A E = \frac{\sum_{i = 1}^{N} | {\hat{θ}}_{i} - θ_{i} |}{\sum_{i = 1}^{N} | \bar{θ} - θ_{i} |}

$\mathrm{ RAE} = \frac{ \sum^N_{i=1} | \hat{\theta}_i - \theta_i | } { \sum^N_{i=1} | \overline{\theta} - \theta_i | }$

dove è un valore medio di . $\overline{\theta}$ $\theta$

Errore quadratico relativo radice:

R R S E = \sqrt{\frac{\sum_{i = 1}^{N} {({\hat{θ}}_{i} - θ_{i})}^{2}}{\sum_{i = 1}^{N} {(\bar{θ} - θ_{i})}^{2}}}

$\mathrm{ RRSE }= \sqrt{ \frac{ \sum^N_{i=1} \left( \hat{\theta}_i - \theta_i \right)^2 } { \sum^N_{i=1} \left( \overline{\theta} - \theta_i \right)^2 }}$

Come vedi, tutte le statistiche confrontano i valori reali con le loro stime, ma lo fanno in modo leggermente diverso. Tutti ti dicono "quanto lontano" sono i tuoi valori stimati dal vero valore di . A volte vengono utilizzate le radici quadrate e talvolta i valori assoluti - questo perché quando si usano le radici quadrate i valori estremi hanno una maggiore influenza sul risultato (vedere Perché quadrare la differenza invece di prendere il valore assoluto nella deviazione standard? O su Mathoverflow ). $\theta$

In $\mathrm{ MAE}$ and $\mathrm{ RMSE}$ you simply look at the "average difference" between those two values - so you interpret them comparing to the scale of your valiable, (i.e. $\mathrm{ MSE}$ of 1 point is a difference of 1 point of $\theta$ between $\hat{\theta}$ and $\theta$ ).

In $\mathrm{ RAE}$ and $\mathrm{ RRSE}$ you divide those differences by the variation of $\theta$ so they have a scale from 0 to 1 and if you multiply this value by 100 you get similarity in 0-100 scale (i.e. percentage). The values of $\sum(\overline{\theta} - \theta_i)^2$ or $\sum|\overline{\theta} - \theta_i|$ tell you how much $\theta$ differs from it's mean value - so you could tell that it is about how much $\theta$ differs from itself (compare to variance). Because of that the measures are named "relative" - they give you result related to the scale of $\theta$ .

Check also those slides.

— Tim
fonte

Thank you for your explanation! I am trying to evaluate the performance of various algorithms. So for example, if I get this other output (Correlation: 0.3044, MAE: 10.832, MSE: 47.2971, RAE: 83.163%, RSE: 95.2797%) and I try to compare it to the first one, which one could I say performed better?

— FloIancu

You should choose the model with bigger correlation and smaller error estimates. As you see, there are multiple measures of model performance (and those are only few them) and sometimes they give different answers. It is almost never the "yes/no" kind of answer you get. The task of model selection would get easier if you catch up with theory, you can check for example those lectures.

— Tim

Thank you very much! I went ahead and marked your reply as the answer because you've helped me plenty!

— FloIancu

@Tim Mean absolute error should probably be abbreviated as MAE:)

— Antoine

@MewX What kind of references you are looking for? It is basically a rescaled RMSE. There is not much to say about it...

— Tim