RMSE vs. coefficiente di determinazione

Sto valutando un modello fisico e vorrei sapere quale dei metodi che dovrei usare qui (tra RMSE e Coefficiente di Determinazione R2)

Il problema è il seguente: ho una funzione che genera previsioni per il valore di input x, . Ho anche l'osservazione effettiva per quel valore che chiamo .y$\overline{y_x}= f(x)$$y_x$

La mia domanda è quali sono i pro e i contro di RMSE o . Ho visto entrambi essere utilizzati nei documenti per il problema a cui sto lavorando.$R^2$

Li ho usati entrambi e ho alcuni punti da sottolineare.

• Rmse è utile perché è semplice da spiegare. Tutti sanno di cosa si tratta.
• Rmse non mostra i valori relativi. Se , è necessario conoscere in modo specifico l'intervallo . Se , allora 0.2 è un buon valore. Se , non sembra più così buono.α < y x < β α = 1 , β = 1000 α = 0 , β = $rmse=0.2$$\alpha <y_x< \beta$$\alpha=1, \beta=1000$$\alpha=0, \beta=1$
• In linea con l'approccio precedente, rmse è un buon modo per nascondere il fatto che le persone che hai intervistato o le misurazioni che hai preso sono per lo più uniformi (tutti hanno valutato il prodotto con 3 stelle) e i tuoi risultati sembrano buoni perché i dati ti hanno aiutato. Se i dati fossero un po 'casuali, troverai il tuo modello in orbita attorno a Giove.
• Usa il coefficiente di determinazione aggiustato, piuttosto che l'ordinario$R^2$
• Il coefficiente di determinazione è difficile da spiegare. Anche le persone del settore hanno bisogno di una nota a piè di pagina come \ footnote {Il coefficiente di determinazione corretto è la proporzione della variabilità in un set di dati che può essere spiegato dal modello statistico. Questo valore mostra quanto i risultati futuri possano essere previsti dal modello. può assumere 0 come minimo e 1 come massimo.}$R^2$
• Il coefficiente di determinazione è tuttavia molto preciso nel dire quanto bene il tuo modello spiega un fenomeno. se , indipendentemente valori , il modello è . Credo che il punto di partenza per un buon modello inizi da 0,6, e se hai qualcosa intorno allo 0,7-0,8, il tuo modello è molto buono.y $R^2=0.2$$y_x$
• Per ricapitolare, dice che, con il tuo modello, puoi spiegare il 70% di ciò che sta accadendo nei dati reali. Il resto, il 30%, è qualcosa che non conosci e non puoi spiegare. Probabilmente è perché ci sono fattori confondenti o hai commesso degli errori nella costruzione del modello.$R^2=0.7$
• In informatica, quasi tutti usano rmse. Le scienze sociali usano più spesso.$R^2$
• Se non è necessario giustificare i parametri nel proprio modello, utilizzare semplicemente rmse. Tuttavia, se è necessario inserire, rimuovere o modificare i parametri durante la creazione del modello, è necessario utilizzare per mostrare che questi parametri possono spiegare meglio i dati.$R^2$
• Se utilizzerai , codifica in lingua R. Ha librerie e gli dai semplicemente i dati per avere tutti i risultati.$R^2$

Per un aspirante informatico, è stato elettrizzante scrivere di statistiche. Cordialmente.

Indipendentemente dalla misurazione dell'errore che dai, prendi in considerazione la possibilità di fornire il vettore del risultato completo in un'appendice. Le persone a cui piace confrontare il tuo metodo ma preferiscono un'altra misurazione dell'errore possono ricavare tale valore dalla tua tabella.

$R^2$ :

• Non riflette errori sistematici. Immagina di misurare diametri anziché raggi di oggetti circolari. Hai una sopravvalutazione prevista del 100%, ma puoi raggiungere ancora un vicino a 1.$R^2$

• Non sono d'accordo con i commenti precedenti che è difficile da capire. Più alto è il valore, più preciso è il tuo modello, ma può includere errori sistematici.$R^2$

• Può essere espresso dalla formula di facile comprensione in cui si costruisce il rapporto tra la somma dei residui quadrati e si divide per la media:

$R^2 = 1 - {\frac{SS_E}{mean}} = 1 - \frac{\sum{(y_i - \overline{y_i}})^2}{\sum{(y_i - \overline{y}})^2}$

• dovrebbe essere espresso nella sua versione più avanzata di . Qui più predittori puniscono il modello. Previsto per essere più robusto contro il sovradimensionamento.$R^2_{adj.}$

$RMSE$ :

• È possibile raggiungere un basso solo avendo sia un'alta precisione (valori anomali singoli ma grandi puniscono pesantemente) che nessun errore sistematico. Quindi in un certo senso un basso una qualità migliore di un alto .R M S E R $RMSE$$RMSE$$R^2$

• Questo numero ha un'unità ed è per le persone che non hanno familiarità con i tuoi dati non è facile da interpretare. Ad esempio, può essere diviso con la media dei dati per produrre un . Attenzione, questa non è l'unica definizione di . Alcune persone preferiscono dividere per l'intervallo dei loro dati anziché dividere per la media.r e l . R M S $rel. RMSE$$rel. RMSE$

Come menzionato da altre persone, la scelta potrebbe dipendere dal campo e dallo stato dell'arte. Esiste un metodo ampiamente accettato per confrontare anche? Usa le stesse misurazioni che fanno e sei in grado di collegare facilmente i vantaggi dei tuoi metodi nella discussione.

Sia il Root-Mean-Square-Error (RMSE) che il coefficiente di determinazione ( )$R^2$ offrono informazioni diverse, ma complementari, che dovrebbero essere valutate quando si valuta il proprio modello fisico. Nessuno dei due è "migliore", ma alcuni report potrebbero concentrarsi maggiormente su una metrica a seconda della particolare applicazione.

Vorrei utilizzare quanto segue come guida molto generale per comprendere la differenza tra entrambe le metriche:

L' RMSE ti dà un senso di quanto vicino (o lontano) i valori previsti sono dai dati effettivi si sta tentando di modello. Ciò è utile in una varietà di applicazioni in cui si desidera comprendere l'accuratezza e la precisione delle previsioni del modello (ad es. Altezza dell'albero di modellazione).

Professionisti

1. È relativamente facile da capire e comunicare poiché i valori riportati sono nelle stesse unità della variabile dipendente da modellare.

Contro

1. È sensibile a errori di grandi dimensioni (penalizza gli errori di previsione più ampi rispetto agli errori di previsione più piccoli).

$R^2$

Professionisti

1. Fornisce un'idea generale di come le variabili selezionate si adattano ai dati.

Contro

1. $R^2$$R^2$

Naturalmente, quanto sopra sarà soggetto alle dimensioni del campione e al design del campionamento e alla comprensione generale che la correlazione non implica la causalità.

C'è anche MAE, Errore assoluto medio. A differenza di RMSE, non è eccessivamente sensibile agli errori di grandi dimensioni. Da quello che ho letto, alcuni campi preferiscono RMSE, altri MAE. Mi piace usare entrambi.

In realtà, per gli scienziati statistici dovrebbe conoscere la migliore misura del modello, quindi RMSE è molto importante per quelle persone nella sua solida ricerca. Se RMSE è molto vicino allo zero, quindi il modello è più adatto.

Il coefficiente di determinazione è buono per altri scienziati come l'agricoltura e altri campi. È un valore compreso tra 0 e 1. Se è 1, il 100% dei valori corrisponde ai set di dati osservati. Se è 0, i dati sono completamente eterogenei. Dr.SK.Khadar Babu, VIT University, Vellore, Tamil Nadu, India.

Se viene aggiunto un numero a ciascun elemento di uno dei vettori, RMSE cambia. Lo stesso se tutti gli elementi in uno o entrambi i vettori sono moltiplicati per un numero. Segue il codice R;

#RMSE vs pearson's correlation
one<-rnorm(100)
two<-one+rnorm(100)

rumis<-(two - one)^2
(RMSE<-sqrt(mean(rumis)))
cor(one,two)

oneA<-one+100

rumis<-(two - oneA)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneA,two)

oneB<-one*10
twoB<-two*10

rumis<-(twoB - oneB)^2
(RMSE<-sqrt(mean(rumis)))
cor(oneB,twoB)
cor(oneB,twoB)^2

In definitiva la differenza è solo la standardizzazione in quanto entrambi portano alla scelta dello stesso modello, perché RMSE volte il numero di osservazioni è nel numeratore o R al quadrato e il denominatore di quest'ultimo è costante su tutti i modelli (basta tracciare una misura rispetto al altro per 10 modelli diversi).