Intervallo di confidenza di RMSE

Ho preso un campione di punti dati da una popolazione. Ognuno di questi punti ha un valore vero (noto dalla verità di base) e un valore stimato. Quindi calcolo l'errore per ciascun punto campionato e quindi calcolo l'RMSE del campione. $n$

Come posso quindi dedurre una sorta di intervallo di confidenza attorno a questo RMSE, basato sulla dimensione del campione ? $n$

Se stavo usando la media, piuttosto che l'RMSE, non avrei problemi a farlo poiché posso usare l'equazione standard

$m = \frac{Z \sigma}{\sqrt{n}}$

ma non so se questo è valido per RMSE piuttosto che per la media. C'è un modo per adattarlo?

(Ho visto questa domanda , ma non ho problemi con se la mia popolazione è normalmente distribuita, che è la risposta qui)

confidence-interval

— robintw
fonte

Che cosa stai specificamente calcolando quando "calcoli l'RMSE del campione"? È l'RMSE dei valori reali, dei valori stimati o delle loro differenze?

— whuber

Sto calcolando l'RMSE delle differenze, ovvero calcolando la radice quadrata della media delle differenze quadrate tra i valori reali e stimati.

— Robintw,

Se conosci la "verità fondamentale" (anche se non sono sicuro di cosa significhi effettivamente), perché avresti bisogno dell'incertezza in RMSE? Stai cercando di costruire una sorta di inferenza sui casi in cui non hai la verità fondamentale? È un problema di calibrazione?

— Glen_b

@Glen_b: Sì, è esattamente quello che stiamo cercando di fare. Non abbiamo la verità fondamentale per l'intera popolazione, solo per il campione. Stiamo quindi calcolando un RMSE per il campione e vogliamo avere gli intervalli di confidenza su questo mentre stiamo usando questo campione per inferire l'RMSE della popolazione.

— Robintw,

Possibile duplicato di SE di RMSE in R

— Curious

Risposte:

Con un ragionamento simile a quello qui , potrei essere in grado di dare una risposta alla tua domanda a determinate condizioni.

Lascia che sia il tuo vero valore per il punto dati e il valore stimato. Se assumiamo che le differenze tra i valori stimati e reali abbiano $x_{i}$ $i^{th}$ $\hat{x}_{i}$

media zero (ovvero i sono distribuiti intorno a ) $\hat{x}_{i}$ $x_{i}$
seguire una distribuzione normale
e tutti hanno la stessa deviazione standard $\sigma$

in breve:

{\hat{x}}_{i} - x_{i} \sim N (0, σ^{2}),

$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$

allora vuoi davvero un intervallo di confidenza per . $\sigma$

Se i presupposti di cui sopra sono veri segue una distribuzione con (non ) gradi di la libertà. Questo significa

\frac{n {RMSE}^{2}}{σ^{2}} = \frac{n \frac{1}{n} \sum_{i} {(\hat{x_{i}} - x_{i})}^{2}}{σ^{2}}

$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$

χ_{n}^{2}

$\chi_{n}^{2}$

n

$n$

n - 1

$n-1$

\begin{aligned} P (χ_{\frac{α}{2}, n}^{2} \leq \frac{n {RMSE}^{2}}{σ^{2}} \leq χ_{1 - \frac{α}{2}, n}^{2}) = 1 - α \\ \Leftrightarrow P (\frac{n {RMSE}^{2}}{χ_{1 - \frac{α}{2}, n}^{2}} \leq σ^{2} \leq \frac{n {RMSE}^{2}}{χ_{\frac{α}{2}, n}^{2}}) = 1 - α \\ \Leftrightarrow P (\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE \leq σ \leq \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE) = 1 - α . \end{aligned}

$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$

Pertanto, è il tuo intervallo di confidenza.

[\sqrt{\frac{n}{χ_{1 - \frac{α}{2}, n}^{2}}} RMSE, \sqrt{\frac{n}{χ_{\frac{α}{2}, n}^{2}}} RMSE]

$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$

Ecco un programma Python che simula la tua situazione

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Spero possa aiutare.

Se non sei sicuro che le ipotesi si applichino o se desideri confrontare ciò che ho scritto con un metodo diverso, puoi sempre provare il bootstrap .

— fabee
fonte

Penso che ti sbagli: vuole CI per RMSE, non . E lo voglio anche io :)

σ

$\sigma$

— Curioso il

Non penso di sbagliarmi. Pensaci in questo modo: MSE è in realtà la varianza di esempio poiché . L'unica differenza è che dividi per e non per poiché non stai sottraendo la media del campione qui. L'RMSE corrisponderebbe quindi a . Pertanto, la popolazione RMSE è e per questo si desidera un elemento della configurazione . Questo è ciò che ho derivato. Altrimenti devo fraintendere completamente il tuo problema.

MSE = {\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - {\hat{x}}_{i})^{2}

$\mbox{MSE} = \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\hat x_i)^2$

n

$n$

n - 1

$n-1$

σ

$\sigma$

σ

$\sigma$

— fabee,

Il ragionamento nella risposta di fabee sembra corretto se applicato allo STDE (deviazione standard dell'errore), non all'RMSE. Usando una nomenclatura simile, è un indice che rappresenta ciascun record di dati, è il valore reale e è una misura o una previsione. $i=1,\,\ldots,\,n$ $x_i$ $\hat{x}_i$

L'errore , BIAS, MSE (errore quadratico medio) e RMSE sono dati da: $\epsilon_i$

ε_{io} = {\hat{X}}_{io} - X_{io}, BIAS = \bar{ε} = \frac{1}{n} Σ_{io = 1}^{n} ε_{io}, MSE = \bar{ε^{2}} = \frac{1}{n} Σ_{io = 1}^{n} ε_{io}^{2}, RMSE = \sqrt{MSE} .

$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$

Concordando su queste definizioni, il BIAS corrisponde alla media del campione di , ma MSE non è la varianza del campione distorta. Invece: oppure, se sono stati calcolati sia BIAS che RMSE, Si noti che la varianza del campione distorta viene utilizzata al posto di quella imparziale , per mantenere la coerenza con le definizioni precedenti fornite per MSE e RMSE. $\epsilon$

{STDE}^{2} = \bar{(ε - \bar{ε})^{2}} = \frac{1}{n} Σ_{io = 1}^{n} (ε_{io} - \bar{ε})^{2},

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$

{STDE}^{2} = \bar{(ε - \bar{ε})^{2}} = \bar{ε^{2}} - {\bar{ε}}^{2} = {RMSE}^{2} - {BIAS}^{2} .

$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$

Pertanto, a mio avviso, gli intervalli di confidenza stabiliti da fabee si riferiscono alla deviazione standard del campione di , STDE. Allo stesso modo, è possibile stabilire intervalli di confidenza per il BIAS in base al punteggio z (o al punteggio t se ) e. $\epsilon$ $n<30$ $\left.\text{STDE}\middle/\sqrt{n}\right.$

— CVR
fonte

Hai ragione, ma ho perso una parte della mia risposta. Praticamente ho ipotizzato che BIAS = 0 (vedi presupposto 1). In tal caso, come derivato. Poiché sia che sono ed esiste una soluzione in formato stretto per la somma di due camper , è possibile derivare probabilmente un intervallo di confidenza in forma stretta per il caso quando l'assunto 1 viene eliminato. Se lo fai e aggiorni la tua risposta, la voterò sicuramente.

R M S E^{2} = S T D E^{2}

$RMSE^2 = STDE^2$

R M S E^{2}

$RMSE^2$

B I A S^{2}

$BIAS^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— Fabee,

Dopo Faaber 1999 , l'incertezza di RMSE è data come dove è il numero di punti dati.

σ (\hat{R M S E}) / R M S E = \sqrt{\frac{1}{2 n}}

$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$

n

$n$

— LKlevin
fonte