Calcolo della probabilità da RMSE

Ho un modello per prevedere una traiettoria (x in funzione del tempo) con diversi parametri. Al momento, calcolo l'errore quadratico medio radice (RMSE) tra la traiettoria prevista e la traiettoria registrata sperimentalmente. Attualmente, minimizzo questa differenza (RMSE) usando simplex (fminsearch in matlab). Mentre questo metodo funziona per fornire buoni accoppiamenti, vorrei confrontare diversi modelli diversi, quindi penso di dover calcolare la probabilità in modo da poter utilizzare la stima della massima verosimiglianza piuttosto che minimizzare l'RMSE (e quindi confrontare i modelli usando AIC o BIC ). Esiste un modo standard per farlo?

maximum-likelihood curve-fitting

— Jason
fonte

L'errore al quadrato della radice e la probabilità sono in realtà strettamente correlati. Supponi di avere un set di dati di coppie e desideri modellare la loro relazione utilizzando il modello . Decidi di ridurre al minimo l'errore quadratico $\lbrace x_i, z_i \rbrace$ $f$

\sum_{i} {(f (x_{i}) - z_{i})}^{2}

$\sum_i \left(f(x_i) - z_i\right)^2$

Questa scelta non è del tutto arbitraria? Certo, vuoi penalizzare le stime che sono completamente sbagliate più di quelle che hanno ragione. Ma c'è un'ottima ragione per usare l'errore al quadrato.

Ricorda la densità gaussiana: doveè la costante di normalizzazione che non ci interessa per ora. Supponiamo che i tuoi dati targetsiano distribuiti secondo un gaussiano. In questo modo possiamo annotare la probabilità dei dati. $\frac{1}{Z}\exp \frac{-(x - \mu)^2}{2\sigma^2}$ $Z$ $z$

L = \prod_{i} \frac{1}{Z} \exp \frac{- (f (x_{i}) - z_{i})^{2}}{2 σ^{2}}

$\mathcal{L} = \prod_i \frac{1}{Z}\exp \frac{-(f(x_i) - z_i)^2}{2\sigma^2}$

Ora se prendi il logaritmo di questo ...

\log L = \sum_{i} \frac{- (f (x_{i}) - z_{i})^{2}}{2 σ^{2}} - \log Z

$\log \mathcal{L} = \sum_i \frac{-(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

... risulta che è strettamente correlato all'rms: le uniche differenze sono alcuni termini costanti, una radice quadrata e una moltiplicazione.

Per farla breve: minimizzare l'errore quadratico medio della radice equivale a massimizzare la probabilità di log dei dati.

— bayerj
fonte

Grazie per la chiara spiegazione. Quindi, se voglio confrontare due modelli (non incorporati) usando BIC, posso semplicemente eliminare i termini sigma ^ 2 e Z (assumendo effettivamente che siano gli stessi tra i modelli) quando si calcola la probabilità?

— Jason,

σ

$\sigma$

σ

$\sigma$

\log L = \sum_{i} \frac{(f (x_{i}) - z_{i})^{2}}{2 σ^{2}} - \log Z

$\log \mathcal{L} = \sum_i \frac{(f(x_i) - z_i)^2}{2\sigma^2} - \log Z$

C'è un segno negativo mancante nella distribuzione gaussiana?

— Manoj,

σ

$\sigma$