Perché l'errore quadratico medio è l'entropia incrociata tra la distribuzione empirica e un modello gaussiano?

28

Nel 5.5, Deep Learning (di Ian Goodfellow, Yoshua Bengio e Aaron Courville), lo afferma

Qualsiasi perdita consistente in una probabilità logaritmica negativa è una entropia incrociata tra la distribuzione empirica definita dal set di addestramento e la distribuzione di probabilità definita dal modello. Ad esempio, l'errore quadratico medio è l'entropia incrociata tra la distribuzione empirica e un modello gaussiano.

Non riesco a capire perché siano equivalenti e gli autori non si espandono sul punto.

machine-learning normal-distribution cross-entropy

— Mufei Li
fonte

32

Lascia che i dati siano . Scrivi per la distribuzione empirica. Per definizione, per qualsiasi funzione , $\mathbf{x}=(x_1, \ldots, x_n)$ $F(\mathbf{x})$ $f$

E_{F (x)} [f (X)] = \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) .

$\mathbb{E}_{F(\mathbf{x})}[f(X)] = \frac{1}{n}\sum_{i=1}^n f(x_i).$

Lascia che il modello abbia densità dove è definito sul supporto del modello. L' entropia incrociata di e è definita come $M$ $e^{f(x)}$ $f$ $F(\mathbf{x})$ $M$

\begin{matrix} (1) & H (F (x), M) = - E_{F (x)} [\log (e^{f (X)}] = - E_{F (x)} [f (X)] = - \frac{1}{n} \sum_{i = 1}^{n} f (x_{i}) . \end{matrix}

$H(F(\mathbf{x}), M) = -\mathbb{E}_{F(\mathbf{x})}[\log(e^{f(X)}] = -\mathbb{E}_{F(\mathbf{x})}[f(X)] =-\frac{1}{n}\sum_{i=1}^n f(x_i).\tag{1}$

Supponendo che $x$ sia un semplice campione casuale, la sua probabilità di log negativa è

\begin{matrix} (2) & - \log (L (x)) = - \log \prod_{i = 1}^{n} e^{f (x_{i})} = - \sum_{i = 1}^{n} f (x_{i}) \end{matrix}

$-\log(L(\mathbf{x}))=-\log \prod_{i=1}^n e^{f(x_i)} = -\sum_{i=1}^n f(x_i)\tag{2}$

in virtù delle proprietà dei logaritmi (convertono i prodotti in somme). L'espressione è un'espressione volte costante . Poiché le funzioni di perdita vengono utilizzate nelle statistiche solo confrontandole, non fa differenza che una sia una (positiva) volte l'altra. È in questo senso che la verosimiglianza negativa "è una" entropia incrociata nella citazione. $(2)$ $n$ $(1)$

Ci vuole un po 'più di immaginazione per giustificare la seconda affermazione della citazione. La connessione con errore al quadrato è chiara, perché per un "modello gaussiano" che prevede i valori nei punti , il valore di in uno di questi punti è $p(x)$ $x$ $f$

f (x; p, σ) = - \frac{1}{2} (\log (2 π σ^{2}) + \frac{(x - p (x))^{2}}{σ^{2}}),

$f(x; p, \sigma) = -\frac{1}{2}\left(\log(2\pi \sigma^2) + \frac{(x-p(x))^2}{\sigma^2}\right),$

che è l'errore al quadrato ma riscalato di e spostato da una funzione di . Un modo per rendere corretta la quotazione è assumere che non consideri parte del "modello" - deve essere determinato in qualche modo indipendentemente dai dati. In tal caso, le differenze tra gli errori al quadrato medio sono proporzionali alle differenze tra entropie incrociate o probabilità di log, rendendo così tutti e tre equivalenti ai fini del fitting del modello. $(x-p(x))^2$ $1/(2\sigma^2)$ $\sigma$ $\sigma$ $\sigma$

(Di solito, però, è adatto come parte del processo di modellazione, nel qual caso la citazione non sarebbe del tutto corretta.) $\sigma = \sigma(x)$

— whuber
fonte

1

+1 con due suggerimenti: potrebbe usare

invece di

per evitare confusione con

. Il secondo è che la maggior parte delle stime di

saranno

. Quando lo colleghi e lo aggiungi ottieni

g ()

$g ()$

f ()

$f ()$

F ()

$F ()$

σ^{2}

$\sigma^2$

k \sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}

$k\sum_{i=1}^n \left (x_i - p (x_i)\right)^2$

. Simile a AIC-tipo formula ...

- \frac{1}{2} \log [\sum_{i = 1}^{n} {(x_{i} - p (x_{i}))}^{2}] + h (k)

$-\frac {1}{2}\log\left [\sum_{i=1}^n \left (x_i - p (x_i)\right)^2\right] +h(k)$

— probabilityislogic

@probabilityislogic scelgo la coppia

e

, perché non rappresentano le quantità strettamente correlati.

F

$F$

f

$f$

— whuber

Ciao, penso che questo sia applicato solo alla distribuzione lineare. In problemi di distribuzione non lineare, penso che possiamo ancora usare MSE come funzione di costo, giusto?

— Lion Lai,

5

Per i lettori del libro di Deep Learning, vorrei aggiungere all'eccellente risposta accettata che gli autori spiegano dettagliatamente la loro dichiarazione nella sezione 5.5.1, vale a dire l' Esempio: regressione lineare come massima verosimiglianza .

Lì, elencano esattamente il vincolo menzionato nella risposta accettata:

$p(y | x) = \mathcal{N}\big(y; \hat{y}(x; w), \sigma^2\big)$ $\hat{y}(x; w)$ $\sigma^2$

$p(y|x)$

— Kilian Batzner
fonte