Che cos'è l'errore Bayes nell'apprendimento automatico?

http://www.deeplearningbook.org/contents/ml.html Pagina 116 spiega l'errore bayes come di seguito

Il modello ideale è un oracolo che conosce semplicemente la vera distribuzione di probabilità che genera i dati. Anche un modello del genere comporterà comunque un errore su molti problemi, perché potrebbe esserci ancora del rumore nella distribuzione. Nel caso dell'apprendimento supervisionato, la mappatura da x a y può essere intrinsecamente stocastica, oppure y può essere una funzione deterministica che coinvolge altre variabili oltre a quelle incluse in x. L'errore causato da un oracolo che fa previsioni dalla vera distribuzione p (x, y) è chiamato errore di Bayes.

Domande

1. Spiegare l'errore Bayes in modo intuitivo?
2. In cosa differisce dall'errore irriducibile?
3. Posso dire errore totale = errore Bias + varianza + Bayes?
4. Che cosa significa "y può essere intrinsecamente stocastico"?

L'errore di Bayes è l'errore di previsione più basso possibile che può essere raggiunto ed è uguale all'errore irriducibile. Se uno sapesse esattamente quale processo genera i dati, allora gli errori verranno comunque commessi se il processo è casuale. Questo è anche ciò che si intende per " è intrinsecamente stocastico".$y$

Ad esempio, quando lanciamo una moneta giusta, sappiamo esattamente quale processo genera il risultato (una distribuzione binomiale). Tuttavia, se dovessimo prevedere l'esito di una serie di lanci di monete, commetteremmo comunque degli errori, perché il processo è intrinsecamente casuale (cioè stocastico).

Per rispondere alla tua altra domanda, hai ragione nel dichiarare che l'errore totale è la somma di bias (al quadrato), varianza ed errore irriducibile. Vedi anche questo articolo per una spiegazione di facile comprensione di questi tre concetti.

Da https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Per l'attività di classificazione, l'errore bayes è definito come:

$min_f=Cost(f)$

Il classificatore Bayes è definito come: $argmin_f=Cost(f)$

Quindi errore totale = errore bayes + quanto il tuo modello è peggiore dell'errore bayes Errore di bias + varianza + Bayes che può dipendere dal tuo modello e dalla natura intrinseca del "rumore di distribuzione"$\not\equiv$

Qual è il significato di "y può essere intrinsecamente stocastico"? Ad esempio, . Ma ciò che raccogli come y è sempre inquinato come , dove Quindi non hai modo di conoscere y reale e la stima dei costi che hai è intrinsecamente inquinato. Anche Oracle ti dà la risposta giusta, pensi che siano sbagliati.$y=f(x)=sin(x)$$\tilde{y}=y+t$$t\sim N(0, \sigma^2)$