Sto cercando di ottenere una prospettiva globale su alcune delle idee essenziali nell'apprendimento automatico e mi chiedevo se esiste un trattamento completo delle diverse nozioni di perdita (quadrato, log, cardine, proxy, ecc.). Stavo pensando a qualcosa sulla falsariga di una presentazione più completa e formale dell'eccellente post di John Langford sulla Lant Function Semantics .
Risposte:
Il tutorial sull'apprendimento basato sull'energia di LeCun et al. potrebbe darti una buona parte del percorso lì. Descrivono una serie di funzioni di perdita e discutono di ciò che li rende "buoni o cattivi" per i modelli basati sull'energia.
La funzione di perdita è data dal problema. Potrebbe essere qualsiasi cosa. Ad esempio, potresti anche penalizzare il tempo e lo spazio della CPU utilizzati.
Nell'apprendimento per rinforzo, la funzione di perdita è una funzione non deterministica sconosciuta. Non è possibile ridefinirlo senza cambiare il problema.
So che questa domanda è in qualche modo datata, ma è qualcosa a cui sono attualmente interessato.
Un ottimo documento sul tema delle funzioni di perdita convessa e della coerenza del classificatore è " Comportamento statistico e coerenza dei metodi di classificazione basati sulla minimizzazione del rischio convesso " di Tong Zhang.