Qual è la differenza tra una funzione di perdita e una funzione di decisione?

Vedo che entrambe le funzioni fanno parte di metodi di data mining come Gradient Boosting Regressors. Vedo che anche quelli sono oggetti separati.

Come è la relazione tra i due in generale?

Una funzione decisionale è una funzione che accetta un set di dati come input e fornisce una decisione come output. Quale può essere la decisione dipende dal problema attuale. Esempi inclusi:

• Problemi di stima: la "decisione" è la stima.
• Problemi di verifica dell'ipotesi: la decisione è di rifiutare o non rifiutare l'ipotesi nulla.
• Problemi di classificazione: la decisione è quella di classificare una nuova osservazione (o osservazioni) in una categoria.
• Problemi di selezione del modello: la decisione è quella di scegliere uno dei modelli candidati.

In genere, esiste un numero infinito di funzioni decisionali disponibili per un problema. Se ad esempio siamo interessati a stimare l'altezza dei maschi svedesi sulla base di dieci osservazioni , possiamo usare una delle seguenti funzioni decisionali :d ( x$\mathbf{x}=(x_1,x_2,\ldots,x_{10})$$d(\mathbf{x})$

• La media di esempio: .$d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$
• La mediana del campione:$d(\mathbf{x})=\mbox{median}(\mathbf{x})$
• La media geometrica del campione:$d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
• La funzione che restituisce sempre 1: , indipendentemente dal valore di . Stupido, sì, ma è comunque una valida funzione decisionale.$d(\mathbf{x})=1$$\mathbf{x}$

Come possiamo quindi determinare quale di queste funzioni decisionali usare? Un modo è utilizzare una funzione di perdita , che descrive la perdita (o il costo) associata a tutte le possibili decisioni. Diverse funzioni decisionali tenderanno a generare diversi tipi di errori. La funzione di perdita ci dice che tipo di errori dovremmo essere più preoccupati. La funzione di decisione migliore è la funzione che produce la perdita minima prevista . Cosa si intende per perdita attesa dipende dall'impostazione (in particolare, se stiamo parlando di statistiche frequentiste o bayesiane ).

In sintesi:

• Le funzioni decisionali vengono utilizzate per prendere decisioni in base ai dati.
• Le funzioni di perdita vengono utilizzate per determinare quale funzione di decisione utilizzare.

La funzione di perdita è ciò che è minimizzato per ottenere un modello che è ottimale in un certo senso. Il modello stesso ha una funzione decisionale che viene utilizzata per prevedere.

Ad esempio, nei classificatori SVM:

• funzione di perdita: minimizza l'errore e la norma quadrata dell'iperpiano di separazione$\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
• funzione decisionale: distanza firmata dall'iperpiano di separazione:$f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$