Funzione obiettivo, funzione costo, funzione perdita: sono la stessa cosa?

Nell'apprendimento automatico, le persone parlano di funzione oggettiva, funzione di costo, funzione di perdita. Sono solo nomi diversi della stessa cosa? Quando usarli? Se non si riferiscono sempre alla stessa cosa, quali sono le differenze?

Questi non sono termini molto rigidi e sono altamente correlati. Però:

• La funzione di perdita è generalmente una funzione definita su un punto dati, previsione ed etichetta e misura la penalità. Per esempio:
  • perdita quadrata , usata nella regressione lineare$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • perdita della cerniera , utilizzata in SVM$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • 0/1 perdita , utilizzato nell'analisi teorica e nella definizione di accuratezza$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• La funzione di costo è generalmente più generale. Potrebbe trattarsi di una somma di funzioni di perdita sul set di allenamento più una penalità di complessità del modello (regolarizzazione). Per esempio:
  • Errore al quadrato medio$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • Funzione di costo SVM (ci sono ulteriori vincoli che collegano con e con set di addestramento)$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• La funzione obiettivo è il termine più generale per qualsiasi funzione ottimizzata durante l'allenamento. Ad esempio, una probabilità di generare un training set nell'approccio con la massima verosimiglianza è una funzione oggettiva ben definita, ma non è una funzione di perdita né una funzione di costo (tuttavia è possibile definire una funzione di costo equivalente). Per esempio:
  • MLE è un tipo di funzione oggettiva (che massimizzi)
  • La divergenza tra le classi può essere una funzione oggettiva ma a malapena è una funzione di costo, a meno che non si definisca qualcosa di artificiale, come 1-Divergenza, e si denomini un costo

Per farla breve, direi che:

Una funzione di perdita fa parte di una funzione di costo che è un tipo di funzione oggettiva.

Secondo il prof. Andrew Ng (vedere le diapositive a pagina 11),

La funzione h (X) rappresenta la tua ipotesi. Per i parametri di adattamento fissi theta, è una funzione delle funzioni X. Direi che questa può anche essere chiamata Funzione Obiettivo.

La funzione di costo J è una funzione dei parametri di adattamento theta. J = J (theta).

Secondo il libro di testo di Hastie et al. "Elements of Statistical Learning" , di p.37:

"Cerchiamo una funzione f (X) per prevedere i valori Y dati dell'ingresso X." [...] la funzione di perdita L (Y, f (X)) è "una funzione per penalizzare gli errori nella previsione",

Quindi sembra che "funzione di perdita" sia un termine leggermente più generale di "funzione di costo". Se cerchi "perdita" in quel PDF, penso che usino "funzione di costo" e "funzione di perdita" in qualche modo come sinonimi.

Anzi, p. 502

"La situazione [nel clustering] è in qualche modo simile alla specifica di una funzione di perdita o di costo nei problemi di previsione (apprendimento supervisionato)".

Forse questi termini esistono perché si sono evoluti in modo indipendente nelle diverse comunità accademiche. "Funzione oggettiva" è un vecchio termine usato nella ricerca operativa e in ingegneria matematica. La "funzione di perdita" potrebbe essere più utilizzata dagli statistici. Ma sto speculando qui.

Nelle parole di Andrew NG-

"Infine, la funzione di perdita è stata definita rispetto a un singolo esempio di allenamento. Misura quanto bene stai facendo su un singolo esempio di allenamento. Ora definirò qualcosa chiamato funzione di costo, che misura quanto bene stai facendo un intero set di addestramento. Quindi la funzione di costo J che viene applicata ai parametri W e B sarà la media con una delle m della somma della funzione di perdita applicata a ciascuno degli esempi di allenamento e turno. "

Dalla sezione 4.3 in "Apprendimento profondo" - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://www.deeplearningbook.org/

"La funzione che vogliamo minimizzare o massimizzare è chiamata funzione oggettiva o criterio. Quando la stiamo minimizzando, possiamo anche chiamarla funzione di costo, funzione di perdita o funzione di errore. In questo libro, usiamo questi termini in modo intercambiabile, sebbene alcune pubblicazioni di apprendimento automatico attribuiscano un significato speciale ad alcuni di questi termini ".

In questo libro, almeno, perdite e costi sono gli stessi.

Per darti una risposta breve, secondo me sono sinonimi. Tuttavia, la funzione di costo viene utilizzata maggiormente nel problema di ottimizzazione e la funzione di perdita viene utilizzata nella stima dei parametri.

I termini funzioni di costo e perdita sono sinonimi che alcune persone chiamano anche funzione di errore. Lo scenario più generale è definire prima una funzione obiettiva, che vogliamo ottimizzare. Questa funzione obiettiva potrebbe essere quella di

1. massimizzare le probabilità posteriori (ad esempio, Bayes ingenuo)
2. massimizzare una funzione di fitness (programmazione genetica)
3. massimizzare la funzione di ricompensa / valore totale (apprendimento di rinforzo)
4. massimizzare il guadagno delle informazioni / minimizzare le impurità del nodo figlio (classificazione dell'albero decisionale CART) 5.minimizzare una funzione di costo (o perdita) dell'errore al quadrato medio (CART, regressione dell'albero decisionale, regressione lineare, neuroni lineari adattativi, ...
5. massimizzare la verosimiglianza o minimizzare la perdita (o costo) di entropia incrociata minimizzare la perdita di cerniera (macchina vettoriale di supporto)

In realtà per essere semplice Se hai m dati di allenamento come questo (x (1), y (1)), (x (2), y (2)),. . . (x (m), y (m)) Usiamo la funzione di perdita L (ycap, y) per trovare la perdita tra ycap e y di un singolo set di allenamento Se vogliamo trovare la perdita tra ycap e y di un intero set di allenamento che usiamo funzione di costo.

Nota: - ycap indica l'output del nostro modello E y indica l'output previsto

Nota: - Il merito va Andrew ng Risorsa: rete neurale di corso e apprendimento profondo

La funzione di perdita calcola l'errore per un singolo esempio di allenamento, mentre la funzione di costo è la media delle funzioni di perdita dell'intero set di addestramento.