Cosa significa quando le persone dicono che una funzione di costo è qualcosa che vuoi minimizzare?

Ho molti problemi a capirlo. Significa che non dovresti usare la funzione di costo molto spesso?

No, significa che stai cercando di trovare gli input che rendono l'output della funzione di costo il più piccolo. Non significa che dovresti "minimizzare" l'uso di esso.

Una funzione di costo è qualcosa che usi per penalizzare le alte deviazioni dai risultati attesi rispetto alle tue previsioni effettive.

Puoi pensare a una funzione di costo come un segno di quanto fosse brutta la tua previsione. Un valore della funzione di costo elevato indica che la previsione era davvero disattivata, quindi l'attenzione per minimizzare la funzione di costo, producendo così un modello di previsione accurato.

Le funzioni di costo nel contesto di Machine Learning spesso calcolano una sorta di metrica che indica il rendimento del modello. Uno comune è ad esempio l'errore quadratico medio, in cui guardi tutti i tuoi esempi di test in cui conosci il valore vero e quello previsto, prendi la differenza tra quello e lo quadrato. Riducendo al minimo questo errore (funzione di costo) si assume che le previsioni siano migliori.

Considera di disporre di alcuni dati e di voler modellare una funzione adatta ai dati. Questa funzione dovrebbe adattarsi bene e non dovrebbe avere errori (idealmente). Come definisco questo errore? e voilà ecco che arriva la funzione di costo.

Ridurre a icona una funzione (costo) significa che si desidera trovare buoni valori per i suoi parametri. Buoni parametri indicano che la funzione può produrre i migliori risultati possibili, vale a dire i più piccoli, perché valori piccoli significano meno errori . Questo è un problema di ottimizzazione: il problema di trovare la migliore soluzione tra tutte le possibili soluzioni. ( fonte )