Come progettare e implementare una funzione di perdita asimmetrica per la regressione?

Problema

Nella regressione si calcola di solito l' errore quadratico medio (MSE) per un campione: per misurare la qualità di un predittore.

MSE = \frac{1}{n} \sum_{i = 1}^{n} {(g (x_{i}) - \hat{g} (x_{i}))}^{2}

$\text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2$

In questo momento sto lavorando a un problema di regressione in cui l'obiettivo è prevedere il prezzo che i clienti sono disposti a pagare per un prodotto dato un numero di funzioni numeriche. Se il prezzo previsto è troppo alto, nessun cliente acquisterà il prodotto, ma la perdita monetaria è bassa perché il prezzo può semplicemente essere diminuito. Ovviamente non dovrebbe essere troppo alto in quanto il prodotto potrebbe non essere acquistato per molto tempo. D'altra parte se il prezzo previsto è troppo basso, il prodotto verrà acquistato rapidamente senza la possibilità di adeguare il prezzo.

In altre parole, l'algoritmo di apprendimento dovrebbe prevedere prezzi leggermente più alti che possono essere decrementati se necessario piuttosto che sottovalutare il prezzo reale che si tradurrà in una perdita monetaria immediata.

Domanda

Come progetteresti una metrica di errore che incorpori questa asimmetria dei costi?

Possibile soluzione

Un modo per definire una funzione di perdita asimmetrica sarebbe semplicemente moltiplicare per un peso: con come parametro che possiamo regolare per cambiare il grado di asimmetria. L'ho trovato qui . Questa sembra la cosa più semplice da fare, pur mantenendo la perdita quadratica.

\frac{1}{n} \sum_{i = 1}^{n} | α - 1_{(g (x_{i}) - \hat{g} (x_{i})) < 0} | \cdot {(g (x_{i}) - \hat{g} (x_{i}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left| \alpha - \mathbb{1}_{(g(x_i) - \widehat{g}(x_i)) < 0} \right|\cdot \left(g(x_i) - \widehat{g}(x_i)\right)^2$

α \in (0, 1)

$\alpha \in (0,1)$

regression error loss-functions

— Kiudee
fonte

@MichaelChernick, FTR, penso che questa sia una buona domanda, che è stata espressa in modo chiaro e coerente, e riconosco che sono un po 'schizzinoso. Quello a cui sto arrivando è (come sapete) che si adatta una regressione (ovvero, la risoluzione di ) viene eseguita (per impostazione predefinita) minimizzando la funzione di perdita OLS , SSE. Hai ragione sul fatto che MSE potrebbe essere usato in modo equivalente b / c dividendo per una costante non influenzerà l'ordinamento dei beta candidati.

β

$\boldsymbol{\beta}$

— gung - Ripristina Monica

Un altro fatto è che MSE (più spesso RMSE) viene spesso utilizzato per valutare la qualità di un modello adattato (anche se, di nuovo, SSE potrebbe essere usato in modo equivalente). Il fatto è che questa domanda sembra (secondo me) su come pensare / ridisegnare la funzione di perdita , in modo che le beta montate siano diverse da come sarebbero state di default, piuttosto che su come pensare diversamente sulla qualità di un modello che è già stato in forma.

— gung - Ripristina Monica

@Kiudee, se la mia interpretazione della tua Q è corretta, cosa penseresti di modificarla per aggiungere il tag di perdita di funzioni e possibilmente rivedere il titolo in qualcosa del tipo: "Come progettare e implementare una funzione di perdita asimmetrica per la regressione"? Non eseguirò le modifiche da solo nel caso in cui non sei d'accordo con loro.

— gung - Ripristina Monica

Per riferimento, ho visto la regressione quantile suggerita quando vuoi funzioni di perdita asimmetrica, vedi Berk, 2011 , PDF qui .

— Andy W,

Poiché sto usando una varietà di algoritmi di apprendimento per affrontare questo problema, la funzione dovrebbe essere differenziabile almeno una volta.

— Kiudee,

Come menzionato nei commenti sopra, la regressione quantile utilizza una funzione di perdita asimmetrica (lineare ma con pendenze diverse per errori positivi e negativi). L'analogo quadratico (perdita quadrata) della regressione quantile è la regressione prevedibile.

Puoi google regressione quantile per i riferimenti. Per una regressione prevedibile, consultare il pacchetto R explorereg e i riferimenti nel manuale di riferimento.

— Innuo
fonte

Questo tipo di ponderazione disuguale è spesso fatto in problemi di classificazione con due classi. La regola di Bayes può essere modificata usando una funzione di perdita che pesa la perdita più elevata per un errore rispetto all'altro. Ciò porterà a una regola che produce tassi di errore ineguali.

In regressione sarebbe certamente possibile costruire una funzione di peso come una somma ponderata di quadrati che darà un certo peso agli errori negativi e un peso maggiore a quelli positivi. Questo sarebbe simile al quadrato minimo ponderato ma un po 'diverso perché i minimi quadrati ponderati sono destinati a problemi in cui la varianza dell'errore non è costante nello spazio dei possibili valori per le variabili predittive. In tal caso, i pesi sono più alti per i punti in cui la varianza dell'errore è nota per essere piccola e più alta dove la varianza dell'errore è nota per essere grande. Questo ovviamente porterà a valori per i parametri di regressione che sono diversi da ciò che OLS ti darebbe.

— Michael R. Chernick
fonte