Regressione quantile: funzione di perdita

Sto cercando di capire la regressione quantile, ma una cosa che mi fa soffrire è la scelta della funzione di perdita.

$\rho_\tau(u) = u(\tau-1_{\{u<0\}})$

So che il minimo dell'aspettativa di $\rho_\tau(y-u)$ è uguale a $\tau\%$ -quantile, ma qual è la ragione intuitiva per iniziare con questa funzione? Non vedo la relazione tra minimizzare questa funzione e il quantile. Qualcuno può spiegarmelo?

Capisco questa domanda come chiedere approfondimenti su come si potrebbe inventare qualsiasi funzione di perdita che produce un dato quantile come minimizzatore di perdita, indipendentemente dalla distribuzione sottostante. Sarebbe insoddisfacente, quindi, solo ripetere l'analisi su Wikipedia o altrove che mostra che questa particolare funzione di perdita funziona.

Cominciamo con qualcosa di familiare e semplice.

Che cosa si sta parlando è trovare un "luogo" rispetto a una distribuzione o insieme di dati F . È noto, ad esempio, che la media ˉ x minimizza il residuo quadrato previsto; cioè, è un valore per il quale$x^{*}$$F$$\bar x$

$$\mathcal{L}_F(\bar x)=\int_{\mathbb{R}} (x - \bar x)^2 dF(x)$$

è il più piccolo possibile. Ho usato questa notazione per ricordarci che è derivato da una perdita , che è determinato da F , ma soprattutto dipende dal numero ˉ x .$\mathcal{L}$$F$$\bar x$

Il modo standard per mostrare che minimizza qualsiasi funzione inizia dimostrando che il valore della funzione non diminuisce quando x ∗ viene modificato di un po '. Tale valore è chiamato punto critico della funzione.$x^{*}$$x^{*}$

Quale tipo di funzione di perdita comporterebbe un percentile F - 1 ( α ) un punto critico? La perdita per quel valore sarebbe$\Lambda$$F^{-1}(\alpha)$

$$\mathcal{L}_F(F^{-1}(\alpha)) = \int_{\mathbb{R}} \Lambda(x-F^{-1}(\alpha))dF(x)=\int_0^1\Lambda\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.$$

Perché questo sia un punto critico, la sua derivata deve essere zero. Dal momento che stiamo solo cercando di trovare una soluzione, non ci fermeremo per vedere se le manipolazioni sono legittime: pianificheremo di controllare i dettagli tecnici (come se davvero possiamo differenziare , ecc. ) Alla fine. così$\Lambda$

$$\eqalign{0 &=\mathcal{L}_F^\prime(x^{*})= \mathcal{L}_F^\prime(F^{-1}(\alpha))= -\int_0^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du \\ &= -\int_0^{\alpha} \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du -\int_{\alpha}^1 \Lambda^\prime\left(F^{-1}(u)-F^{-1}(\alpha)\right)du.\tag{1} }$$

Sul lato sinistro, l'argomento di è negativo, mentre sul lato destro è positivo. Oltre a ciò, abbiamo poco controllo sui valori di questi integrali perché F potrebbe essere qualsiasi funzione di distribuzione. Di conseguenza la nostra unica speranza è far dipendere Λ ′ solo dal segno della sua argomentazione, e altrimenti deve essere costante.$\Lambda$$F$$\Lambda^\prime$

Ciò implica che sarà lineare a tratti, potenzialmente con diverse pendenze a sinistra e a destra di zero. Chiaramente dovrebbe diminuire quando si avvicina lo zero: dopo tutto, si tratta di una perdita e non di un guadagno . Inoltre, riscalare Λ di una costante non cambierà le sue proprietà, quindi potremmo sentirci liberi di impostare la pendenza della mano sinistra su - 1 . Sia τ > 0 la pendenza a destra. Quindi ( 1 ) semplifica$\Lambda$$\Lambda$$-1$$\tau \gt 0$$(1)$

$$0 = \alpha - \tau (1 - \alpha),$$

da cui la soluzione unica è, fino a un multiplo positivo,

$$\Lambda(x) = \cases{-x, \ x \le 0 \\ \frac{\alpha}{1-\alpha}x, \ x \ge 0.}$$

$1-\alpha$

$\Lambda$

The way this loss function is expressed is nice and compact but I think it's easier to understand by rewriting it as

$$\rho_\tau(X-m) = (X-m)(\tau-1_{(X-m<0)}) = \begin{cases} \tau |X-m| & if \; X-m \ge 0 \\ (1 - \tau) |X-m| & if \; X-m < 0) \end{cases}$$

If you want to get an intuitive sense of why minimizing this loss function yields the $\tau$th quantile, it's helpful to consider a simple example. Let $X$ be a uniform random variable between 0 and 1. Let's also choose a concrete value for $\tau$, say, $0.25$.

So now the question is why would this loss function be minimized at $m=0.25$? Obviously, there's three times as much mass in the uniform distribution to the right of $m$ than there is to the left. And the loss function weights the values larger than this number at only a third of the weight given to values less than it. Thus, it's sort of intuitive that the scales are balanced when the $\tau$th quantile is used as the inflection point for the loss function.