Come funziona la regressione quantile?

Spero di ottenere una spiegazione intuitiva e accessibile della regressione quantile.

Diciamo che ho un semplice set di dati del risultato e i predittori . $Y$ $X_1, X_2$

Se, ad esempio, eseguo una regressione quantile a .25, .5, .75 e torno indietro $\beta_{0,.25},\beta_{1,.25}...\beta_{2,.75}$ .

I valori $\beta$ trovano semplicemente ordinando i valori $y$ ed eseguendo una regressione lineare sulla base degli esempi che sono al / vicino al dato quantile?

O tutti i campioni contribuiscono alle stime $\beta$ , con pesi decrescenti all'aumentare della distanza dal quantile?

O è qualcosa di completamente diverso? Devo ancora trovare una spiegazione accessibile.

quantile-regression

— Jeremy
fonte

Per quanto riguarda la matematica potresti trovare utili queste due risposte: stats.stackexchange.com/questions/102906/… , stats.stackexchange.com/questions/88387/…

— Andy

Risposte:

Consiglio Koenker & Hallock (2001, Journal of Economic Perspectives) e l' omonimo libro di testo di Koenker .

Il punto di partenza è l'osservazione che la mediana di un set di dati minimizza la somma degli errori assoluti . Cioè, il 50% quantile è una soluzione a un particolare problema di ottimizzazione (per trovare il valore che minimizza la somma degli errori assoluti).
Da ciò, è facile scoprire che qualsiasi -quantile è la soluzione a uno specifico problema di minimizzazione, vale a dire minimizzare una somma di errori assoluti ponderati asimmetricamente , con pesi che dipendono da . $\tau$ $\tau$
Infine, per fare il passo verso la regressione, modelliamo la soluzione a questo problema di minimizzazione come una combinazione lineare di variabili predittive, quindi ora il problema è quello di trovare non un singolo valore, ma un insieme di parametri di regressione.

Quindi la tua intuizione è abbastanza corretta: tutti i campioni contribuiscono alle stime , con pesi asimmetrici a seconda del quantile cui miriamo. $\beta$ $\tau$

— S. Kolassa - Ripristina Monica
fonte

Per quanto riguarda il punto 1), non sarebbe vero solo supponendo che Y sia distribuito simmetricamente? Se Y è inclinato come {1, 1, 2, 4, 10}, la mediana 2 certamente non minimizzerebbe l'errore assoluto. La regressione quantile presuppone sempre che Y sia distribuito simmetricamente? Grazie!

— Ben

@Ben: no, la simmetria non è richiesta. Il punto chiave è che la mediana minimizza l' errore assoluto previsto . Se si dispone di una distribuzione discreta con valori 1, 2, 4, 10 e probabilità 0.4, 0.2, 0.2, 0.2, un riepilogo puntuale di 2 minimizza effettivamente l' errore assoluto previsto . Una simulazione è solo alcune righe del codice R:

foo <- sample(x=c(1,2,4,10),size=1e6,prob=c(.4,.2,.2,.2),replace=TRUE); xx <- seq(1,10,by=.1); plot(xx,sapply(xx,FUN=function(yy)mean(abs(yy-foo))),type="l")

— S. Kolassa - Ripristina Monica

(E sì, avrei dovuto essere più chiaro nella mia risposta, invece di discutere di "somme".)

— S. Kolassa - Ripristina Monica

Derp. Cosa stavo pensando. Questo ha senso ora, grazie.

— Ben

L'idea di base della regressione quantile deriva dal fatto che l'analista è interessato alla distribuzione dei dati piuttosto che alla media dei dati. Iniziamo con la media.

La regressione media si adatta a una linea della forma di alla media dei dati. In altre parole, . Un approccio generale per stimare questa linea sta usando il metodo del minimo quadrato, . $y=X\beta$ $E(Y|X=x)=x\beta$ $\arg\min_\beta (y-x\beta)'(y-X\beta)$

D'altra parte, la regressione mediana cerca una linea che prevede che metà dei dati siano sui lati. In questo caso la funzione target èdoveè la prima norma. $\arg\min_\beta |y-X\beta|$ $|.|$

Estensione dell'idea della mediana ai risultati quantili nella regressione quantile. L'idea alla base è quella di trovare una linea che -percent di dati va oltre. $\alpha$

Qui hai fatto un piccolo errore, la regressione Q non è come trovare un quantile di dati, quindi adattare una linea a quel sottoinsieme (o anche ai bordi che sono più difficili).

La regressione Q cerca una linea che divide i dati in un qroup a quantile e il resto . Funzione target, dicendo che la funzione di controllo della regressione Q è $\alpha$

{\hat{β}}_{α} = \arg min_{β} {α | y - X β | I (y > X β) + (1 - α) | y - X β | I (y < X β)} .

$\hat\beta_\alpha=\arg\min_\beta \bigg\{\alpha |y-X\beta| I(y>X\beta) + (1-\alpha) |y-X\beta|I(y<X\beta)\bigg\}.$

Come vedi questa intelligente funzione target non è altro che tradurre il quantile in un problema di ottimizzazione.

Inoltre, come vedi, la regressione Q è definita per un certo quantificare ( ) e quindi può essere estesa per trovare tutti i quantili. In altre parole, la regressione Q può riprodurre la distribuzione (condizionale) della risposta. $\beta_\alpha$

— TPArrow
fonte

Questa risposta è geniale.

— Jinhua Wang,