In che modo l'aumento del gradiente è come la discesa del gradiente?

Sto leggendo l'utile voce di Wikipedia sull'aumento del gradiente ( https://en.wikipedia.org/wiki/Gradient_boosting ), e cerco di capire come / perché possiamo approssimare i residui con la fase di discesa più ripida (chiamata anche pseudo-gradiente ). Qualcuno può darmi l'intuizione su come la discesa più ripida è collegata / simile ai residui? Aiuto molto apprezzato!

self-study gradient-descent

— Wouter
fonte

Supponiamo di essere nella seguente situazione. Abbiamo alcuni dati , in cui ogni può essere un numero o un vettore e vorremmo determinare una funzione che approssima la relazione , nel senso che i minimi quadrati errore: $\{ x_i, y_i \}$ $x_i$ $f$ $f(x_i) \approx y_i$

\frac{1}{2} \sum_{i} (y_{i} - f (x_{i}))^{2}

$\frac{1}{2} \sum_i (y_i - f(x_i))^2$

è piccolo.

Ora, si pone la questione di cosa vorremmo che fosse il dominio di . Una scelta degenerata per il dominio sono solo i punti nei nostri dati di formazione. In questo caso, potremmo semplicemente definire , coprendo l'intero dominio desiderato, ed essere fatto con esso. Un modo per arrivare a questa risposta è fare una discesa gradiente con questo spazio discreto come dominio. Questo richiede un po 'di cambiamento dal punto di vista. Vediamo la perdita in funzione del punto vero e della previsione (per il momento, non è una funzione, ma solo il valore della previsione) $f$ $f(x_i) = y$ $y$ $f$ $f$

L (f; y) = \frac{1}{2} (y - f)^{2}

$L(f; y) = \frac{1}{2} (y - f)^2$

e quindi prendere il gradiente rispetto alla previsione

\nabla_{f} L (f; y) = f - y

$\nabla_f L(f; y) = f - y$

Quindi l'aggiornamento del gradiente, a partire da un valore iniziale di è $y_0$

y_{1} = y_{0} - \nabla_{f} (y_{0}, y) = y_{0} - (y_{0} - y) = y

$y_1 = y_0 - \nabla_f (y_0, y) = y_0 - (y_0 - y) = y$

Quindi recuperiamo la nostra previsione perfetta in un gradiente con questa configurazione, il che è bello!

Il difetto qui è, ovviamente, che vogliamo che sia definito in molto più dei semplici punti di dati di allenamento. Per fare questo, dobbiamo fare alcune concessioni, poiché non siamo in grado di valutare la funzione di perdita, o il suo gradiente, in punti diversi dal nostro set di dati di allenamento. $f$

La grande idea è quella di debolmente approssimativa . $\nabla L$

Startcon un'ipotesi iniziale , quasi sempre una semplice funzione costante , questa è definita ovunque. Ora genera un nuovo set di dati di lavoro valutando il gradiente della funzione di perdita in corrispondenza dei dati di allenamento, usando l'ipotesi iniziale per : $f$ $f(x) = f_0$ $f$

W = {x_{i}, f_{0} - y}

$W = \{ x_i, f_0 - y \}$

Now approximate $\nabla L$ inserendo studente debole . Diciamo che otteniamo il ravvicinamento . Abbiamo acquisito un'estensione dei dati nell'intero dominio sotto forma di , anche se abbiamo perso la precisione nei punti di addestramento, dal momento che ci adattiamo a un piccolo studente. $W$ $F \approx \nabla L$ $W$ $F(X)$

Finally, usa al posto di nell'aggiornamento del gradiente di sull'intero dominio: $F$ $\nabla L$ $f_0$

f_{1} (x) = f_{0} (x) - F (x)

$f_1(x) = f_0(x) - F(x)$

Usciamo da , una nuova approssimazione di , un po 'meglio di . Ricominciare con e iterare fino a quando non è soddisfatto. $f_1$ $f$ $f_0$ $f_1$

Spero che tu veda che ciò che è veramente importante è approssimare il gradiente della perdita. Nel caso della minimizzazione dei minimi quadrati, ciò assume la forma di residui grezzi, ma in casi più sofisticati no. Il macchinario si applica comunque comunque. Finché si può costruire un algoritmo per calcolare la perdita e il gradiente di perdita sui dati di addestramento, possiamo usare questo algoritmo per approssimare una funzione che minimizza quella perdita.

— Matthew Drury
fonte

Yah, penso che sia buono. L'unica cosa da notare è che se, ad esempio, vuoi aumentare per ridurre al minimo la perdita binomiale il gradiente che espandiamo non è più legati ai residui in modo naturale.

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log (p_i) + (1 - y_i) \log(1 - p_i)$

— Matthew Drury,

Grazie Matteo. Una cosa che sto cercando di farmi girare la testa. In letteratura si afferma spesso che l'aggiornamento del modello è F (m + 1) = F (m) + , dove h (m) è lo studente debole. Se sto pensando a un modello basato sull'albero, significa che sia per la regressione che per la classificazione aggiorniamo praticamente la nostra previsione per un dato punto dati con la semplice aggiunta dei risultati dei due modelli? funziona anche se stiamo cercando di classificare questo binario? o il segno + non dovrebbe essere interpretato in modo così letterale?

α_{m} * h (m)

$\alpha_m*h(m)$

— Wouter,

Il segno più è piuttosto letterale. Ma per gli studenti deboli basati su alberi, le previsioni del modello dovrebbero essere interpretate come la media ponderata nella foglia, anche nel caso in cui l'albero sia adatto ai dati binomiali. Si noti, tuttavia, che nel potenziamento, di solito non ci stiamo adattando ai dati binomiali, ci stiamo adattando al gradiente della probabilità valutata nelle previsioni della fase precedente, che non sarà valutato .

0, 1

$0,1$

— Matthew Drury,

@MatthewDrury Penso che in molte pubblicazioni non siamo aggiornamento diretto con , ma con , dove da 0 a 1 è un tasso di apprendimento.

f_{1}

$f_1$

f_{0} - F (x)

$f_0-F(x)$

f_{0} - α * F (x)

$f_0-\alpha*F(x)$

α

$\alpha$

— Haitao Du,

@ hxd1011 Sì, è assolutamente corretto e cruciale per utilizzare correttamente l'incremento gradiente.

— Matthew Drury,