Foresta casuale vs Adaboost

Nella sezione 7 dell'articolo Random Forests (Breiman, 1999), l'autore afferma la seguente congettura: "Adaboost è una foresta casuale".

Qualcuno ha dimostrato o smentito questo? Cosa è stato fatto per dimostrare o confutare questo post 1999?

machine-learning random-forest boosting

— alex
fonte

Si prega di leggere stats.stackexchange.com/questions/77018/… Forse troverai la tua risposta lì

@ user75008 Grazie! Quindi, la sezione 7 fornisce un'altra congettura, tale che, se dimostrato, mostra che adaboost è equivalente alla foresta casuale. Qualcuno ha mostrato che questa congettura è vera?

— Alex,

@ user75008 Sto leggendo il tuo link, stats.stackexchange.com/questions/77018/… , pensi che suggerisca che Adaboost non è equivalente a Random Forest?

— Alex,

Domanda interessante. Da allora è stato fatto un sacco di lavoro per spiegare l'ada boost attraverso alcune tattiche diverse.

Ho fatto una rapida ricerca di letteratura e questo documento un po 'strano sembra essere il più recente sull'argomento e rivede anche un mucchio del lavoro intercalato di Brieman e altri:

http://arxiv.org/pdf/1212.1108.pdf

Non ho idea se i loro risultati siano validi, ma sostengono di non essere riusciti a provare la congettura di Brieman ma di averne provato una versione indebolita sostenendo che adaboost è una misura che preserva ma non necessariamente ergodica.

Presentano anche alcune prove empiriche del fatto che adaboost in effetti a volte si vesti troppo.

Penso che suggerisce che adaboost possa essere correlato a una foresta casuale ma non del tutto (o non sempre) equivalente nel modo in cui Brieman ha congetturato?

— Ryan Bressler
fonte

grazie, quindi suppongo che questa sia ancora una domanda aperta, ma la tua ultima affermazione sta dicendo.

— Alex,

Sì, penso che sia ancora aperto. Penso anche che l'interesse per l'analisi di AdaBoost sia diminuito man mano che le macchine per aumentare il gradiente [stocastico] sono diventate più popolari. AdaBoost è una forma di discesa gradiente ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ) e pensare in termini di discesa gradiente esplicitamente randomizzata può essere più intuitivo e più pratico dell'equivalenza proposta da Brieman. (Vale a dire, anche se fosse vero, potrebbe essere davvero difficile campionare dalla distribuzione necessaria in pratica.)

— Ryan Bressler,

Ho appena visto questo nuovo articolo sull'argomento: arxiv.org/pdf/1504.07676v1.pdf

— Ryan Bressler

Molto interessante se vero! "Concludiamo che il potenziamento dovrebbe essere usato come foreste casuali: con grandi alberi decisionali e senza regolarizzazione diretta o arresto anticipato."

— Alex,