Risultati teorici per foreste casuali?

9

Le foreste casuali hanno una reputazione tra i professionisti di essere tra le tecniche di classificazione più efficaci. Eppure non li incontriamo molto nella letteratura teorica dell'apprendimento, da cui suppongo un'assenza di profondi risultati teorici. Se si volesse approfondire questa teoria, da dove iniziare?

machine-learning lg.learning

— Aryeh
fonte

2

C'è un nuovo articolo nel prossimo SODA'15 che potrebbe essere rilevante. Vedi meetings.siam.org/sess/dsp_talk.cfm?p=68795

— Chandra Chekuri,

@ChandraChekuri, vedo solo un abstract, ma non un foglio. C'è un documento completo? E ha qualcosa a che fare con il metodo di apprendimento automatico delle foreste casuali (per attività di apprendimento / classificazione supervisionate)?

— DW,

@DW Scrivi agli autori e vedi se sono disposti a condividere una copia. Sono a conoscenza dei risultati ma non ho visto il documento da solo.

— Chandra Chekuri,

5

Seguendo la risposta di Simone, Gerard Biau ha molti ottimi documenti che guardano alla convergenza e alla coerenza per le foreste casuali. Le analisi sono per versioni leggermente semplificate dell'algoritmo rispetto a Breiman 2001, ma meno semplificate rispetto ai risultati precedenti.

Gli articoli di Biau (insieme ai suoi collaboratori) sono tutti disponibili sul suo sito Web:

http://www.lsta.upmc.fr/BIAU/publications.html

Un aspetto particolarmente rilevante è un lavoro "in corso di stampa" sulla coerenza: http://www.lsta.upmc.fr/BIAU/sbv.pdf

Ci sono altri 2-3 articoli con contenuto di foresta casuale. Mi sono appena iscritto a Cstheory, quindi non posso pubblicare più di due link ma il sito delle pubblicazioni sopra ha tutti.

Spero sia di aiuto. Sembra che ci sia una raffica di attività recenti dal 2008, dopo un periodo di uso ampiamente empirico del metodo. E la buona notizia è che le indagini teoriche sembrano dimostrare che il metodo è robusto e ha buone proprietà.

— Mark Madsen
fonte

6

Immagino che tu abbia già dato un'occhiata al documento di Breiman del 2001 sulla RF. Posso solo sottolineare alcuni altri riferimenti:

Confronti empirici di diverse semplificazioni RF che consentono di dimostrare teoremi: Restringere il divario: foreste casuali in teoria e in pratica

Questo è il riferimento più recente che posso fornire. In questo articolo puoi anche trovare alcune citazioni degli articoli di Biau sul lavoro iniziale sui risultati teorici per RF.

Se sei interessato a risultati teorici sull'importanza variabile in RF: Comprensione delle importazioni variabili nelle foreste di alberi randomizzati

In realtà ho appena scoperto che l'autore dell'ultimo articolo (Gilles Louppe) ha appena pubblicato su arxiv la sua tesi di dottorato (v2): Capire le foreste casuali: dalla teoria alla pratica

— Simone
fonte