La somma di due alberi decisionali equivale a un singolo albero decisionale?

Supponiamo di avere due alberi di regressione (albero A e albero B) che mappa ingresso di uscita . Let per l'albero A e per l'albero B. Ogni albero utilizza spaccature binari, con iperpiani come le funzioni di separazione. $x \in \mathbb{R}^d$ $\hat{y} \in \mathbb{R}$ $\hat{y} = f_A(x)$ $f_B(x)$

Supponiamo ora di prendere una somma ponderata degli output dell'albero:

f_{C} (X) = w_{UN} f_{UN} (X) + w_{B} f_{B} (X)

$f_C(x) = w_A \ f_A(x) + w_B \ f_B(x)$

La funzione equivale a un singolo albero di regressione (più profondo)? $f_C$ Se la risposta è "a volte", a quali condizioni?

Idealmente, vorrei consentire gli iperpiani obliqui (ovvero le divisioni eseguite su combinazioni lineari di funzioni). Tuttavia, supponendo che le divisioni a funzionalità singola potrebbero essere accettabili se questa è l'unica risposta disponibile.

Esempio

Ecco due alberi di regressione definiti su uno spazio di input 2d:

La figura mostra come ogni albero partizioni input spazio e l'output per ogni regione (codificato in scala di grigi). I numeri colorati indicano le regioni dello spazio di input: 3,4,5,6 corrispondono ai nodi foglia. 1 è l'unione di 3 e 4, ecc.

Supponiamo ora di calcolare la media della produzione di alberi A e B:

L'output medio viene tracciato a sinistra, con i limiti di decisione degli alberi A e B sovrapposti. In questo caso, è possibile costruire un singolo albero più profondo il cui output è equivalente alla media (tracciato a destra). Ogni nodo corrisponde a una regione di spazio di input che può essere costruita dalle regioni definite dagli alberi A e B (indicati da numeri colorati su ciascun nodo; più numeri indicano l'intersezione di due regioni). Nota che questo albero non è unico: avremmo potuto iniziare a costruire dall'albero B invece che dall'albero A.

Questo esempio mostra che esistono casi in cui la risposta è "sì". Mi piacerebbe sapere se questo è sempre vero.

regression machine-learning cart

— user20160
fonte

Hmm .. Se fosse così, perché dovremmo addestrare una foresta a caso? (Perché chiaramente la combinazione lineare di 500 alberi può essere ri-espressa come 499 somme ponderate a coppie di 500 alberi) Bella domanda, +1.

— usεr11852 dice Reinstate Monic il

domanda interessante! Suppongo che lo spazio di ipotesi degli alberi delle decisioni e degli insiemi degli alberi delle decisioni (potenziamento, combinazione lineare di alberi) sia lo stesso. In attesa di una risposta ..

— Laksan Nathan,

@ usεr11852 Forse perché usare un singolo albero molto grande al posto della foresta è molto più lento? Proprio come nelle reti neurali, le reti a un livello nascosto possono già approssimare tutte le funzioni continue, ma l'aggiunta di livelli rende la rete più veloce. Non dire questo è il caso qui, ma potrebbe essere.

— Harto Saarinen,

@HartoSaarinen: questo è un modo interessante di pensare a questo, ma sospetto che non regge facilmente. È ammesso che alberi molto profondi possano sovrautilizzare e generalizzare male (anche le loro previsioni sono piuttosto instabili). Inoltre (per quanto riguarda le considerazioni sulla velocità) alberi più profondi richiedono esponenzialmente più divisioni e quindi più tempo di addestramento. (Un albero di profondità 10 ha al massimo 1023 divisioni ma un albero di profondità 20, 1048575 si divide. Molto più lavoro!)

— usεr11852 dice Reinstate Monic

@ usεr11852 Sono d'accordo che potrebbe essere totalmente falso e la risposta potrebbe essere qualcosa di totalmente diverso. Questo è ciò che rende il campo così interessante in questo momento, super molte cose da scoprire!

— Harto Saarinen,

Sì, la somma ponderata degli alberi di regressione equivale a un singolo albero di regressione (più profondo).

Approssimatore di funzioni universale

Un albero di regressione è un approssimatore di funzioni universale (vedi ad esempio cstheory ). La maggior parte della ricerca sulle approssimazioni di funzioni universali viene effettuata su reti neurali artificiali con un livello nascosto (leggi questo fantastico blog). Tuttavia, la maggior parte degli algoritmi di apprendimento automatico sono approssimazioni di funzioni universali.

Essere un approssimatore di funzioni universali significa che qualsiasi funzione arbitraria può essere approssimativamente rappresentata. Pertanto, indipendentemente dalla complessità della funzione, un'approssimazione di funzione universale può rappresentarla con qualsiasi precisione desiderata. Nel caso di un albero di regressione, puoi immaginarne uno infinitamente profondo. Questo albero infinitamente profondo può assegnare qualsiasi valore a qualsiasi punto nello spazio.

Poiché una somma ponderata di un albero di regressione è un'altra funzione arbitraria, esiste un altro albero di regressione che rappresenta quella funzione.

Un algoritmo per creare un tale albero

$T_1$ $T_2$ $T_2$ $T1$ $T1$ $T2$ .

L'esempio seguente mostra due alberi semplici che vengono aggiunti con peso 0,5. Si noti che un nodo non verrà mai raggiunto, poiché non esiste un numero inferiore a 3 e maggiore di 5. Ciò indica che questi alberi possono essere migliorati, ma non li rende non validi.

Perché usare algoritmi più complessi

@ Usεr11852 ha sollevato un'interessante domanda aggiuntiva nei commenti: perché dovremmo usare algoritmi di potenziamento (o in realtà qualsiasi algoritmo di apprendimento automatico complesso) se ogni funzione può essere modellata con un semplice albero di regressione?

Gli alberi di regressione possono effettivamente rappresentare qualsiasi funzione, ma questo è solo uno dei criteri per un algoritmo di apprendimento automatico. Un'altra importante proprietà è quanto bene generalizzano. Gli alberi di regressione profonda sono inclini a un eccesso di adattamento, cioè non si generalizzano bene. Una foresta casuale calcola in media molti alberi profondi per evitarlo.

— Pieter
fonte