Gli algoritmi dell'albero decisionale sono lineari o non lineari

21

Recentemente a un mio amico è stato chiesto se gli algoritmi dell'albero decisionale fossero algoritmi lineari o non lineari in un'intervista. Ho cercato di cercare risposte a questa domanda ma non sono riuscito a trovare spiegazioni soddisfacenti. Qualcuno può rispondere e spiegare la soluzione a questa domanda? Inoltre, quali sono alcuni altri esempi di algoritmi di apprendimento automatico non lineari?

— user2966197
fonte

Meraviglie in quale contesto intendevano che, regressione, dati separabili linearmente?

— image_doctor

1

Probabilmente intendevano il confine tra le classi; è composto da iperpiani o no.

— Emre,

17

Un albero decisionale è una mappatura non lineare di Xa y. Questo è facile da vedere se si prende una funzione arbitraria e si crea un albero alla sua massima profondità.

Per esempio:

if x = 1, y = 1
if x = 2, y = 15
if x = 3, y = 3
if x = 4, y = 27
...

Certo, questo è un albero completamente in forma e non generalizza. Ma dimostra perché un albero decisionale è una mappatura non lineare.

— inversione
fonte

10

Recentemente a un mio amico è stato chiesto se l'algoritmo dell'albero decisionale fosse un algoritmo lineare o non lineare in un'intervista

Gli alberi decisionali sono un classificatore non lineare come le reti neurali, ecc. Viene generalmente utilizzato per classificare i dati separabili non linearmente.

Anche quando si considera l'esempio di regressione, l'albero decisionale non è lineare.

Ad esempio, una linea di regressione lineare sarebbe in qualche modo simile a questa:

I punti rossi sono i punti dati.

E un diagramma di regressione dell'albero decisionale sarebbe simile al seguente:

Quindi, chiaramente gli alberi delle decisioni non sono lineari

— Dawny33
fonte

Aumentare la profondità dell'albero porterebbe a un maggior adattamento, e quindi a una struttura più non lineare.

— Dawny33

3

Gli alberi decisionali non sono lineari. A differenza della regressione lineare, non esiste alcuna equazione per esprimere la relazione tra variabili indipendenti e dipendenti.

Ex:

Regressione lineare - Prezzo del frutto = b0 + b1 * Freschezza + b2 * Dimensioni

Albero decisionale - Nodi: Maturi - Sì o no | Fresco - Sì o No | Dimensioni - <5,> 5 ma <10 e> 10 |

Nel secondo caso non esiste una relazione lineare tra variabili indipendenti e dipendenti.

3

Come molti hanno sottolineato, un albero di regressione / decisione è un modello non lineare. Si noti tuttavia che si tratta di un modello lineare a tratti : in ogni vicinato (definito in modo non lineare), è lineare. In effetti, il modello è solo una costante locale.

$\theta$

y_{io} = α_{1} 1 (X_{io} < θ) + α_{2} 1 (X_{io} \geq θ) + ε_{io}

$y_i = \alpha_1 1(x_i < \theta) + \alpha_2 1(x_i \geq \theta) + \epsilon_i$

$1(A)$

— Matifou
fonte

2

$VC$ $2^d$ $d$ $2^{2^d}$ $m$ $d$ $min(2^d, m)$ ID3C4.5

— Media
fonte