Un moncone di decisione è un modello lineare?

Ceppo decisionale è un albero decisionale con una sola divisione. Può anche essere scritto come una funzione a tratti.

Ad esempio, supponiamo che $x$ sia un vettore e $x_1$ sia il primo componente di $x$ , nell'impostazione di regressione, un moncone di decisione può essere

$f(x)= \begin{cases} 3& x_1\leq 2 \\ 5 & x_1 > 2 \\ \end{cases}$

Ma è un modello lineare? dove può essere scritto come $f(x)=\beta^T x$ ? Questa domanda può sembrare strana, perché come menzionato nelle risposte e nei commenti, se tracciamo la funzione a tratti non è una linea. Si prega di consultare la sezione successiva per il motivo per cui sto ponendo questa domanda.

MODIFICARE:

Il motivo per cui faccio questa domanda è che la regressione logistica è un modello lineare (generalizzato) e il limite di decisione è una linea, anche per il moncone decisionale. Nota, abbiamo anche questa domanda: perché la regressione logistica è un modello lineare? . D'altra parte, non sembra vero che il moncone decisionale sia un modello lineare.

Un altro motivo per cui ho posto questa domanda è a causa di questa domanda: nel potenziamento, se lo studente di base è un modello lineare, il modello finale è solo un semplice modello lineare? dove, se utilizziamo un modello lineare come studente di base, non otteniamo altro che regressione lineare. Ma se selezioniamo lo studente di base come moncone decisionale, stiamo ottenendo un modello molto interessante.

Ecco un esempio di potenziamento del moncone decisionale alla regressione con 2 funzioni e 1 risposta continua.

— Haitao Du
fonte

Perché lo considereresti lineare ...?

— Tim

@ hxd1011 importante distinguere tra il confine decisionale e la funzione decisionale qui

— shadowtalker

Potrei chiamarlo un polinomio del 1000 ° ordine con tutti gli ordini da 1 a 1000 pari a zero. Potrei chiamarlo un modello di ordine zero (alias costante) e comunicarebbe in modo più succinto le caratteristiche principali. Un albero classico è costante a tratti. L'albero banale, un moncone, è una singola spaccatura nello spazio in cui il modello da un lato è costante e dall'altro è una costante diversa. Non è costante a livello globale, ma non è nemmeno poly1. La libreria "cubista" in R si adatta ai modelli lineari effettivi (poli1) anziché ai modelli costanti. Potresti provarlo.

— EngrStudent - Ripristina Monica il

Se tracciate una linea nel piano (diciamo y = 0) e prendete una funzione

, allora

avrà linee di contorno che sono linee effettive (parallele all'asse

), ma non sarà una funzione lineare.

f (x)

$f(x)$

g (x, y) = f (x)

$g(x, y) = f(x)$

y

$y$

— Matthew Drury,

Questa è una domanda strana. Puoi tracciare la funzione dal tuo esempio (che è uguale a 3 per x <2 e 5 per x> 2)? Guardalo: è una linea retta? Se non è una linea retta, non è una funzione lineare.

— ameba dice di reintegrare Monica il

Risposte:

No, a meno che non si trasformino i dati.

È un modello lineare se si trasforma usando la funzione indicatore: $x$

x^{'} = I ({x > 2}) = {\begin{cases} \begin{aligned} 0 & x \leq 2 \\ 1 & x > 2 \end{aligned} \end{cases}

$x' = \mathbb I \left(\{x>2\}\right) = \begin{cases}\begin{align} 0 \quad &x\leq 2\\ 1 \quad &x>2 \end{align}\end{cases}$

Quindi $f(x) = 2x' + 3 = \left(\matrix{3 \\2}\right)^T \left(\matrix{1 \\x'}\right)$

Modifica: questo è stato menzionato nei commenti, ma voglio enfatizzarlo anche qui. Qualsiasi funzione che suddivide i dati in due pezzi può essere trasformata in un modello lineare di questo modulo, con un'intercettazione e un singolo input (un indicatore di quale "lato" della partizione è il punto dati). È importante prendere nota della differenza tra una funzione decisionale e un limite di decisione .

— shadowtalker
fonte

"trasformare" è complicato, penso che la rete neurale (MLP) sia non lineare, ma dopo la trasformazione, è lineare ..

— Haitao Du

x^{'}

$x'$

x \leq 2

$x \leq 2$

@ hxd1011 la risposta è "no, a meno che tu non trasformi i dati"

— shadowtalker

Ti suggerirei di modificare la tua risposta per includere "no, a meno che tu non trasformi i dati" (dal tuo ultimo commento) in esso. Attualmente le parole iniziali sono "È un modello lineare" e le persone possono confondersi.

— ameba dice di reintegrare Monica il

Risposte alle tue domande:

Un moncone decisionale non è un modello lineare.
Il limite di decisione può essere una linea, anche se il modello non è lineare. La regressione logistica è un esempio.
Il modello potenziato non deve essere lo stesso tipo di modello dello studente di base. Se ci pensate, il vostro esempio di potenziamento, più la domanda a cui vi siete collegati, dimostra che il moncone decisionale non è un modello lineare.

— Flounderer
fonte

Questa risposta è più dettagliata di quanto sia necessario per rispondere alla domanda. Spero di suscitare alcuni commenti da veri esperti.

Una volta ero in aula e il giudice ha chiesto (per una buona ragione nel contesto), se chiamiamo una coda di cane una gamba, significa che un cane ha 5 gambe? Quindi cos'è un modello lineare?

$f_1, f_2, \ldots, f_n$ $y = \sum a_i f_i$ con l'importante vincolo che i termini di errore siano indipendenti e normalmente distribuiti. Con quella definizione, non si può dire se il modello è lineare perché non si sono fornite informazioni sul termine di errore. Se si elimina il vincolo del termine di errore, allora è tautologicamente lineare nella funzione assegnata o nella funzione fornita da ssdecontrol. Tuttavia ingenuamente, nel contesto di questa domanda, ciò potrebbe essere insoddisfacente. Qualsiasi funzione può essere considerata come la base di una lineare in questo senso. Questo perché qualsiasi spazio di funzioni può essere trasformato in uno spazio vettoriale di funzioni.

$\beta$ $f(x) = \beta^{T} x$

$f(x+y) = f(x) + f(y)$ $x$ $y$ $f(1.5) = 3$ $f(3) = 5$ $f(3) \neq f(1.5) + f(1.5)$ $f(x) = \beta^T x$

— meh
fonte

La linearità non ha nulla a che fare con i termini di errore. Ha a che fare con il fatto che consiste in una combinazione lineare dei parametri . Ciò rappresenta una linea retta nello spazio 2D (ma più in generale rappresenta un piano).

— Shadowtalker,

f (x) = 0

$f(x) = 0$

f (x) = a_{0} + \sum_{i = 1}^{i = N} a_{i} x_{i}

$f(x) = a_0 + \sum_{i=1}^{i=N} a_ix_i$ . Tuttavia, la funzione sarebbe lineare

⟺ a_{0} = 0

$\iff a_0 = 0$ vale a dire

f (x + y) = f (x) + f (y)

$f(x+y) = f(x) + f(y)$ .

— Meh

se è quello che insiste, allora è la sua opinione e non una sorta di fatto concreto. Per quanto ne so, non esiste una definizione accettata rigorosamente per un "modello lineare", né ce n'è bisogno nella mia mente. Per me, il fatto che sia coinvolto un termine di errore trasforma il modello da un "modello lineare" a un "modello lineare statistico". Non vedo nulla di intrinsecamente lineare sui suoi termini, né vedo nulla di intrinsecamente statistico sui modelli lineari.

— Shadowtalker,

L'IMO insistendo sulla presenza di un termine di errore sconta solo ciò che, diciamo, e l'ingegnere o il fisico potrebbero ritenere un "modello lineare" di un processo fisico deterministico.

— Shadowtalker,