Tutti gli algoritmi di machine learning separano i dati in modo lineare?

Sono un appassionato di programmazione e apprendimento automatico. Solo pochi mesi fa ho iniziato a conoscere la programmazione dell'apprendimento automatico. Come molti che non hanno un background scientifico quantitativo, ho anche iniziato a imparare a parlare di ML armeggiando con gli algoritmi e i set di dati nel pacchetto ML ampiamente usato (caret R).

Qualche tempo fa ho letto un blog in cui l'autore parla dell'uso della regressione lineare in ML. Se ricordo bene, ha parlato di come tutto l'apprendimento automatico alla fine utilizzi una sorta di "regressione lineare" (non sono sicuro se abbia usato questo termine esatto) anche per problemi lineari o non lineari. Quella volta non ho capito cosa intendesse con quello.

La mia comprensione dell'utilizzo dell'apprendimento automatico per dati non lineari è di utilizzare un algoritmo non lineare per separare i dati.

Questo era il mio pensiero

Diciamo che per classificare i dati lineari abbiamo usato l'equazione lineare e per i dati non lineari usiamo l'equazione non lineare diciamo$y=mx+c$$y=sin(x)$

Questa immagine è tratta da Sikit Learn sito Web di supporto macchina vettoriale. In SVM abbiamo usato kernel diversi per scopi ML. Quindi il mio pensiero iniziale era che il kernel lineare separa i dati usando una funzione lineare e il kernel RBF usa una funzione non lineare per separare i dati.

Ma poi ho visto questo blog in cui l'autore parla delle reti neurali.

Per classificare il problema non lineare nella sottotrama di sinistra, la rete neurale trasforma i dati in modo tale che alla fine possiamo usare una semplice separazione lineare con i dati trasformati nel sottoprogetto giusto

La mia domanda è se tutti gli algoritmi di apprendimento automatico alla fine utilizzino una separazione lineare rispetto alla classificazione (set di dati lineare / non lineare)?

La risposta è No. user20160 ha una risposta perfetta, aggiungerò 3 esempi con visualizzazione per illustrare l'idea. Nota, questi grafici potrebbero non essere utili per vedere se la "decisione finale" è in forma lineare, ma ti danno un senso su albero, potenziamento e KNN.

Inizieremo con alberi decisionali. Con molte divisioni, è un limite di decisione non lineare. E non possiamo pensare che tutte le divisioni precedenti siano "trasformazioni di caratteristiche" e alla fine ci sia una linea decisionale finale.

Un altro esempio è il modello di potenziamento, che aggrega molti "classificatori deboli" e il limite di decisione finale non è lineare. Puoi pensarci che è un codice / algoritmo complicato per fare la previsione finale.

Infine, pensa a K Neighbours più vicini (KNN). Inoltre, non è una funzione di decisione lineare al livello finale. inoltre, non ci sono "trasformazioni di caratteristiche" in KNN.

Ecco tre visualizzazioni nello spazio 2D (Tree, Boosting e KNN dall'alto verso il basso). La verità fondamentale è che 2 spirali rappresentano due classi, e la sottotrama sinistra è la previsione del modello e la sottotrama destra è i confini della decisione dal modello.

EDIT: la risposta di @ ssdecontrol in questo post offre un'altra prospettiva.

Dipende da come definiamo la "trasformazione" .

Qualsiasi funzione che suddivide i dati in due parti può essere trasformata in un modello lineare di questa forma, con un'intercettazione e un singolo input (un indicatore di quale "lato" della partizione è il punto dati). È importante prendere nota della differenza tra una funzione decisionale e un limite di decisione.

Alcuni algoritmi utilizzano un iperpiano (cioè una funzione lineare) per separare i dati. Un esempio importante è la regressione logistica. Altri usano un iperpiano per separare i dati dopo una trasformazione non lineare (ad es. Reti neurali e supportare macchine vettoriali con kernel non lineari). In questo caso, il limite di decisione non è lineare nello spazio dati originale, ma lineare nello spazio delle caratteristiche in cui sono mappati i dati. Nel caso degli SVM, la formulazione del kernel definisce implicitamente questa mappatura. Altri algoritmi utilizzano iperpiani a suddivisione multipla nelle regioni locali dello spazio dati (ad es. Alberi delle decisioni). In questo caso, il limite della decisione è lineare a tratti (ma nel complesso non lineare).

Tuttavia, altri algoritmi hanno limiti di decisione non lineari e non sono formulati in termini di iperpiani. Un esempio importante è la classificazione dei vicini più vicini k. I classificatori di ensemble (ad esempio prodotti potenziando o insaccando altri classificatori) sono generalmente non lineari.