Come può funzionare una percezione multiclasse?

13

Non ho alcun background in matematica, ma capisco come funziona il semplice Perceptron e penso di afferrare il concetto di un iperpiano (lo immagino geometricamente come un piano nello spazio 3D che separa due nuvole di punti, proprio come una linea separa due nuvole di punti nello spazio 2D).

Ma non capisco come un piano o una linea possano separare tre diverse nuvole di punti nello spazio 3D o nello spazio 2D, rispettivamente - questo non è geometricamente possibile, vero?

Ho cercato di comprendere la sezione corrispondente nell'articolo di Wikipedia , ma ho già fallito miseramente nella frase "Qui, l'ingresso x e l'uscita y sono disegnati da insiemi arbitrari". Qualcuno potrebbe spiegarmi la percezione multiclasse e come va con l'idea dell'iperpiano, o forse indicarmi una spiegazione non così matematica?

— wnstnsmth
fonte

8

Supponiamo di avere dati cui sono vettori di input e $(x_1, y_1), \dots, (x_k,y_k)$ $x_i \in \mathbb{R}^n$ $y_i \in \{\text{red, blue, green} \}$ sono le classificazioni.

Sappiamo come creare un classificatore per i risultati binari, quindi lo facciamo tre volte: raggruppiamo i risultati insieme, , e $\{\text{red, blue or green} \}$ $\{\text{blue, red or green} \}$ $\{\text{green, blue or red} \}$ .

Ogni modello assume la forma di una funzione , li chiamano rispettivamente. Questo richiede un vettore di ingresso alla distanza firmata dal iperpiano associato a ciascun modello, dove positive corrisponde a distanza di una predizione di blu se , rossa se e verde se . Fondamentalmente la più positiva è, più il modello ritiene che $f: \mathbb{R}^n \to \mathbb{R}$ $f_R, f_B, f_G$ $f_B$ $f_R$ $f_G$ $f_G(x)$ $x$ è verde e viceversa. Non abbiamo bisogno che l'output sia una probabilità, dobbiamo solo essere in grado di misurare la sicurezza del modello.

Dato un input , lo classifichiamo secondo , quindi se è il più grande tra vorremmo prevedere il verde per . $x$ $\text{argmax}_{c} \ f_c(x)$ $f_G(x)$ $\{f_G(x), f_B(x), f_R(x) \}$ $x$

Questa strategia si chiama "uno contro tutti", e puoi leggerlo qui .

— harri
fonte

3

Non riesco affatto a dare un senso a quell'articolo di Wiki. Ecco una pugnalata alternativa per spiegarlo.

Un perceptron con un nodo di output logistico è una rete di classificazione per 2 classi. Produce , la probabilità di essere in una delle classi, con la probabilità di essere nell'altra semplicemente . $p$ $1 - p$

Un perceptron con due nodi di output è una rete di classificazione per 3 classi. I due nodi generano ciascuno la probabilità di essere in una classe e la probabilità di essere nella terza classe è . $p_i$ $1 - \sum_{i=(1,2)} p_i$

E così via; un percettrone con nodi di output è un classificatore per classi . In effetti, se non esiste uno strato nascosto, un tale percettrone è fondamentalmente lo stesso di un modello di regressione logistica multinomiale , proprio come un percettivo semplice è lo stesso di una regressione logistica. $m$ $m + 1$

— Hong Ooi
fonte

Sei sicuro che l'output sia una probabilità effettiva? Ad ogni modo, non so come funzioni la regressione logistica multinomiale, quindi dovrò esaminarlo. Ma non esiste un modo (algoritmico) per spiegare come è costruito un percettrone con due o più nodi di output? Sono incatenati insieme in qualche modo?

— wnstnsmth,