Dato un insieme di punti nello spazio bidimensionale, come può una decisione progettuale funzionare per SVM?

Qualcuno può spiegarmi come si fa a progettare una funzione decisionale SVM? Oppure indicami una risorsa che discute un esempio concreto.

MODIFICARE

Per l'esempio seguente, posso vedere che l'equazione separa le classi con il margine massimo. Ma come posso regolare i pesi e scrivere equazioni per iperpiani nella seguente forma. $X_2 = 1.5$

\begin{array}{ll} H_{1} : w_{0} + w_{1} x_{1} + w_{2} x_{2} \geq 1 & for Y_{i} = + 1 \\ H_{2} : w_{0} + w_{1} x_{1} + w_{2} x_{2} \leq - 1 & for Y_{i} = - 1. \end{array}

$\begin{array}{ll} H_1 : w_0+w_1x_1+w_2x_2 \ge 1 & \text{for}\; Y_i = +1 \\ H_2 : w_0+w_1x_1+w_2x_2 \le -1 & \text{for}\; Y_i = -1.\end{array}$

inserisci qui la descrizione dell'immagine

Sto cercando di ottenere la teoria di base nello spazio 2D (poiché è più facile da visualizzare) prima di pensare a dimensioni più elevate.

Ho trovato una soluzione per questo Qualcuno può confermare se questo è corretto?

il vettore del peso è (0, -2) e W_0 è 3

\begin{array}{ll} H_{1} : 3 + 0 x_{1} - 2 x_{2} \geq 1 & for Y_{i} = + 1 \\ H_{2} : 3 + 0 x_{1} - 2 x_{2} \leq - 1 & for Y_{i} = - 1. \end{array}

$\begin{array}{ll} H_1 : 3+0x_1-2x_2 \ge 1 & \text{for}\; Y_i = +1 \\ H_2 : 3+0x_1 -2x_2 \le -1 & \text{for}\; Y_i = -1.\end{array}$

svm

— Naresh
fonte

C'è un'illustrazione con R qui , ma sento che la tua domanda è più sull'aspetto algoritmico. In questo caso, sarebbe utile aggiungere ulteriori dettagli sull'applicazione prevista o sulla risorsa disponibile.

— chl

@chl Ho aggiornato la domanda con i dettagli

— Naresh,

Esistono almeno due modi per motivare gli SVM, ma qui seguirò il percorso più semplice.

Ora, dimentica tutto ciò che sai su SVM per il momento e concentrati solo sul problema attuale. Ti viene data una serie di punti insieme ad alcune etichette ( ) che provengono da . Ora stiamo provando a trovare una linea in 2D in modo tale che tutti i punti con etichetta cadano su un lato della linea e tutti i punti con etichetta cadano sull'altro lato. $\mathcal{D} = \{(x^i_1, x^i_2, y_i)\}$ $y_i$ $\{1, -1\}$ $1$ $-1$

Prima di tutto, renditi conto che è una linea in 2D e rappresenta "un lato" della linea e rappresenta "l'altro lato" del linea. $w_0 + w_1x_1 + w_2x_2 = 0$ $w_0 + w_1x_1 + w_2x_2 > 0$ $w_0 + w_1x_1 + w_2x_2 < 0$

Da quanto sopra possiamo concludere che vogliamo un vettore tale che, per tutti i punti con e per tutti i punti con [1]. $[w_0, w_1, w_2]$ $w_0 + w_1x^i_1 + w_2x^i_2 \geq 0$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 < 0$ $x^i$ $y_i = -1$

Supponiamo che una tale linea esista effettivamente, quindi posso definire un classificatore nel modo seguente,

min | w_{0} | + | w_{1} | + | w_{2} | subject to : w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \geq 0, \forall x^{i} with y_{i} = 1 w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} < 0, \forall x^{i} with y_{i} = - 1

$\min |w_0| + |w_1| + |w_2| \\ \text{subject to} : w_0 + w_1x^i_1 + w_2x^i_2 \geq 0, \forall x^i\text{ with }y_i = 1 \\ w_0 + w_1x^i_1 + w_2x^i_2 < 0, \forall x^i\text{ with }y_i = -1 \\$

Ho usato una funzione oggettiva arbitraria sopra, non ci interessa davvero al momento quale funzione oggettiva viene utilizzata. Vogliamo solo una che soddisfi i nostri vincoli. Poiché abbiamo ipotizzato che esista una linea in modo tale da poter separare le due classi con quella linea, troveremo una soluzione al problema di ottimizzazione sopra riportato. $w$

Quanto sopra non è SVM ma ti darà un classificatore :-). Tuttavia, questo classificatore potrebbe non essere molto buono. Ma come si definisce un buon classificatore? Un buon classificatore è di solito quello che fa bene sul set di test. Idealmente, si dovrebbe andare su tutte le possibili s' che separano i dati di allenamento e vedere chi di loro fa bene sui dati di test. Tuttavia, ci sono infiniti , quindi questo è abbastanza senza speranza. Considereremo invece alcune euristiche per definire un buon classificatore. Una euristica è che la linea che separa i dati sarà sufficientemente lontana da tutti i punti (cioè c'è sempre spazio o margine tra i punti e la linea). Il miglior classificatore tra questi è quello con il margine massimo. Questo è ciò che viene utilizzato negli SVM. $w$ $w$

Invece di insistere sul fatto che per tutti i punti con e per tutti i punti con , se insistiamo sul fatto che per tutti i punti con e per tutti i punti con , quindi stiamo effettivamente insistendo sul fatto che i punti siano lontani dalla linea. Il margine geometrico corrispondente a questo requisito risulta essere . $w_0 + w_1x^i_1 + w_2x^i_2 \geq 0$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 < 0$ $x^i$ $y_i = -1$ $w_0 + w_1x^i_1 + w_2x^i_2 \geq 1$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 \leq -1$ $x^i$ $y_i = -1$ $\frac{1}{\|w\|_2}$

Quindi, otteniamo il seguente problema di ottimizzazione, Una forma leggermente succinta di scrittura è: Questa è sostanzialmente la formulazione SVM di base. Ho saltato molte discussioni per brevità. Spero di avere ancora la maggior parte dell'idea.

max \frac{1}{‖ w ‖_{2}} subject to : w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \geq 1, \forall x^{i} with y_{i} = 1 w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \leq - 1, \forall x^{i} with y_{i} = - 1

$\max \frac{1}{\|w\|_2} \\ \text{subject to} : w_0 + w_1x^i_1 + w_2x^i_2 \geq 1, \forall x^i\text{ with }y_i = 1 \\ w_0 + w_1x^i_1 + w_2x^i_2 \leq -1, \forall x^i\text{ with }y_i = -1 \\$

min ‖ w ‖_{2} subject to : y_{i} (w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i}) \geq 1, \forall i

$\min \|w\|_2 \\ \text{subject to} : y_i(w_0 + w_1x^i_1 + w_2x^i_2) \geq 1, \forall i$

Script CVX per risolvere il problema di esempio:

A = [1 2 1; 3 2 1; 2 3 1; 3 3 1; 1 1 1; 2 0 1; 2 1 1; 3 1 1];
b = ones(8, 1);
y = [-1; -1; -1; -1; 1; 1; 1; 1];
Y = repmat(y, 1, 3);
cvx_begin
variable w(3)
minimize norm(w)
subject to
(Y.*A)*w >= b
cvx_end

Addendum - Margine geometrico

Sopra abbiamo già richiesto di cercare tale che o generalmente . LHS qui che vedi è chiamato margine funzionale, quindi quello che abbiamo richiesto qui è che il margine funzionale sia . Ora proveremo a calcolare il margine geometrico dato questo requisito di margine funzionale. $w$ $y_i(w_0 + w_1x_1 + w_2x_2) \geq 1$ $y_i(w_0 + w^Tx) \geq 1$ $\geq 1$

Cos'è il margine geometrico? Il margine geometrico è la distanza più breve tra i punti negli esempi positivi e i punti negli esempi negativi. Ora, i punti che hanno la distanza più breve come richiesto sopra possono avere un margine funzionale maggiore di uguale a 1. Tuttavia, consideriamo il caso estremo, quando sono più vicini all'iperpiano ovvero, il margine funzionale per i punti più corti è esattamente uguale a 1. Sia il punto dell'esempio positivo sia un punto tale che e sia il punto dell'esempio negativo sia un punto tale che . Ora, la distanza tra e sarà la più breve quando $x_+$ $w^Tx_+ + w_0 = 1$ $x_-$ $w^Tx_- + w_0 = -1$ $x_+$ $x_-$ $x_+ - x_-$ è perpendicolare all'iperpiano.

Ora, con tutte le informazioni di cui sopra, proveremo a trovare che è il margine geometrico. $\|x_+ - x_-\|_2$

w^{T} X_{+} + w_{0} = 1

$w^Tx_+ + w_0 = 1$

w^{T} X_{-} + w_{0} = - 1

$w^Tx_- + w_0 = -1$

w^{T} (X_{+} - X_{-}) = 2

$w^T(x_+ - x_-) = 2$

| w^{T} (X_{+} - X_{-}) | = 2

$|w^T(x_+ - x_-)| = 2$

‖ w ‖_{2} ‖ X_{+} - X_{-} ‖_{2} = 2

$\|w\|_2\|x_+ - x_-\|_2 = 2$

‖ X_{+} - X_{-} ‖_{2} = \frac{2}{‖ w ‖_{2}}

$\|x_+ - x_-\|_2 = \frac{2}{\|w\|_2}$

[1] In realtà non importa quale parte scegli per e . Devi solo rimanere coerente con qualunque cosa tu scelga. $1$ $-1$

— TenaliRaman
fonte

@naresh Yeap, risolverlo in cvx mi ha dato la stessa identica soluzione che hai .

w = [0, - 2, 3]

$w = [0, -2, 3]$

— TenaliRaman,

@entropy grazie ho corretto l'errore di battitura. Aggiungerò la spiegazione del margine geometrico.

— TenaliRaman,

@entropia Ho aggiornato la risposta con la spiegazione del margine geometrico.

— TenaliRaman

@entropy è un iperpiano che passa attraverso l'origine. Per coprire lo spazio di tutte le equazioni lineari è necessario il termine bias. Pensa ai punti che risiedono in 2D e lasciaci dire che stai cercando di trovare una linea che separa questi punti. Tuttavia, tutti questi punti si trovano nel primo quadrante. Ora è possibile disporre questi punti in modo che siano separabili ma non da alcuna linea che passa attraverso l'origine. Tuttavia, una linea con una corretta propensione può farlo.

w^{T} x

$w^{T}x$

— TenaliRaman

@entropia Detto questo, potresti aver capito che se ruoti e sposti correttamente i punti, anche una linea che passa attraverso l'origine dovrebbe essere in grado di separare le classi. Tuttavia, di solito trovare questa giusta rotazione e spostamento non è facile, rispetto all'apprendimento del solo termine.

— TenaliRaman