Nell'algoritmo SVM, perché il vettore w è ortogonale all'iperpiano di separazione?

13

Sono un principiante in Machine Learning. In SVM, l'iperpiano di separazione è definito come . Perché diciamo vettore ortogonale all'iperpiano di separazione? $y = w^T x + b$ $w$

machine-learning svm

— Chong Zheng
fonte

3

Una risposta a una domanda simile (per le reti neurali) è qui .

— Bogatron,

@bogatron - Sono completamente d'accordo con te. Ma i miei sono solo una risposta specifica per SVM .

— senza titolo,

2

Solo che non lo è. La tua risposta è corretta ma non c'è nulla di specifico per gli SVM (né dovrebbe esserci).

è semplicemente un'equazione vettoriale che definisce un iperpiano.

w^{T} x = b

$w^{T}x=b$

— Bogogon,

10

Dal punto di vista geometrico, il vettore w è diretto ortogonale alla linea definita da . Questo può essere inteso come segue: $w^{T} x = b$

Per prima cosa prendi . Ora è chiaro che tutti i vettori, , con il prodotto interno che svanisce con soddisfano questa equazione, cioè tutti i vettori ortogonali a w soddisfano questa equazione. $b = 0$ $x$ $w$

Ora tradurre l'iperpiano lontano dall'origine su un vettore a. L'equazione per il piano ora diventa: , ovvero troviamo che per l'offset , che è la proiezione del vettore sul vettore . $(x − a)^{T} w = 0$ $b = a^{T} w$ $a$ $w$

Senza perdita di generalità possiamo quindi scegliere una perpendicolare al piano, nel qual caso la lunghezza che rappresenta la distanza ortogonale più corta tra l'origine e l'iperpiano. $\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

Quindi si dice che il vettore sia ortogonale all'iperpiano di separazione. $w$

— untitledprogrammer
fonte

4

Il motivo per cui è normale per l'iperpiano è perché lo definiamo così: $w$

$P_0$ $P_0 = x_0, y_0, z_0$ $(0,0,0)$ $<x_0,y_0,z_0>$ $P (x,y,z)$ $P$ $P_0$

\vec{P} - \vec{P_{0}} =< x - x_{0}, y - y_{0}, z - z_{0} >

$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$

$\hat{n}$

\hat{n} ∙ (\vec{P} - \vec{P_{0}}) = 0

$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$

\hat{n} ∙ \vec{P} - \hat{n} ∙ \vec{P_{0}} = 0

$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$

- \hat{n} ∙ \vec{P_{0}}

$-\hat{n} \bullet \vec{P_0}$

b

$b$

\hat{n}

$\hat{n}$

w

$w$

\vec{P}

$\vec{P}$

x

$x$

w

$w$

— Shehryar Malik
fonte

2

$w^Tx + b = 0$ $x_a$ $x_b$

w^{T} x_{a} + b = 0 w^{T} x_{b} + b = 0

$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$

$w^T.(x_a - x_b) = 0$ $x_a - x_b$ $x_b$ $x_a$ $w^T.(x_a - x_b)$ $w^T$ $x_a - x_b$

— adityagaydhani
fonte

0

Utilizzando la definizione algebrica di un vettore che è ortogonale a un iperpiano:

$\forall \ x_1, x_2$

w^{T} (x_{1} - x_{2}) = (w^{T} x_{1} + b) - (w^{T} x_{2} + b) = 0 - 0 = 0 ◻ .

$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$

— Indominus
fonte