L'hyperplane ottimale in SVM è definito come:

dove rappresenta la soglia. Se disponiamo di una mappatura che mappa lo spazio di input su uno spazio , possiamo definire SVM nello spazio , dove l'hiperplane ottimale sarà:ϕ Z $b$$\mathbf \phi$$Z$$Z$

Tuttavia, possiamo sempre definire il mapping modo che , , e quindi l'hiperplane ottimale verrà definito come ϕ 0 ( x ) = 1 ∀ x w ⋅ ϕ ( x ) = $\phi$$\phi_0(\mathbf x)=1$$\forall \mathbf x$

Domande:

1. Perché molti articoli usano quando hanno già mappatura e stima parametri e theshold separati?ϕ w$\mathbf w \cdot \mathbf \phi(\mathbf x)+b=0$$\phi$$\mathbf w$$b$

2. C'è qualche problema nel definire SVM come e stimiamo solo il vettore di parametri , supponendo che definiamo ? s. t. y n w ⋅ ϕ ( x n )≥1,∀n w ϕ 0 ( x )=1,∀

   $$\min_{\mathbf w} ||\mathbf w ||^2$$ $$s.t. \ y_n \mathbf w \cdot \mathbf \phi(\mathbf x_n) \geq 1, \forall n$$ $\mathbf w$$\phi_0(\mathbf x)=1, \forall\mathbf x$

3. Se la definizione di SVM dalla domanda 2. è possibile, avremo e la soglia sarà semplicemente , che non tratteremo separatamente. Quindi non useremo mai una formula come per stimare da un vettore di supporto . Giusto?b = w 0 b = t n - w ⋅ ϕ ( x n ) b x $\mathbf w = \sum_{n} y_n\alpha_n \phi(\mathbf x_n)$$b=w_0$$b=t_n-\mathbf w\cdot \phi(\mathbf x_n)$$b$$x_n$

Perché la distorsione è importante?

Il termine bias è, in effetti, un parametro speciale in SVM. Senza di esso, il classificatore passerà sempre attraverso l'origine. Quindi, SVM non ti dà l'iperpiano di separazione con il margine massimo se non capita di passare attraverso l'origine, a meno che tu non abbia un termine di bias.$b$

Di seguito è una visualizzazione del problema di distorsione. Un SVM addestrato con (senza) un termine di bias è mostrato a sinistra (a destra). Sebbene entrambi gli SVM siano addestrati sugli stessi dati , sembrano comunque molto diversi.

Perché la distorsione dovrebbe essere trattata separatamente?

Come ha sottolineato Ben DAI , il termine bias dovrebbe essere trattato separatamente a causa della regolarizzazione. SVM massimizza la dimensione del margine, che è (o seconda di come la definisci).$b$$\frac{1}{||w||^2}$$\frac{2}{||w||^2}$

Massimizzare il margine equivale a minimizzare . Questo è anche chiamato termine di regolarizzazione e può essere interpretato come una misura della complessità del classificatore. Tuttavia, non si desidera regolarizzare il termine di polarizzazione poiché, la polarizzazione sposta i punteggi di classificazione in alto o in basso dello stesso importo per tutti i punti dati . In particolare, il bias non cambia la forma del classificatore o la sua dimensione del margine. Perciò, ...$||w||^2$

il termine di polarizzazione in SVM NON deve essere regolarizzato.

In pratica, tuttavia, è più semplice inserire il bias nel vettore delle caratteristiche invece di dover affrontare un caso speciale.

Nota: quando si preme il bias sulla funzione feature, è meglio fissare quella dimensione del vettore feature su un numero elevato, ad esempio , in modo da ridurre al minimo gli effetti collaterali della regolarizzazione del bias.$\phi_0(x) = 10$

A volte, le persone ometteranno l'intercettazione in SVM, ma penso che il motivo forse possiamo penalizzare l'intercettazione per ometterla. vale a dire,

possiamo modificare i dati e in modo che omette l'intercetta Come si detto, una tecnica simile può essere usata nella versione del kernel.$\mathbf{\hat{x}} = (\mathbf{1}, \mathbf{x})$$\mathbf{\hat{w}} = (w_{0}, \mathbf{w}^{T})^{T}$

Tuttavia, se mettiamo l'intercettazione nei pesi, la funzione obiettivo sarà leggermente diversa da quella originale. Ecco perché chiamiamo "penalizzare".

Oltre alle ragioni sopra menzionate, la distanza di un punto da un iperpiano definito da pendenza e intercettazione è Ecco come il concetto di margine in SVM è movimentato. Se si modifica per includere il termine di intercettazione , la norma di sarà influenzata dalla dimensione dell'intercettazione, il che causerà l'ottimizzazione di SVM verso una piccola intercettazione, che non ha senso in molti casi.$x$$\theta$$b$