Come funziona una macchina Support Vector (SVM) di lavoro, e ciò che lo differenzia dagli altri classificatori lineari, come ad esempio il Perceptron Lineare , Lineare Analisi Discriminante , o regressione logistica ? *

(* Sto pensando in termini di motivazioni alla base dell'algoritmo, strategie di ottimizzazione, capacità di generalizzazione e complessità di runtime )

Le macchine vettoriali di supporto si concentrano solo sui punti più difficili da distinguere, mentre altri classificatori prestano attenzione a tutti i punti.

L'intuizione dietro l'approccio della macchina vettoriale di supporto è che se un classificatore è buono nei confronti più difficili (i punti in B e A che sono più vicini tra loro nella Figura 2), allora il classificatore sarà ancora migliore nei confronti facili ( confrontare i punti in B e A che sono molto distanti tra loro).

Perceptron e altri classificatori:

Perceptrons sono costruiti prendendo un punto alla volta e regolando la linea di divisione di conseguenza. Non appena tutti i punti vengono separati, l'algoritmo perceptron si interrompe. Ma potrebbe fermarsi ovunque. La Figura 1 mostra che ci sono un sacco di diverse linee di divisione che separano i dati. I criteri di arresto del percettrone sono semplici: "separa i punti e smetti di migliorare la linea quando ottieni una separazione del 100%". Al percettrone non viene esplicitamente detto di trovare la migliore linea di separazione. La regressione logistica e i modelli discriminanti lineari sono costruiti in modo simile ai percettroni.

La migliore linea di divisione massimizza la distanza tra i punti B più vicini ad A e i punti A più vicini a B. Non è necessario guardare tutti i punti per farlo. In effetti, incorporare il feedback da punti lontani può far saltare la linea un po 'troppo lontano, come visto di seguito.

Supporto macchine vettoriali:

A differenza di altri classificatori, alla macchina vettoriale di supporto viene esplicitamente detto di trovare la migliore linea di separazione. Come? La macchina vettore di supporto cerca i punti più vicini (Figura 2), che chiama i "vettori di supporto" (il nome "macchina vettore di supporto" è dovuto al fatto che i punti sono come vettori e che la linea migliore "dipende" o è "supportato da" i punti più vicini).

Una volta individuati i punti più vicini, SVM traccia una linea che li collega (vedere la linea etichettata 'w' nella Figura 2). Disegna questa linea di collegamento eseguendo la sottrazione vettoriale (punto A - punto B). La macchina vettoriale di supporto dichiara quindi che la migliore linea di separazione è la linea che taglia in due - ed è perpendicolare alla - linea di collegamento.

La macchina vettoriale di supporto è migliore perché quando ottieni un nuovo campione (nuovi punti), avrai già creato una linea che mantiene B e A il più lontano possibile l'uno dall'altro, e quindi è meno probabile che uno si sparga attraverso la linea nel territorio dell'altro.

Mi considero uno studente visivo e ho lottato a lungo con l'intuizione dietro le macchine vettoriali di supporto. Il documento chiamato Duality and Geometry in Classificatori SVM mi ha finalmente aiutato a vedere la luce; ecco da dove ho preso le immagini.

La risposta di Ryan Zotti spiega la motivazione alla base della massimizzazione dei confini delle decisioni, la risposta di Carlosdc fornisce alcune somiglianze e differenze rispetto ad altri classificatori. Fornirò in questa risposta una breve panoramica matematica di come gli SVM vengono addestrati e usati.

notazioni

Di seguito, gli scalari sono indicati con lettere minuscole in corsivo (ad esempio, ), vettori con lettere minuscole in grassetto (ad esempio, ) e matrici con caratteri maiuscoli in corsivo (ad esempio, ). è la trasposizione di e .$y,\, b$$\mathbf{w},\, \mathbf{x}$$W$$\mathbf{w^T}$$\mathbf{w}$$\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$

Permettere:

• $\mathbf{x}$ è un vettore di funzione (ovvero, l'input di SVM). , dove è la dimensione del vettore della funzione.$\mathbf{x} \in \mathbb{R}^n$$n$
• $y$ è la classe (ovvero l'output dell'SVM). , ovvero l'attività di classificazione è binaria.$y \in \{ -1,1\}$
• $\mathbf{w}$ e siano i parametri della SVM: abbiamo bisogno di imparare utilizzando il training set.$b$
• $(\mathbf{x}^{(i)}, y^{(i)})$ essere l'esempio nel set di dati. Supponiamo di avere campioni nel set di addestramento.$i^ {\text {th}}$$N$

Con , si possono rappresentare i limiti di decisione dell'SVM come segue:$n=2$

La classe è determinata come segue:$y$

$$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$$

che può essere scritto in modo più conciso come .$y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$

Obbiettivo

SVM mira a soddisfare due requisiti:

1. L'SVM dovrebbe massimizzare la distanza tra i due confini delle decisioni. Matematicamente, questo significa che vogliamo massimizzare la distanza tra l'iperpiano definito da e l'iperpiano definito da . Questa distanza è uguale a . Questo significa che vogliamo risolvere . Allo stesso modo vogliamo .$\mathbf{w^T}\mathbf{x}+b = -1$$\mathbf{w^T}\mathbf{x}+b = 1$$\frac{2}{\|\mathbf{w}\|}$$\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$$\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$

2. SVM dovrebbe inoltre classificare correttamente tutti , che significa$\mathbf{x}^{(i)}$$y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

Il che ci porta al seguente problema di ottimizzazione quadratica:

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$$

Questo è l' SVM a margine fisso , poiché questo problema di ottimizzazione quadratica ammette una soluzione se i dati sono separabili linearmente.

Si possono allentare i vincoli introducendo le cosiddette variabili allentate . Si noti che ogni campione del set di allenamento ha una propria variabile di gioco. Questo ci dà il seguente problema di ottimizzazione quadratica:$\xi^{(i)}$

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Questa è la SVM soft-margin . è un iperparametro chiamato pena del termine di errore . ( Qual è l'influenza di C negli SVM con kernel lineare? E quale intervallo di ricerca per determinare i parametri ottimali SVM? ).$C$

Si può aggiungere ancora più flessibilità introducendo una funzione che mappa lo spazio delle caratteristiche originale su uno spazio delle caratteristiche di dimensione superiore. Ciò consente limiti di decisione non lineari. Il problema dell'ottimizzazione quadratica diventa:$\phi$

$$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$$

Ottimizzazione

Il problema dell'ottimizzazione quadratica può essere trasformato in un altro problema di ottimizzazione chiamato doppio problema lagrangiano (il problema precedente è chiamato primitivo ):

$$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

Questo problema di ottimizzazione può essere semplificato (impostando alcuni gradienti su ) a:$0$

$$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$$

$\mathbf{w}$ non appare come (come affermato dal teorema del rappresentante ).$\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$

Impariamo quindi usando del set di addestramento.$\alpha^{(i)}$$(\mathbf{x}^{(i)}, y^{(i)})$

(FYI: Perché preoccuparsi del doppio problema quando si adatta SVM? Risposta breve: calcolo più veloce + consente di usare il trucco del kernel, sebbene esistano alcuni buoni metodi per addestrare SVM nel primitivo, ad esempio vedi {1})

Fare una previsione

Una volta appreso , è possibile prevedere la classe di un nuovo campione con il vettore di funzione come segue:$\alpha^{(i)}$$\mathbf{x}^{\text {test}}$

$$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$$

La somma potrebbe sembrare schiacciante, dal momento che significa che bisogna sommare tutti i campioni di addestramento, ma la stragrande maggioranza di sono (vedi Perché sono i Moltiplicatori di Lagrange sparsi per SVM? ), Quindi in pratica non è un problema. (nota che si possono costruire casi speciali in cui tutto ) iff è un vettore di supporto . L'illustrazione sopra ha 3 vettori di supporto.$\sum_{i =1}^{N}$$\alpha^{(i)}$$0$$\alpha^{{(i)}} > 0$$\alpha^{{(i)}}=0$$x^{{(i)}}$

Trucco del kernel

Si può osservare che il problema di ottimizzazione utilizza solo nel prodotto interno . La funzione che mappa sul prodotto interno viene chiamato un kernel , aka funzione del kernel, spesso indicato con .$\phi\left(\mathbf{x}^{(i)}\right)$$\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$$\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$$\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$$k$

Si può scegliere modo che il prodotto interno sia efficiente da calcolare. Ciò consente di utilizzare uno spazio di funzionalità potenzialmente elevato a un basso costo computazionale. Questo si chiama trucco del kernel . Perché una funzione del kernel sia valida , cioè utilizzabile con il trucco del kernel, dovrebbe soddisfare due proprietà chiave . Esistono molte funzioni del kernel tra cui scegliere . Come nota a margine , il trucco del kernel può essere applicato ad altri modelli di apprendimento automatico , nel qual caso vengono definiti kernelizzati .$k$

Andare avanti

Alcuni interessanti QA su SVM:

• Il modo migliore per eseguire SVM multiclasse
• Supporta macchine vettoriali e regressione
• Comprensione delle diverse formulazioni per SVM
• Qual è la differenza tra le funzioni di perdita -SVM, -SVM e LS-SVM?$\ell_1$$\ell_2$
• Per gestire un set di dati non bilanciato:
  • Il modo migliore per gestire un set di dati multiclasse non bilanciato con SVM
  • Selezione a priori di pesi di classe SVM
• Come si interpretano i pesi delle funzioni SVM?
• Interpretazione del valore C in un SVM lineare
• Limiti di generalizzazione su SVM
• Formula generale per la dimensione VC di un SVM
• Che cosa significa "macchina" in "macchina vettoriale di supporto" e "macchina Boltzmann con restrizioni"?
• In che modo gli SVM = corrispondenza dei modelli?
• NeuralNetwork a strato singolo con attivazione ReLU pari a SVM?
• Confronto tra SVM e regressione logistica

Altri collegamenti:

• I minimi quadrati supportano la macchina vettoriale

---

Riferimenti:

• {1} Chapelle, Olivier. "Addestrare una macchina vettoriale di supporto in primordiale." Calcolo neurale 19, n. 5 (2007): 1155-1178. https://scholar.google.com/scholar?cluster=469291847682573606&hl=it&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

Mi concentrerò sulle somiglianze e le differenze rispetto ad altri classificatori:

• Da un percettrone: SVM usa la perdita della cerniera e la regolarizzazione di L2, il percettrone usa la perdita di percettrone e potrebbe usare l'interruzione precoce (o tra le altre tecniche) per la regolarizzazione, non c'è davvero un termine di regolarizzazione nel percettrone. Poiché non ha un termine di regolarizzazione, il percettrone è destinato ad essere sovrallenato, quindi le capacità di generalizzazione possono essere arbitrariamente cattive. L'ottimizzazione viene eseguita utilizzando la discesa gradiente stocastica ed è quindi molto veloce. Il lato positivo di questo documento mostra che facendo una fermata anticipata con una funzione di perdita leggermente modificata le prestazioni potrebbero essere alla pari con un SVM.

• Dalla regressione logistica: la regressione logistica utilizza il termine di perdita logistica e potrebbe utilizzare la regolarizzazione L1 o L2. Puoi pensare alla regressione logistica come il fratello discriminante dell'ingenuo-Bayes generativo.

• Da LDA: LDA può anche essere visto come un algoritmo generativo, presuppone che le funzioni di densità di probabilità (p (x | y = 0) e p (x | y = 1) siano normalmente distribuite. Questo è l'ideale quando i dati sono in fatto normalmente distribuito, ma ha il rovescio della medaglia che l '"addestramento" richiede l'inversione di una matrice che può essere grande (quando si hanno molte caratteristiche). Sotto l'omocedasticità LDA diventa QDA che è Bayes ottimale per i dati normalmente distribuiti. Ciò significa che se il i presupposti sono soddisfatti, non puoi davvero fare di meglio.

In fase di esecuzione (tempo di test), una volta che il modello è stato addestrato, la complessità di tutti questi metodi è la stessa, è solo un punto prodotto tra l'iperpiano che la procedura di addestramento ha trovato e il punto dati.

La tecnica si basa sul tracciare una linea di confine decisionale che lasci il margine più ampio possibile ai primi esempi positivi e negativi:

Come nell'illustrazione sopra, se selezioniamo un vettore ortogonale tale che possiamo stabilire un criterio di decisione per qualsiasi esempio sconosciuto da catalogare come positivo del modulo:$\lVert w \rVert=1$$\mathbf u$

$$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$$

corrispondente a un valore che posizionerebbe la proiezione oltre la linea di decisione in mezzo alla strada. Notare che .$\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

Una condizione equivalente per un campione positivo sarebbe:

$$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$$

con$C = - b.$

Abbiamo bisogno di e per avere una regola decisionale e per arrivarci abbiamo bisogno di vincoli .$b$$\color{blue}{\mathbf w}$

Primo vincolo che ci accingiamo ad imporre è che per ogni campione positivo , ; e per campioni negativi, . Nel limite di divisione o iperpiano ( mediana ) il valore sarebbe , mentre i valori nelle grondaie saranno e :$\mathbf x_+,$$\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$$\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$$0$$1$$-1$

Il vettore è il vettore dei pesi , mentre è il bias .$\bf w$$b$

---

Per riunire queste due disuguaglianze, possiamo introdurre la variabile modo che per esempi positivi e se gli esempi sono negativi e concludere$y_i$$y_i=+1$$y_i=-1$

$$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$$

Quindi stabiliamo che questo deve essere maggiore di zero, ma se l'esempio si trova sugli iperpiani (le "grondaie") che massimizzano il margine di separazione tra l'iperpiano decisionale e le punte dei vettori di supporto, in questo caso le righe), poi:

$$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$$

Si noti che ciò equivale a richiedere che$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

---

Secondo vincolo : verrà massimizzata la distanza dell'iperpiano di decisione dalle punte dei vettori di supporto. In altre parole, il margine di separazione ("strada") sarà massimizzato:

Supponendo un vettore unitario perpendicolare al confine di decisione, , il prodotto punto con la differenza tra due esempi "confinanti" più e meno è la larghezza di "strada" :$\mathbf w$

$$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$$

sopra e sono nella grondaia (su iperpiani che massimizzano la separazione). Pertanto, per l'esempio positivo: o ; e per l'esempio negativo: . Quindi, riformulando la larghezza della strada:$x_+$$x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$

$$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$$

Quindi ora non ci resta che massimizzare la larghezza della strada, ovvero massimizzare minimizzare o minimizzare:$\frac{2}{\lVert w \rVert},$$\lVert w \rVert$

$$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$$

che è matematicamente conveniente.

---

Quindi vogliamo:

1. Riduci a icona con il vincolo:$\lVert x\rVert^2$

2. $y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

---

Poiché vogliamo minimizzare questa espressione in base ad alcuni vincoli, abbiamo bisogno di un moltiplicatore di Lagrange (risalendo alle equazioni 2 e 4):

$$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$$

differenziare,

$$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$$ .

Perciò,

$$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$$

E differenziando rispetto a$b:$

$$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$$

ciò significa che abbiamo un prodotto a somma zero di moltiplicatori ed etichette:

$$\sum \lambda_i \, y_i = 0\tag 7$$

Ricollegando l'equazione Eq (6) nuovamente in Eq (5),

$$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$$

Il penultimo termine è zero secondo l'equazione Eq (7).

Perciò,

$$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$$

L'Eq (8) è l'ultimo Lagrangiano.

Quindi, l'ottimizzazione dipende dal punto prodotto da coppie di esempi.

Tornando alla "regola decisionale" nell'Eq (1) sopra e usando l'Eq (6):

$$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$$

sarà la regola di decisione finale per un nuovo vettore$\mathbf u.$

Alcuni commenti sulle condizioni Duality e KTT

Problema primario

Riprendendo dal post di @ Antoni tra le equazioni e , ricordiamo che il nostro problema di ottimizzazione originale, o primario , è nella forma:$(4)$$(5)$

$$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$$

Metodo di Lagrange

Il metodo dei moltiplicatori di Lagrange ci consente di trasformare un problema di ottimizzazione vincolata in uno non vincolato del modulo:

$$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$$

Dove è chiamato lagrangiano e sono chiamati moltiplicatori lagrangiani . $\mathcal{L}(w, b, \alpha)$$\alpha_i$

Il nostro primordiale problema di ottimizzazione con la lagrangiana diventa la seguente: (si noti che l'uso di , , non è il più rigoroso, come dovremmo essere anche utilizzando e qui ...)$min$$max$$\inf$$\sup$

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$$

Doppio problema

Quello che @Antoni e il Prof. Patrick Winston hanno fatto nella loro derivazione è supporre che la funzione di ottimizzazione e i vincoli soddisfino alcune condizioni tecniche in modo che possiamo fare quanto segue:

$$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$$

Questo ci consente di prendere le derivate parziali di rispetto a e , equivalere a zero e quindi ricollegare i risultati all'equazione originale del Lagrangiano, generando quindi un equivalente duplice problema di ottimizzazione del modulo$\mathcal{L}(w, b, \alpha)$$w$$b$

$$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$$

Duality e KTT

Senza entrare in eccessivi tecnicismi matematici, queste condizioni sono una combinazione delle condizioni Duality e Karush Kuhn Tucker (KTT) e ci consentono di risolvere il doppio problema invece di quello primario , garantendo allo stesso tempo che la soluzione ottimale sia la stessa. Nel nostro caso le condizioni sono le seguenti:

• L'obiettivo primario e le funzioni di vincolo di disuguaglianza devono essere convesse
• La funzione di vincolo di uguaglianza deve essere affine
• I vincoli devono essere rigorosamente fattibili

Quindi esiste che sono soluzioni ai problemi primari e doppi. Inoltre, i parametri soddisfano le condizioni KTT seguenti:$w^*, \alpha^*$$w^*, \alpha^*$

$$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$$

Inoltre, se alcuni soddisfano le soluzioni KTT, allora sono anche una soluzione al problema primario e doppio.$w^*, \alpha^*$

L'equazione sopra è di particolare importanza ed è chiamata la doppia condizione di complementarità . Implica che se allora significa che il vincolo è attivo, vale a dire con l'uguaglianza piuttosto che con la disuguaglianza. Questa è la spiegazione dietro l'equazione nella derivazione di Antoni in cui il vincolo di disuguaglianza viene trasformato in un vincolo di uguaglianza.α ∗ i > 0 g i ( w ∗ ) = 0 g i ( w ) ≤ 0 ( 2 $(C)$$\alpha_i^* > 0$$g_i(w^*) = 0$$g_i(w) \leq 0$$(2)$

Un diagramma intuitivo ma informale

fonti

• Andrew Ng 1 e 2
• MIT