Perché preoccuparsi del doppio problema quando si adatta SVM?

50

Dati i punti dati e le etichette , il problema principale SVM del margine rigido è $x_1, \ldots, x_n \in \mathbb{R}^d$ $y_1, \ldots, y_n \in \left \{-1, 1 \right\}$

{minimize}_{w, w_{0}} \frac{1}{2} w^{T} w

$\text{minimize}_{w, w_0} \quad \frac{1}{2} w^T w$

s.t. \forall i : y_{i} (w^{T} x_{i} + w_{0}) \geq 1

$\text{s.t.} \quad \forall i: y_i (w^T x_i + w_0) \ge 1$

che è un programma quadratico con variabili da ottimizzare per vincoli e . Il doppio $d+1$ $i$

{maximize}_{α} \sum_{i = 1}^{n} α_{i} - \frac{1}{2} \sum_{i = 1}^{n} \sum_{j = 1}^{n} y_{i} y_{j} α_{i} α_{j} x_{i}^{T} x_{j}

$\text{maximize}_{\alpha} \quad \sum_{i=1}^{n}{\alpha_i} - \frac{1}{2}\sum_{i=1}^{n}{\sum_{j=1}^{n}{y_i y_j \alpha_i \alpha_j x_i^T x_j}}$

s.t. \forall i : α_{i} \geq 0 \land \sum_{i = 1}^{n} y_{i} α_{i} = 0

$\text{s.t.} \quad \forall i: \alpha_i \ge 0 \land \sum_{i=1}^{n}{y_i \alpha_i} = 0$ è un programma quadratico con variabili da ottimizzare per e disuguaglianza e vincoli di uguaglianza.

n + 1

$n + 1$

n

$n$

n

$n$

Quando si implementa un SVM a margine fisso, perché dovrei risolvere il doppio problema anziché il problema primario? Il problema principale mi sembra più "intuitivo" e non ho bisogno di preoccuparmi del divario di dualità, della condizione di Kuhn-Tucker ecc.

Avrebbe senso per me risolvere il duplice problema se , ma sospetto che ci siano ragioni migliori. È questo il caso? $d \gg n$

svm

— blubb
fonte

26

La risposta breve è kernel. La risposta lunga è keeerneeels (-;

La cosa più importante del doppio problema è introdurre il trucco del kernel, con l'obiettivo di mappare i dati originali nello spazio con dimensioni più elevate.

— BigeyeDestroyer,

40

Sulla base degli appunti della lezione citati nella risposta di @ user765195 (grazie!), I motivi più evidenti sembrano essere:

Risolvendo il problema primario, otteniamo il ottimale , ma non sappiamo nulla di . Per classificare un punto di query è necessario calcolare esplicitamente il prodotto scalare , che può essere costoso se è grande. $w$ $\alpha_i$ $x$ $w^Tx$ $d$

Risolvendo il doppio problema, otteniamo il (dove per tutti tranne alcuni punti - i vettori di supporto). Per classificare un punto di query , calcoliamo $\alpha_i$ $\alpha_i = 0$ $x$

w^{T} x + w_{0} = {(\sum_{i = 1}^{n} α_{i} y_{i} x_{i})}^{T} x + w_{0} = \sum_{i = 1}^{n} α_{i} y_{i} ⟨ x_{i}, x ⟩ + w_{0}

$w^Tx + w_0 = \left(\sum_{i=1}^{n}{\alpha_i y_i x_i} \right)^T x + w_0 = \sum_{i=1}^{n}{\alpha_i y_i \langle x_i, x \rangle} + w_0$

Questo termine viene calcolato in modo molto efficiente se ci sono solo pochi vettori di supporto. Inoltre, poiché ora abbiamo un prodotto scalare che coinvolge solo vettori di dati , possiamo applicare il trucco del kernel .

— blubb
fonte

6

Aspetta aspetta. Supponiamo che tu abbia due vettori di supporto x1 e x2. Non puoi averne meno di due, giusto? Stai dicendo che il calcolo <x1, x> e <x2, x> è più veloce di <w, x>?

— Leone

1

@Leo: nota che io uso <x1, x>e wTx. Il primo è usato come simbolo per una valutazione del kernel K (x1, x), che proietta x1 e x in uno spazio di dimensioni molto elevate e calcola implicitamente il prodotto scalare dei valori proiettati. Quest'ultimo è il normale prodotto scalare, quindi we xdeve essere proiettato esplicitamente, quindi il prodotto scalare viene calcolato esplicitamente. A seconda della scelta del kernel, un singolo calcolo esplicito può richiedere molto più calcolo rispetto a molte valutazioni del kernel.

— blubb

1

Quando capisco il problema primario, 's sono i moltiplicatori di Lagrange, quindi perché non possiamo risolvere il problema primal per trovare 's? Voglio dire, probabilmente non dovremo ricorrere al doppio problema per scoprire 's, vero?

α

$\alpha$

α

$\alpha$

α

$\alpha$

— avocado,

2

"Inoltre, poiché ora abbiamo un prodotto scalare che coinvolge solo vettori di dati, possiamo applicare il trucco del kernel." - Questo è vero anche nella formulazione originale.

— Firebug,

2

Se la gente vuole maggiori dettagli sul commento di @Firebug ... controlla le equazioni 10-12 di lib.kobe-u.ac.jp/repository/90001050.pdf (che è una versione non vincolata del primordiale).

— MrDrFenner,

13

Leggi il secondo paragrafo a pagina 13 e la discussione procede in queste note:

http://cs229.stanford.edu/notes/cs229-notes3.pdf

— user765195
fonte

17

Questo è un ottimo riferimento e risponde chiaramente alla domanda. Penso che la tua risposta sarà apprezzata meglio se tu potessi riassumere la risposta qui: questo rende questa discussione autonoma.

— whuber

3

Ecco un motivo per cui la doppia formulazione è attraente dal punto di vista dell'ottimizzazione numerica. Puoi trovare i dettagli nel seguente documento :

Hsieh, C.-J., Chang, K.-W., Lin, C.-J., Keerthi, SS e Sundararajan, S., “Un metodo di discesa a doppia coordinata per SVM lineare su larga scala”, Atti del 25ª Conferenza internazionale sull'apprendimento automatico, Helsinki, 2008.

La doppia formulazione comporta un unico vincolo di uguaglianza affine e vincoli n vincolati.

1. Il vincolo di uguaglianza affine può essere "eliminato" dalla doppia formulazione.

Questo può essere fatto semplicemente guardando i tuoi dati in R ^ (d + 1) tramite l'incorporamento di R ^ d in R ^ (d + 1) eliminando l'aggiunta di una singola coordinata "1" a ciascun punto dati, cioè R ^ d ----> R ^ (d + 1): (a1, ..., annuncio) | ---> (a1, ..., annuncio, 1).

In questo modo per tutti i punti del set di addestramento, il problema della separabilità lineare viene rielaborato in R ^ (d + 1) ed elimina il termine costante w0 dal classificatore, che a sua volta elimina il vincolo di uguaglianza affine dal doppio.

2. Al punto 1, il doppio può essere facilmente lanciato come un problema convesso di ottimizzazione quadratica i cui vincoli sono solo vincoli vincolati.

3. Il doppio problema ora può essere risolto in modo efficiente, ovvero tramite un algoritmo di discesa a doppia coordinata che fornisce una soluzione ottimale epsilon in O (log (1 / epsilon)).

Questo viene fatto osservando che la correzione di tutti gli alfa tranne uno produce una soluzione in forma chiusa. È quindi possibile scorrere tutti gli Alpha uno per uno (ad esempio, sceglierne uno a caso, correggere tutti gli altri Alpha, calcolare la soluzione in forma chiusa). Si può dimostrare che si otterrà così una soluzione quasi ottimale "piuttosto rapidamente" (vedere Teorema 1 nel documento sopra citato).

Ci sono molte altre ragioni per cui il duplice problema è attraente dal punto di vista dell'ottimizzazione, alcuni dei quali sfruttano il fatto che ha un solo vincolo di uguaglianza affine (i restanti vincoli sono tutti vincoli vincolati) mentre altri sfruttano l'osservazione che alla soluzione del doppio problema "spesso la maggior parte degli alfa" è zero (alfa diverso da zero corrispondente ai vettori di supporto).

È possibile ottenere una buona panoramica delle considerazioni sull'ottimizzazione numerica degli SVM dalla presentazione di Stephen Wright al Computational Learning Workshop (2009).

PS: sono nuovo qui. Ci scusiamo per non essere bravo a usare la notazione matematica su questo sito web.

— Atn
fonte

1

Le informazioni su come utilizzare la tipizzazione matematica sono disponibili qui: math.meta.stackexchange.com/questions/5020/…

— Ripristina Monica il

-5

A mio avviso, nelle note di lezione di Andrew ng, è stato chiaramente menzionato che il problema primario di 1 / || w || è un problema non convesso. Il doppio è un problema convesso ed è sempre facile trovare l'ottimale di una funzione convessa.

— Avni Kant Rai
fonte

1

Il primitivo SVM come indicato sopra è convesso.

— Dougal,