La pendenza del gradiente è possibile per SVM con kernel (se sì, perché le persone usano la programmazione quadratica)?

21

Perché le persone usano tecniche di programmazione quadratica (come SMO) quando hanno a che fare con SVM con kernel? Cosa c'è di sbagliato nella discesa del gradiente? È impossibile da usare con i kernel o è troppo lento (e perché?).

Ecco un po 'più di contesto: cercando di capire un po' meglio le SVM, ho usato la Discesa a gradiente per addestrare un classificatore SVM lineare usando la seguente funzione di costo:

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \mathbf{x}^{(i)} + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

Sto usando le seguenti notazioni:

$\mathbf{w}$ è la funzione pesi del modello è il suo parametro di polarizzazione. $b$
$\mathbf{x}^{(i)}$ è il vettore di funzionalità dell'istanza di training . $i^\text{th}$
$y^{(i)}$ è la classe target (-1 o 1) per l' istanza . $i^\text{th}$
$m$ è il numero di istanze di addestramento.
$C$ è l'iperparametro di regolarizzazione.

Ho ricavato un vettore (sub) gradiente (per quanto riguarda e ) da questa equazione, e Gradient Descent funzionato bene. $\mathbf{w}$ $b$

$\mathbf{u}^t \cdot \mathbf{v}$ $K(\mathbf{u}, \mathbf{v})$ $K$ $K(\mathbf{u}, \mathbf{v}) = e^{-\gamma \|\mathbf{u} - \mathbf{v}\|^2}$

Se è troppo lento, perché? La funzione di costo non è convessa? O è perché il gradiente cambia troppo velocemente (non è Lipschitz continuo) quindi l'algoritmo continua a saltare attraverso le valli durante la discesa, quindi converge molto lentamente? Ma anche in questo caso, come può essere peggio della complessità temporale della Programmazione quadratica, che è ? Se si tratta di minimi locali, lo stocastico GD con ricottura simulata non può superarli? $O({n_\text{samples}}^2 \times n_\text{features})$

svm kernel-trick gradient-descent

— MiniQuark
fonte

6

Imposta modo che e , con , dove è una mappatura della matrice di input originale, $\mathbf w = \phi(\mathbf x)\cdot \mathbf u$ $\mathbf w^t \phi(\mathbf x)=\mathbf u^t \cdot \mathbf K$ $\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$ $\mathbf K = \phi(\mathbf x)^t\phi(\mathbf x)$ $\phi(x)$ $\mathbf x$ . Ciò consente di risolvere l'SVM attraverso la formulazione primaria. Usando la tua notazione per la perdita:

J (w, b) = C \sum_{i = 1}^{m} m a x (0, 1 - y^{(i)} (u^{t} \cdot K^{(i)} + b)) + \frac{1}{2} u^{t} \cdot K \cdot u

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{u}^t \cdot \mathbf{K}^{(i)} + b)\right)} + \dfrac{1}{2} \mathbf{u}^t \cdot \mathbf{K} \cdot \mathbf{u}$

è unamatrice e è unamatrice . Né è infinito. $\mathbf{K}$ $m \times m$ $\mathbf{u}$ $m \times 1$

In effetti, il doppio è di solito più veloce da risolvere, ma anche il primitivo ha i suoi vantaggi, come le soluzioni approssimative (che non sono garantite nella doppia formulazione).

Ora, perché il doppio è molto più importante non è affatto ovvio: [1]

Le ragioni storiche per cui gran parte della ricerca dell'ultimo decennio ha riguardato la doppia ottimizzazione non sono chiare . Riteniamo che sia perché le SVM sono state introdotte per la prima volta nella loro formulazione del margine rigido [Boser et al., 1992], per cui una doppia ottimizzazione (a causa dei vincoli) sembra più naturale. In generale, tuttavia, dovrebbero essere preferite le SVM a margine debole, anche se i dati di allenamento sono separabili: il limite decisionale è più solido perché vengono presi in considerazione più punti di addestramento [Chapelle et al., 2000]

Chapelle (2007) sostiene che la complessità temporale dell'ottimizzazione sia primaria che doppia è , il caso peggiore è , ma hanno analizzato le perdite quadratiche e approssimative della cerniera, quindi non è un perdita della cerniera, poiché non è differenziabile con il metodo di Newton. $\mathcal{O}\left(nn_{sv} + n_{sv}^3\right)$ $\mathcal{O}\left(n^3\right)$

_{[1] Chapelle, O. (2007). Addestramento di una macchina vettoriale di supporto in primordiale. Calcolo neurale, 19 (5), 1155-1178.}

— Firebug
fonte

1

+1 Potresti forse espandere anche la complessità temporale

— seanv507

@ seanv507 grazie, in effetti avrei dovuto affrontarlo, aggiornerò presto questa risposta.

— Firebug

4

Se applichiamo una trasformazione a tutti i vettori del peso di input ( ), otteniamo la seguente funzione di costo: $\phi$ $\mathbf{x}^{(i)}$

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

Il trucco del kernel sostituisce con . Poiché il vettore di peso non viene trasformato, il trucco del kernel non può essere applicato alla funzione di costo sopra . $\phi(\mathbf{u})^t \cdot \phi(\mathbf{v})$ $K(\mathbf{u}, \mathbf{v})$ $\mathbf{w}$

La funzione di costo sopra corrisponde alla forma primaria dell'obiettivo SVM:

$\underset{\mathbf{w}, b, \mathbf{\zeta}}\min{C \sum\limits_{i=1}^m{\zeta^{(i)}} + \dfrac{1}{2}\mathbf{w}^t \cdot \mathbf{w}}$

soggetto a e per $y^{(i)}(\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b) \ge 1 - \zeta^{(i)})$ $\zeta^{(i)} \ge 0$ $i=1, \cdots, m$

La doppia forma è:

$\underset{\mathbf{\alpha}}\min{\dfrac{1}{2}\mathbf{\alpha}^t \cdot \mathbf{Q} \cdot \mathbf{\alpha} - \mathbf{1}^t \cdot \mathbf{\alpha}}$

$\mathbf{y}^t \cdot \mathbf{\alpha} = 0$ $0 \le \alpha_i \le C$ $i = 1, 2, \cdots, m$

$\mathbf{1}$ $\mathbf{Q}$ $m \times m$ $Q_{ij} = y^{(i)} y^{(j)} \phi(\mathbf{x}^{(i)})^t \cdot \phi(\mathbf{x}^{(j)})$

$Q_{ij}$ like so:

$Q_{ij} = y^{(i)} y^{(j)} K(\mathbf{x}^{(i)}, \mathbf{x}^{(j)})$

So the kernel trick can only be used on the dual form of the SVM problem (plus some other algorithms such as logistic regression).

Now you can use off-the-shelf Quadratic Programming libraries to solve this problem, or use Lagrangian multipliers to get an unconstrained function (the dual cost function), then search for a minimum using Gradient Descent or any other optimization technique. One of the most efficient approach seems to be the SMO algorithm implemented by the libsvm library (for kernelized SVM).

— MiniQuark
fonte

1

I'm not sure why you marked your answer Community Wiki. This seems like a perfectly valid answer to your question.

— Sycorax says Reinstate Monica

Thanks @GeneralAbrial. I marked my answer as Community Wiki to avoid any suspicion that I knew the answer before asking the question.

— MiniQuark

1

You should always do what you think is right, but it's perfectly kosher to ask and answer your own question.

— Sycorax says Reinstate Monica

Wait, couldn't you transform the weight vector to

w = ϕ (x) \cdot u

$\mathbf w = \phi(x)\cdot \mathbf u$ so that

w^{t} ϕ (x) = u \cdot K

$\mathbf w^t \phi(x)=\mathbf u \cdot \mathbf K$ and

w^{t} w = u^{t} K u

$\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$ , with

K = ϕ^{t} ϕ

$\mathbf K = \phi^t\phi$ , and then optimize the sample weights

u

$\mathbf u$ ?

— Firebug

2

I might be wrong, but I don't see how we can replace the dot products with kernels without turning it into the dual problem.

The kernels map the input implicitly to some feature space where $x$ becomes $\phi(x)$ , the loss function then becomes
$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$
If Gaussian kernel is applied, $\phi(\mathbf{x}^{(i)})$ will have ifinite dimensions, so will $\mathbf{w}$ .

It seems difficult to optimize a vector of infinite dimensions using gradient descent directly.

Update
Firebug's answer gives a way of replacing the dot products with kernels in the primal formulation.

— dontloo
fonte