Calcolo dei coefficienti di Lagrange per SVM in Python

Sto cercando di scrivere un'implementazione SVM completa in Python e ho qualche problema nel calcolo dei coefficienti di Lagrange.

Prima di tutto lasciami riformulare ciò che ho capito dall'algoritmo per assicurarmi di essere sulla strada giusta.

Se è un set di dati e è l'etichetta di classe di , quindiy i ∈ { - 1 , 1 } x i ∀ i , y i ( w T x i + b ) ≥ $x_1, x_2, ..., x_n$$y_i \in \{-1, 1\}$$x_i$

$$\forall i, y_i(w^Tx_i + b) \geq 1$$

Quindi dobbiamo solo risolvere un problema di ottimizzazione

minimizza$\|w\|^2$

soggetto a $y_i(w^Tx_i + b) \geq 1$

In termini di coefficienti di Lagrange, questo si traduce nella ricerca di $w$ , $b$ e $\alpha=(\alpha_1, \alpha_2, ... \alpha_n) \neq0$ e \ geq0 minimizing$\geq0$ :

$$L(\alpha, w, b) = \frac12 \|w\|^2 - \sum \alpha_i(y_i(w^Tx + b)-1)$$

Ora poiché

$$\frac{\partial L}{\partial w}=0 \implies w=\sum \alpha_i y_i x_i$$ e $$\frac{\partial L}{\partial b}=0 \implies \sum y_i \alpha_i = 0$$ possiamo riscriverlo come $$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j x_i^T x_j$$ con vincoli $$\alpha_i \geq 0 \ \text{and} \ \sum \alpha_i y_i = 0$$

Quindi sto provando a risolvere il problema di ottimizzazione usando Python e l'unico pacchetto gratuito che ho trovato si chiama cvxopt .

Vorrei un po 'di aiuto per risolvere questo problema, non sono riuscito a trovare alcun buon esempio a riguardo, e mentre capisco la teoria, sto facendo fatica a tradurla in codice (mi sarei aspettato il contrario dal momento che sono più da un background di programmazione).

Nota che a un certo punto vorrò risolverlo usando Kernels ma non sono sicuro di quali siano le implicazioni per quanto riguarda la risoluzione di questo problema nel codice.

$$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j K(x_i,x_j)$$

Qualsiasi aiuto sarebbe molto apprezzato, mi sono davvero perso su come implementarlo in Python. Se hai un modulo migliore per risolvere il problema di ottimizzazione, mi piacerebbe anche leggerlo.

Ho usato cvxopt per implementare un SVM prima, tuttavia in Matlab non in Python. Sicuramente servirà al tuo scopo, se il suo abbastanza efficiente dipenderà da quello per cui lo stai usando. Gli SVM più efficienti non utilizzano un pacchetto risolutore QP, ma sfruttano alcune ottimizzazioni esclusive di SVM. Molti usano un algoritmo in stile SMO per risolverlo.

LibSVM è un pacchetto SVM che utilizza l'algoritmo nella selezione dei set di lavoro utilizzando le informazioni del secondo ordine per macchine vettoriali di supporto alla formazione . Il codice è open source, se sei interessato a vedere come è stato implementato. Ha anche un'interfaccia Python.

SVMLight è un altro pacchetto, usano un algoritmo diverso (vedi il loro sito per i riferimenti). È anche open source e ha un'interfaccia python.

La forma generale del tuo problema di ottimizzazione è un programma quadratico , indipendentemente dal fatto che tu stia usando il trucco del kernel o un kernel lineare. Sembra che cvxoptsarà sufficiente per quello che stai cercando di fare, ma altri pitoni qui hanno avuto fortuna anche con OpenOpt .