Limiti di generalizzazione su SVM

Sono interessato ai risultati teorici della capacità di generalizzazione di Support Vector Machines, ad esempio limiti alla probabilità di errore di classificazione e alla dimensione Vapnik-Chervonenkis (VC) di queste macchine. Tuttavia, leggendo la letteratura ho avuto l'impressione che alcuni risultati ricorrenti simili tendano a differire leggermente da un autore all'altro, in particolare per quanto riguarda le condizioni tecniche richieste per un determinato vincolo.

Di seguito ricorderò la struttura del problema SVM e lo stato 3 dei principali risultati di generalizzazione che ho trovato ricorrentemente in una forma o nell'altra Fornisco 3 riferimenti principali durante l'esposizione. $-$

Impostazione del problema :

Supponiamo di avere un campione di dati di coppie (iid) indipendenti e identicamente distribuite ( $(x_i,y_i)_{1\leq i\leq n}$ dove per tutti $i$ , $x_i \in \mathbb{R}^p$ e $y_i \in \{-1,1\}$ . Costruiamo una macchina vettoriale di supporto (SVM) che massimizza il margine minimo $m^*$ tra l'iperpiano di separazione definito da $\{x : w \cdot x + b = 0\}$ , $w \in \mathbb{R}^p$ e $b \in \mathbb{R}$ e il punto più vicino tra $x_1,\cdots,x_n$ modo da separare le due classi definite da $y = -1$ e $y = 1$ . Lasciamo che SVM ammetta alcuni errori attraverso un margine debole introducendo variabili allentate $\xi_1,\cdots,\xi_n$ $-$ ma per semplicità notazionale ignoriamo la possibilità dei kernel. I parametri di soluzione $w^*$ e $b^*$ sono ottenuti risolvendo il seguente programma di ottimizzazione quadratica convessa:

\begin{aligned} min_{w, b, ξ_{1}, \dots, ξ_{n}} & \frac{1}{2} ‖ w ‖^{2} + C \sum_{i = 1}^{n} ξ_{i} \\ s.t. : & y_{i} (w \cdot x_{i} + b) \geq 1 - ξ_{i} & , \forall i \in {1, \dots, n} \\ ξ_{i} \geq 0 & , \forall i \in {1, \dots, n} \end{aligned}

$\begin{align} \min_{w, \, b, \, \xi_1, \, \cdots, \, \xi_n} \; & \; \frac{1}{2}\|w\|^2 + C\sum_{i=1}^n\xi_i \\ \text{s.t.} \; : \; & \; y_i(w\cdot x_i+b) \geq 1 - \xi_i \, & , \, \forall \, i \in \{1,\cdots,n\} \\ & \; \xi_i \geq 0\, & , \, \forall \, i \in \{1,\cdots,n\} \end{align}$

Siamo interessati alla capacità di generalizzazione di questa macchina.

Dimensione Vapnik-Chervonenkis $VC$ :

Un primo risultato è dovuto a (Vapnik, 2000), in cui limita la dimensione VC di un iperpiano di separazione, teorema 5.1. Lettere, noi abbiamo: $R = \max_{x_i} \|x_i\|$

V C \leq min ({(\frac{R}{m^{*}})}^{2}, p) + 1

$VC \leq \min \left( \left( \frac{R}{m^*}\right)^2, \, p\right) + 1$

Questo risultato può essere nuovamente trovato in (Burges, 1998), teorema 6. Tuttavia, sembra che il teorema di Burges sia più restrittivo rispetto allo stesso risultato di Vapnik, in quanto deve definire una categoria speciale di classificatori, noti come classificatori tolleranti al gap a cui appartiene l'SVM , per affermare il teorema. $-$ $-$

Limiti sulla probabilità di errori :

In (Vapnik, 2000), il teorema 5.2 a pagina 139 fornisce il seguente limite all'abilità di generalizzazione SVM:

E [P_{error}] \leq \frac{1}{n} E [min (p, n_{S V}, (R ‖ w ‖)^{2})]

$\mathbb{E}[P_{\text{error}}] \leq \frac{1}{n}\mathbb{E} \left[ \min\left(p,n_{SV},(R \, \|w\|)^2 \right) \right]$

dove è il numero di vettori di supporto di SVM. Questi risultati sembrano essere trovati di nuovo in (Burges, 1998), equazioni (86) e (93) rispettivamente. Ma ancora una volta, Burges sembra differire da Vapnik in quanto separa i componenti all'interno della funzione minima sopra in teoremi diversi, con condizioni diverse. $n_{SV}$

Un altro risultato che appare in (Vapnik, 2000), p.133, è il seguente. Supponendo ancora che, per tutti , e lasciando e , definiamo uguale a: $i$ $\|x_i\|^2 \leq R^2$ $h \equiv VC$ $\epsilon \in [0,1]$ $\zeta$

ζ = 4 \frac{h (ln \frac{2 n}{h} + 1) - ln \frac{ϵ}{4}}{n}

$\zeta = 4 \frac{h\left( \text{ln}\frac{2n}{h} + 1\right) - \text{ln}\frac{\epsilon}{4}}{n}$

Definiamo anche il numero di esempi di formazione classificati erroneamente dall'SVM. Quindi con probabilità possiamo affermare che la probabilità che un esempio di test non sia separato correttamente dall'ipermercato -margin ovvero SVM con margine ha il limite: $n_{\text{error}}$ $1-\epsilon$ $m^*$ $-$ $m^*$ $-$

P_{error} \leq \frac{n_{error}}{n} + \frac{ζ}{2} (1 + \sqrt{1 + \frac{4 n_{error}}{n ζ}})

$P_{\text{error}} \leq \frac{n_{\text{error}}}{n} + \frac{\zeta}{2} \left( 1 + \sqrt{1+ \frac{4 \, n_{\text{error}}}{n \, \zeta}} \right)$

Tuttavia, in (Hastie, Tibshirani e Friedman, 2009), p.438, si trova un risultato molto simile:

{Error}_{Test} \leq ζ

$\text{Error}_{\text{Test}} \leq \zeta$

Conclusione :

Mi sembra che ci sia un certo grado di conflitto tra questi risultati. D'altra parte, due di questi riferimenti, sebbene canonici nella letteratura SVM, iniziano a essere leggermente vecchi (1998 e 2000), specialmente se consideriamo che la ricerca sull'algoritmo SVM è iniziata a metà degli anni novanta.

Le mie domande sono:

Questi risultati sono ancora validi oggi o sono stati smentiti?
Da allora sono stati derivati limiti più stretti con condizioni relativamente allentate? In tal caso, da chi e dove posso trovarli?
Infine, esiste qualche materiale di riferimento che sintetizza i principali risultati di generalizzazione sull'SVM?

Riferimenti :

Burges, JC (1998). "Un tutorial sulle macchine vettoriali di supporto per il riconoscimento di modelli", Data Mining e Knowledge Discovery , 2: 121-167

Hastie, T., Tibshirani, R. e Friedman, J. (2009). The Elements of Statistical Learning , 2nd edition, Springer

Vapnik, VN (1998). Statistical Learning Theory , 1st edition, John Wiley & Sons

Vapnik, VN (1999). "Una panoramica della teoria dell'apprendimento statistico", Transazioni IEEE su reti neurali , 10 (5): 988-999

Vapnik, VN (2000). The Nature of Statistical Learning Theory , 2nd edition, Springer

machine-learning svm vc-dimension

— Daneel Olivaw
fonte

un riferimento che riassume i limiti di rischio all'avanguardia (a partire dal 2008) per gli SVM: "Support Vector Machines" (Ingo Steinwart, Andreas Christmann, Springer 2008) .

— registrati il

Non conosco la letteratura a cui ti riferisci in dettaglio, ma penso che un riassunto completo dei limiti di generalizzazione che dovrebbero essere aggiornati sia disponibile in Boucheron et al. (2004) (Link: https://www.researchgate.net/profile/Olivier_Bousquet/publication/238718428_Advanced_Lectures_on_Machine_Learning_ML_Summer_Schools_2003_Canberra_Australia_February_2-14_2003_Tubingen_Germany_August_4-16_2003_Revised_Lectures/links/02e7e52c5870850311000000/Advanced-Lectures-on-Machine-Learning-ML-Summer-Schools-2003- Canberra-Australia-2-14-2003-Tuebingen-Germania-4-16-2003-Revised-Lectures.pdf # page = 176 )

Traccerò una parte del limite SVM nel seguito, tralasciando dettagli e prove.

Prima di elaborare in modo specifico il limite SVM, dobbiamo capire cosa stanno cercando di raggiungere i limiti di generalizzazione.

Per prima cosa supponiamo che la vera probabilità sia nota, quindi il miglior classificatore possibile sarebbe il classificatore bayes, cioè $P(Y = +1| X = x)$

\begin{aligned} g * = {\begin{cases} + 1 i f P (Y = 1 | X = x) > 0.5 \\ - 1 o t h e r w i s e \end{cases} \end{aligned}

$\begin{align} g* = \begin{cases} + 1 \ \ if P(Y = 1| X = x) > 0.5 \\ -1 \ \ otherwise \end{cases} \end{align}$

L'obiettivo della teoria dell'apprendimento statistico ora è trovare la differenza tra un classificatore di classe (es. SVM) e il classificatore bayes, ovvero noti che è la perdita data dati previsti e è la migliore classificatore possibile nella classe del modello . Il termine è chiamato errore di stima e spesso il focus perché può essere limitato molto più facilmente dell'errore di approssimazione (l'altro termine). Ometterò anche l'errore di approssimazione qui. $C$

\begin{aligned} {\hat{g}}_{n} = a r g min_{g \in C} L_{n} (g) \end{aligned}

$\begin{align} \hat{g}_n = arg \min_{g \in C} L_n(g) \end{align}$

\begin{aligned} L ({\hat{g}}_{n}) - L (g *) = L ({\hat{g}}_{n}) - L (g_{c}^{*}) + L (g_{c}^{*}) - L (g *) . \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g*) = L(\hat{g}_n) - L(g^{*}_c) + L(g^{*}_c) - L(g*). \end{align}$

L (g) = E l (g (X), Y)

$L(g) = \mathbb{E}l(g(X),Y)$

g_{c}^{*}

$g^{*}_c$

C

$C$

Z =: L (g *) - L ({\hat{g}}_{n})

$Z =: L(g*) - L(\hat{g}_n)$

L'errore di stima può essere ulteriormente scomposto con Ora questo può essere limitato da due passaggi: $Z$

\begin{aligned} Z = Z - E Z + E Z . \end{aligned}

$\begin{align} Z = Z - \mathbb{E}Z + \mathbb{E}Z. \end{align}$

Legato usando la disuguaglianza di McDiarmid $Z - \mathbb{E}Z$
Limitato con la complessità di Rademacher $\mathbb{E}Z$ $R_n(C) = \mathbb{E}sup_{g \in C}|1/n \sum_{i=1}^{n} l(g(X_i),Y_i)|$

Usando la disuguaglianza di McDiarmids si può dimostrare che se la funzione di perdita è compresa in un intervallo non superiore a , il primo passaggio si traduce in un limite di dove è il livello di confidenza. Per il secondo passo possiamo mostrare che Se hai una funzione di perdita discreta, cioè non Lipschitz come 0-1 -loss, avresti bisogno della dimensione VC per delimitare ulteriormente la complessità di Rademacher. Tuttavia, per le funzioni di L-lipschitz come la perdita della cerniera, ciò può essere ulteriormente limitato da dove $B$

\begin{aligned} Z - E Z \leq 2 B \sqrt{\frac{l n (1 / δ)}{2 n}}, \end{aligned}

$\begin{align} Z - \mathbb{E}Z \leq 2 B \sqrt{\dfrac{ln(1/\delta)}{2n}}, \end{align}$

δ

$\delta$

\begin{aligned} E Z \leq 2 R_{n} (C), \end{aligned}

$\begin{align} \mathbb{E}Z \leq 2R_n(C), \end{align}$

\begin{aligned} R_{n} (C) \leq λ L R / \sqrt{n}, \end{aligned}

$\begin{align} R_n(C) \leq \lambda L R/\sqrt{n}, \end{align}$

λ

$\lambda$ indica il regolarizzatore. Poiché per la perdita della cerniera e (prova con disuguaglianza di Gauchy-Schwartz) questo semplifica ulteriormente. Riunendo infine tutti i risultati, possiamo un limite di

L = 1

$L = 1$

B = 1 + λ R

$B = 1 + \lambda R$

\begin{aligned} L ({\hat{g}}_{n}) - L (g_{c}^{*}) \leq 2 (1 + λ R) \sqrt{\frac{l n (1 / δ)}{2 n}} + 4 λ L R / \sqrt{n} \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g^{*}_c) \leq 2(1 + \lambda R) \sqrt{\dfrac{ln(1/\delta)}{2n}} + 4 \lambda L R/\sqrt{n} \end{align}$

— dkoehn
fonte