Comprensione della regressione SVM: funzione obiettiva e "piattezza"

Le SVM per la classificazione hanno un senso intuitivo per me: capisco come minimizzare produca il margine massimo. Tuttavia, non capisco questo obiettivo nel contesto della regressione. Vari testi ( qui e qui ) lo descrivono come massimizzare la "piattezza". Perché dovremmo farlo? Quale regressione equivale al concetto di "margine"? $||\theta||^2$

Ecco alcune risposte tentate, ma nessuna che mi ha davvero aiutato a capire.

regression svm

— Yang
fonte

Non sono molto interessato alla teoria SVM, ma la "piattezza" nella discussione sulle macchine kernel a cui ci si collega sembra equivalere a: "ha un piccolo secondo derivato" (si pensi alla motivazione tipica per i modelli di smoothing della spline).

— conjugateprior

Risposte:

Un modo in cui penso alla piattezza è che rende le mie previsioni meno sensibili alle perturbazioni nelle caratteristiche. Cioè, se sto costruendo un modello nella forma cui il mio vettore caratteristica è già stato normalizzato, allora valori più piccoli in significano che il mio modello è meno sensibile agli errori di misurazione / shock casuali / non stazionarietà delle funzioni, . Dati due modelli ( ovvero due possibili valori di ) che spiegano ugualmente bene i dati, preferisco quello "più piatto".

y = x^{⊤} θ + ϵ,

$y = x^\top \theta + \epsilon,$

x

$x$

θ

$\theta$

x

$x$

θ

$\theta$

Puoi anche pensare a Ridge Regression come peforming della stessa cosa senza il trucco del kernel o la formulazione di regressione SVM "tube".

modifica : in risposta ai commenti di @ Yang, qualche spiegazione in più:

Considera il caso lineare: . Supponiamo che le siano disegnate da una distribuzione, indipendente da . Dall'identità del prodotto punto, abbiamo , dove è l'angolo tra e , che è probabilmente distribuito sotto una distribuzione sferica uniforme. Ora nota: la 'diffusione' ( ad esempio la deviazione standard del campione) delle nostre previsioni di è proporzionale a. Per ottenere un buon MSE con le versioni latenti e silenziose delle nostre osservazioni, vogliamo ridurre questo. $y = x^\top \theta + \epsilon$ $x$ $\theta$ $y = ||x|| ||\theta|| \cos\psi + \epsilon$ $\psi$ $\theta$ $x$ $y$ $||\theta||$ $||\theta||$ vedi lo stimatore di James Stein .
Considera il caso lineare con molte funzionalità. Considera i modelli e . Se contiene più zero elementi rispetto a , ma circa lo stesso potere esplicativo, lo preferiremmo, sul rasoio di Occam, poiché ha dipendenze su un minor numero di variabili ( cioè abbiamo 'fatto la selezione delle caratteristiche' impostando alcuni elementi da a zero). La piattezza è una specie di versione continua di questo argomento. Se ogni marginale di ha una deviazione standard unitaria e ha ad es. 2 elementi che sono 10 e il restante $y = x^\top \theta_1 + \epsilon$ $y = x^\top \theta_2 + \epsilon$ $\theta_1$ $\theta_2$ $\theta_1$ $x$ $\theta_1$ $n-2$ sono inferiori a 0,0001, a seconda della tolleranza del rumore, si tratta effettivamente di "selezionare" le due funzioni e di azzerare quelle rimanenti.
Quando viene utilizzato il trucco del kernel, si sta eseguendo una regressione lineare in uno spazio vettoriale dimensionale elevato (a volte infinito). Ogni elemento di ora corrisponde a uno dei tuoi campioni , non alle tue caratteristiche . Se elementi di sono diversi da zero e i restanti sono zero, le caratteristiche corrispondenti ai diversi da zero elementi di sono chiamate "vettori di supporto". Per memorizzare il tuo modello SVM, diciamo su disco, devi solo tenere quei vettori di funzioni e puoi buttare via il resto. Ora la planarità conta davvero , perché avere $\theta$ $k$ $\theta$ $m-k$ $k$ $\theta$ $k$ $k$ piccolo riduce i requisiti di archiviazione e trasmissione, ecc . Anche in questo caso, a seconda della vostra tolleranza per il rumore, probabilmente si può azzerare tutti gli elementi di , ma la più grande, per un po ' , dopo aver eseguito una regressione SVM. La planarità qui equivale alla parsimonia rispetto al numero di vettori di supporto. $\theta$ $l$ $l$

— shabbychef
fonte

quindi questa è sostanzialmente una regressione con una funzione di perdita "tube" (0 penalità per punti +/- epsilon della previsione) piuttosto che la funzione di perdita quadratica da OLS?

— conjugateprior

f (x) = (| x | - ϵ)^{+}

$f(x) = (|x| - \epsilon)^+$

@shabbychef Grazie. Mi sono sempre chiesto cosa stesse succedendo lì.

— conjugateprior

@Conjugate Priore: non penso che questa sia effettivamente la funzione di perdita desiderata, ma la matematica finisce per funzionare bene, quindi hanno corso con essa. Almeno questo è il mio sospetto.

— Shabbychef,

y = θ x

$y = \theta x$

θ

$\theta$

ϵ

$\epsilon$

θ = 1 e 9 - 1

$\theta=1e9-1$

θ = 1 e 9

$\theta=1e9$

θ = 1 e 9 + 1

$\theta=1e9+1$

shabbychef ha dato una spiegazione molto chiara dal punto di vista della complessità del modello. Proverò a capire questo problema da un altro punto di vista nel caso possa aiutare qualcuno.

$e$

$(x_i,y_i)$ $y=\omega x+b$ $e$ $e$

\frac{| ω x_{i} - y_{i} + b |}{\sqrt{ω^{2} + 1}}

$\frac{\left|\omega x_i-y_i+b\right|}{\sqrt {\omega^2+1}}$

$e$ $\omega$

Chiunque può facilmente estendere il caso monodimensionale al caso N-dimensionale poiché l'equazione della distanza sarà sempre la distanza euclidea .

Inoltre, potremmo avere una recensione sul problema di ottimizzazione in SVR per il confronto [1].

min \frac{1}{2} {| | ω | |}^{2}

$\min \frac{1}{2} {\left| \left| \omega \right| \right|}^2$

s . t . {\begin{cases} y_{i} - < ω, x_{i} > - b \leq e \\ < ω, x_{i} > + b - y_{i} \geq e \end{cases}

$s.t. \begin{cases}y_i-<\omega,x_i>-b \leq e\\<\omega,x_i>+b-y_i \geq e\end{cases}$

Grazie.

[1] Smola, A. e B. Schölkopf. Un tutorial sulla regressione del vettore di supporto. Statistica e informatica, vol. 14, n. 3, agosto 2004, pagg. 199–222.

— oloopy
fonte

Almeno, non penso che minimizzare abbia qualcosa a che fare con il margine del concetto come in un'impostazione di classificazione SVM. Serve per un obiettivo completamente diverso che è ben spiegato dai due post precedenti, vale a dire ridurre la complessità del modello ed evitare un eccesso di adattamento. $\theta$

— lynnjohn
fonte