Qual è il modello statistico alla base dell'algoritmo SVM?

Ho imparato che, quando si tratta di dati utilizzando un approccio basato sul modello, il primo passo è la modellazione della procedura dei dati come modello statistico. Quindi il passo successivo è lo sviluppo di un algoritmo di inferenza / apprendimento efficiente / veloce basato su questo modello statistico. Quindi voglio chiedere quale modello statistico è dietro l'algoritmo SVM (Support Vector Machine)?

Spesso puoi scrivere un modello che corrisponde a una funzione di perdita (qui parlerò della regressione SVM piuttosto che della classificazione SVM; è particolarmente semplice)

Ad esempio, in un modello lineare, se la funzione di perdita è quindi minimizzare che corrisponderà alla massima probabilità per . (Qui ho un kernel lineare)$\sum_i g(\varepsilon_i) = \sum_i g(y_i-x_i'\beta)$$f\propto \exp(-a\,g(\varepsilon))$ $= \exp(-a\,g(y-x'\beta))$

Se ricordo bene la regressione SVM ha una funzione di perdita come questa:

Ciò corrisponde a una densità che è uniforme nel mezzo con code esponenziali (come vediamo esponenziando il suo negativo o un multiplo del suo negativo).

Esiste una famiglia di 3 parametri: posizione dell'angolo (soglia di insensibilità relativa) più posizione e scala.

È una densità interessante; se ricordo giustamente guardando quella particolare distribuzione qualche decennio fa, un buon stimatore per la posizione perché è la media di due quantili posizionati simmetricamente corrispondenti alla posizione degli angoli (ad esempio il midhinge darebbe una buona approssimazione al MLE per un particolare scelta della costante nella perdita SVM); uno stimatore simile per il parametro di scala si baserebbe sulla loro differenza, mentre il terzo parametro corrisponde sostanzialmente a capire a quale percentile si trovano gli angoli (questo potrebbe essere scelto piuttosto che stimato come spesso accade per SVM).

Quindi, almeno per la regressione SVM, sembra abbastanza semplice, almeno se stiamo scegliendo di ottenere i nostri stimatori con la massima probabilità.

(Nel caso tu stia per chiedere ... Non ho riferimenti per questa particolare connessione con SVM: l'ho appena capito adesso. È così semplice, tuttavia, che dozzine di persone lo avranno risolto prima di me, quindi senza dubbio ci sono riferimenti per questo - non ne ho mai visto nessuno.)

Penso che qualcuno abbia già risposto alla tua domanda letterale, ma lasciami chiarire una potenziale confusione.

La tua domanda è in qualche modo simile alla seguente:

Ho questa funzione e mi chiedo a quale equazione differenziale sia una soluzione?$f(x) = \ldots$

In altre parole, certamente ha una risposta valida (forse anche uno unico, se si impongono vincoli di regolarità), ma è una domanda un po 'strano a chiedere, dato che non era un'equazione differenziale che ha dato origine a tale funzione, in primo luogo.
(D'altra parte, data l'equazione differenziale, è naturale chiederne la soluzione, poiché di solito è per questo che si scrive l'equazione!)

Ecco perché: penso che tu stia pensando a modelli probabilistici / statistici, in particolare modelli generativi e discriminatori , basati sulla stima delle probabilità congiunte e condizionali dai dati.

SVM non è nessuno dei due. È un tipo completamente diverso di modello: uno che elude quelli e tenta di modellare direttamente il confine decisionale finale, le probabilità siano dannate.

Poiché si tratta di trovare la forma del confine decisionale, l'intuizione dietro di essa è geometrica (o forse dovremmo dire basata sull'ottimizzazione) piuttosto che probabilistica o statistica.

Dato che le probabilità non sono davvero considerate da nessuna parte lungo la strada, quindi, è piuttosto insolito chiedersi quale potrebbe essere un modello probabilistico corrispondente, e soprattutto poiché l'intero obiettivo era evitare di doversi preoccupare delle probabilità. Quindi perché non vedi le persone parlare di loro.