Supporta macchine vettoriali e regressione

26

C'è già stata un'eccellente discussione su come le macchine vettoriali di supporto gestiscono la classificazione, ma sono molto confuso su come le macchine vettore di supporto generalizzano alla regressione.

Qualcuno ha intenzione di illuminarmi?

regression machine-learning svm

— Zach
fonte

17

Fondamentalmente si generalizzano allo stesso modo. L'approccio alla regressione basato sul kernel consiste nel trasformare la funzione, chiamarla in uno spazio vettoriale, quindi eseguire una regressione lineare in quello spazio vettoriale. Per evitare la "maledizione della dimensionalità", la regressione lineare nello spazio trasformato è in qualche modo diversa dai minimi quadrati ordinari. Il risultato è che la regressione nello spazio trasformato può essere espressa come , dove sono osservazioni dal set di addestramento, $\mathbf{x}$ $\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$ $\mathbf{x_i}$ $\phi(\cdot)$ è la trasformazione applicata ai dati e il punto è il prodotto punto. Pertanto la regressione lineare è "supportata" da alcuni (preferibilmente un numero molto limitato di) vettori di addestramento.

Tutti i dettagli matematici sono nascosti nella strana regressione fatta nello spazio trasformato ("tubo insensibile epsilon" o altro) e nella scelta della trasformazione, . Per un professionista, ci sono anche domande su alcuni parametri gratuiti (di solito nella definizione di e la regressione), così come la featurization , che è dove la conoscenza del dominio è di solito utile. $\phi$ $\phi$

— shabbychef
fonte

Da un punto di vista dell'intuizione, è quasi come una classificazione a classe singola, in cui la linea "limite" della classe finisce per attraversare i punti anziché tra i punti di due classi?

— Wayne,

@Wayne, questa è la mia comprensione, sì. Non sono al 100%, comunque.

— Zach,

5

Per una panoramica di SVM: come funziona una Support Vector Machine (SVM)?

Per quanto riguarda la regressione del vettore di supporto (SVR), trovo queste diapositive da http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( mirror ) molto chiare:

La documentazione di Matlab ha anche una spiegazione decente e analizza inoltre l'algoritmo di risoluzione dell'ottimizzazione: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( mirror ).

Finora questa risposta ha presentato la cosiddetta regressione SVM (ε-SVM) insensibile ai epsilon. Esiste una variante più recente di SVM per entrambe le classificazioni di regressione: i minimi quadrati supportano la macchina vettoriale .

Inoltre, SVR può essere esteso per multi-output o multi-target, ad esempio vedi {1}.

Riferimenti:

{1} Borchani, Hanen, Gherardo Varando, Concha Bielza e Pedro Larrañaga. "Un sondaggio sulla regressione multi-output." Recensioni interdisciplinari di Wiley: Data mining e Knowledge Discovery 5, n. 5 (2015): 216-233. https://scholar.google.com/scholar?cluster=10208375872303977988&hl=it&as_sdt=0,14 ; https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf

— Franck Dernoncourt
fonte