Classificazione con dati ad alto contenuto di grassi

Devo addestrare un classificatore lineare sul mio laptop con centinaia di migliaia di punti dati e circa diecimila funzionalità. Quali sono le mie opzioni? Qual è lo stato dell'arte per questo tipo di problema?

Sembra che la discesa stocastica a gradiente sia una direzione promettente, e il mio senso è che questo è lo stato dell'arte:

"Pegasos: Primal stimato sub-GrAdient SOlver per SVM" Shai Shalev-Shwartz, Yoram Singer, Nathan Srebro, Andrew Cotter. "Programmazione matematica, Serie B, 127 (1): 3-30, anno: 2007."

È questo il consenso? Dovrei guardare in un'altra direzione?

Penso che dovresti esaminare i metodi di apprendimento online . Il perceptron e il perceptron del kernel sono estremamente facili da programmare e funzionano molto bene nella pratica, e ci sono molti altri metodi online. Si noti che qualsiasi metodo di apprendimento online può essere convertito in un algoritmo di apprendimento batch, nel qual caso assomigliano molto ai metodi di discesa gradiente stocastica.

Se stai usando Matlab c'è un toolbox davvero carino chiamato DOGMA di Francesco Orabona, che contiene una serie di algoritmi di apprendimento online e puoi valutarne alcuni diversi metodi. L'ho usato in alcune delle mie ricerche e l'ho trovato molto utile (nota che per quanto mi ricordo si aspetta i dati come [caratteristiche x esempi], quindi potresti doverli trasporre).

Come altri hanno già detto, potresti voler provare la riduzione della dimensionalità. La PCA potrebbe non essere una buona opzione qui, poiché devi calcolare la matrice di covarianza che sarà molto costosa. Potresti provare a guardare Proiezioni casuali . La teoria è dura, ma il principio è molto semplice. Si basa sul Lemma Johnson-Lindenstrauss se sei interessato, ma l'idea di base è che se proietti in modo casuale su uno spazio dimensionale inferiore, allora distanze tra i punti vengono conservate fino ad alcuni ϵ . Se stai usando un kernel RBF, allora ℓ 2 distanze sono tutto ciò che ti interessa!$\ell_2$$\epsilon$$\ell_2$

Innanzitutto, vorrei chiederti come fai a sapere che il classificatore lineare è la scelta migliore? Intuitivamente per uno spazio così ampio (R ^ 10000) è possibile che qualche altro classificatore non lineare sia una scelta migliore.

Ti suggerisco di provare diversi classificatori diversi e osservare gli errori di previsione (proverei diversi modelli di classificazione regolarizzati).

Se si esaurisce la memoria, ridurre la dimensione utilizzando PCA

Puoi anche usare PCA per ridurre le dimensioni senza calcolare la matrice di covarianza --- usando neural newtork equivalente di PCA.

Ecco un documento che lo descrive (ma ti consiglio di fare la tua ricerca): http://users.ics.tkk.fi/oja/Oja1982.pdf , ed ecco un link a qualcosa che potrebbe funzionare implementando matlab: http : //www.cs.purdue.edu/homes/dgleich/projects/pca_neural_nets_website/index.html .

Come ha suggerito jb, penso che sia meglio usare un metodo di "riduzione dimensionale". Principle Component Analysis (PCA) è una scelta popolare. Inoltre puoi provare anche tecniche di apprendimento delle funzionalità senza supervisione. Per ulteriori informazioni sull'apprendimento delle funzionalità senza supervisione, consultare http://ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial