Un set di addestramento scarso influisce negativamente su un SVM?

Sto cercando di classificare i messaggi in diverse categorie usando un SVM. Ho compilato un elenco di parole / simboli desiderabili dal set di addestramento.

Per ogni vettore, che rappresenta un messaggio, ho impostato la riga corrispondente su 1se la parola è presente:

"corpus" è: [mary, little, lamb, star, twinkle]

primo messaggio: "maria aveva un agnellino" -> [1 1 1 0 0]

secondo messaggio: "scintillio stellina" -> [0 1 0 1 1]

Penso che questa sia una configurazione abbastanza comune con SVM, ma la mia domanda è, con migliaia di parole nel set, cosa succede se ci sono solo 1-2 parole per messaggio che vengono effettivamente visualizzate? La dipendenza lineare della mia serie di vettori di formazione influenzerà negativamente la capacità dell'algoritmo di convergere?

La scarsità e la dipendenza lineare sono due cose diverse. La dipendenza lineare implica che alcuni dei vettori di funzionalità sono semplici multipli di altri vettori di funzionalità (o lo stesso applicato agli esempi). Nell'impostazione che hai descritto, penso che la dipendenza lineare sia improbabile (implica che due termini hanno la stessa frequenza (o multipli) su tutti i documenti). Il semplice fatto di avere funzioni sparse non presenta alcun problema per SVM. Un modo per vedere questo è che potresti fare una rotazione casuale degli assi coordinati, che lascerebbe invariato il problema e darebbe la stessa soluzione, ma renderebbe i dati completamente non sparsi (questo è in parte come funzionano le proiezioni casuali ).

Inoltre sembra che tu stia parlando dell'SVM in primordiale . Nota che se usi il kernel SVM, solo perché hai un set di dati sparse non significa che la matrice del kernel sarà sparsa. Tuttavia, può essere di basso livello. In tal caso, puoi effettivamente trarre vantaggio da questo fatto per un addestramento più efficiente (vedi ad esempio Allenamento svm efficiente usando rappresentazioni del kernel di basso rango ).