Unione di dati sparsi e densi nell'apprendimento automatico per migliorare le prestazioni

Ho caratteristiche sparse che sono predittive, inoltre ho alcune caratteristiche dense che sono anche predittive. Devo combinare queste funzionalità insieme per migliorare le prestazioni complessive del classificatore.

Ora, il problema è che quando provo a combinarli insieme, le funzioni dense tendono a dominare di più rispetto alle funzioni sparse, offrendo quindi un miglioramento dell'1% dell'AUC rispetto al modello con solo funzioni dense.

Qualcuno ha riscontrato problemi simili? Apprezzo molto gli input, un po 'bloccati. Ho già provato molti classificatori diversi, combinazione di classificatori, trasformazioni di funzionalità ed elaborazione con algoritmi diversi.

Grazie in anticipo per l'aiuto.

Modifica :

Ho già provato i suggerimenti forniti nei commenti. Quello che ho osservato è che, per quasi il 45% dei dati, le funzionalità sparse funzionano davvero bene, ottengo un AUC di circa 0,9 con solo funzionalità sparse, ma per le restanti funzioni dense funzionano bene con un AUC di circa 0,75. In un certo senso ho provato a separare questi set di dati, ma ottengo l'AUC di 0,6, quindi non posso semplicemente addestrare un modello e decidere quali funzionalità utilizzare.

Per quanto riguarda lo snippet di codice, ho provato così tante cose, che non sono sicuro di cosa esattamente condividere :(

Sembra un lavoro per l'analisi dei componenti principali. In Scikit PCA è implementato bene e mi ha aiutato molte volte.

PCA, in un certo senso, combina le tue funzionalità. Limitando il numero di componenti, si recupera il modello con dati senza rumore (nel migliore dei casi). Perché il tuo modello è buono come i tuoi dati.

Considera di seguito un semplice esempio.

from sklearn.pipeline import Pipeline
pipe_rf = Pipeline([('pca', PCA(n_components=80)),
                    ('clf',RandomForestClassifier(n_estimators=100))])
pipe_rf.fit(X_train_s,y_train_s)

pred = pipe_rf.predict(X_test)

Perché ho scelto 80? Quando tracciamo la varianza cumulativa, la ottengo di seguito, il che mi dice che con ~ 80 componenti, raggiungo quasi tutta la varianza.

Quindi direi di provarlo, usalo nei tuoi modelli. Dovrebbe aiutare.

Il modo migliore per combinare le funzionalità è attraverso metodi ensemble. Fondamentalmente ci sono tre diversi metodi: insaccamento, potenziamento e accatastamento. Puoi usare Adabbost aumentato con la selezione delle caratteristiche (in questo caso sia caratteristiche sparse che dense) o basato sullo stacking (caratteristica casuale - sottospazio casuale) Preferisco la seconda opzione che puoi addestrare un insieme di studenti di base (decisioni. Alberi) usando casuale sottoinsiemi e funzionalità casuali (mantieni gli apprendenti della base di allenamento fino a quando non copri l'intera serie di funzioni) Il passaggio successivo è testare il set di formazione per generare i metadati. Usa questi metadati per addestrare un meta classificatore. Il meta classificatore capirà quale caratteristica è più importante e quale tipo di relazione dovrebbe essere utilizzata

I gruppi di variabili possono essere multicollineari o la conversione tra rado e denso potrebbe andare storta. Hai mai pensato di utilizzare un classificatore / classificazione di voto? http://scikit-learn.org/stable/modules/ensemble.html In questo modo potresti affrontare entrambi i problemi di cui sopra.

Oltre ad alcuni dei suggerimenti di cui sopra, consiglierei di utilizzare un approccio alla modellazione in due passaggi .

1. Utilizzare prima le funzionalità sparse e sviluppare il modello migliore.
2. Calcola la probabilità prevista da quel modello.
3. Inserisci quella stima di probabilità nel secondo modello (come funzionalità di input), che incorporerebbe le funzionalità dense. In altre parole, utilizzare tutte le funzionalità dense e la stima della probabilità per la costruzione del secondo modello.
4. La classificazione finale si baserà quindi sul secondo modello.

Prova PCA solo su funzionalità sparse e combina l'output PCA con funzionalità dense.

Quindi otterrai un set denso di funzionalità (originali) + un set denso di funzionalità (che erano originariamente sparse).

+1 per la domanda. Ti preghiamo di aggiornarci con i risultati.