Classificazione con un predittore dominante

Ho un problema di classificazione ( classe ), con l'ordine di 100 predittori a valore reale, uno dei quali sembra avere un potere esplicativo molto più di qualsiasi altro. Mi piacerebbe approfondire gli effetti delle altre variabili. Tuttavia, le tecniche di apprendimento automatico standard (foreste casuali, SVM, ecc.) Sembrano essere sommerse da un forte predittore e non mi danno molte informazioni interessanti sugli altri.$k$

Se questo fosse un problema di regressione, regredirei semplicemente contro il predittore forte e quindi utilizzerei i residui come input per altri algoritmi. Non vedo davvero come questo approccio possa essere tradotto in un contesto di classificazione.

Il mio istinto è che questo problema deve essere ragionevolmente comune: esiste una tecnica standard per affrontarlo?

Per problemi di classe 2, è possibile utilizzare il pacchetto GBM in R , che adatta in modo iterativo gli alberi di classificazione ai residui della funzione di perdita. Purtroppo non supporta ancora problemi multi-classe.

Questo sembra un problema adatto per il potenziamento, ma non conosco alcun pacchetto di potenziamento che supporti i problemi di classe k. Penso che il problema sia scrivere una funzione di perdita appropriata per le classi multiple. I glmnetpacchetti hanno una funzione di perdita multinomiale, forse puoi guardare attraverso il suo codice sorgente per alcuni puntatori.

Potresti provare a scrivere il tuo algoritmo di potenziamento, oppure potresti trasformare il tuo problema in k problemi di classificazione binaria (una classe contro tutte le altre classi), adattare un modello gbm a ciascun problema e fare una media delle probabilità della classe per ciascun modello.