Qualcuno ha esperienza con gli approcci per selezionare il numero di componenti principali sparsi da includere in un modello di regressione?
Risposte:
Anche se non ho approfondimenti diretti sulla tua domanda, ho incontrato alcuni articoli di ricerca , che potrebbero essere di tuo interesse. Cioè, ovviamente, se capisco correttamente che stai parlando di PCA sparsa , regressione dei componenti principali e argomenti correlati. In tal caso, ecco i documenti:
I risultati della convalida incrociata sono stati inoltre utilizzati per determinare il numero ottimale di dimensioni per lo spazio LSI. Troppe dimensioni non hanno sfruttato la potenza predittiva dei dati; mentre troppe dimensioni hanno comportato un adattamento eccessivo. La Fig. 4 mostra la distribuzione degli errori medi per i modelli con numeri diversi di dimensioni LSI. I modelli con spazi LSI a quattro dimensioni hanno prodotto sia il minor numero medio di errori sia il minor numero mediano di errori, quindi il modello finale è stato realizzato utilizzando uno spazio LSI a quattro dimensioni.
Posso pubblicare una copia se non sei un membro ieee.
Questo è da un articolo che ho scritto a undergrad. Ho avuto un problema in cui dovevo decidere quante dimensioni (indicizzazione semantica latente è simile alla PCA) da utilizzare nel mio modello di regressione logistica. Quello che ho fatto è stato scegliere una metrica (ovvero il tasso di errore quando si utilizza una probabilità di segnalazione di 0,5) e ho esaminato la distribuzione di questo tasso di errore per diversi modelli addestrati su un numero diverso di dimensioni. Ho quindi scelto il modello con il tasso di errore più basso. È possibile utilizzare altre metriche come l'area sotto la curva ROC.
Puoi anche usare qualcosa come la regressione graduale per scegliere il numero di dimensioni per te. Che tipo di regressione stai preformando in modo specifico?
Cosa intendi con sparse tra l'altro?