A quante dimensioni ridurre quando si fa PCA?

Come scegliere K per PCA? K è il numero di dimensioni su cui proiettare. L'unico requisito è non perdere troppe informazioni. Capisco che dipende dai dati, ma sto cercando di più una semplice panoramica generale su quali caratteristiche considerare quando si sceglie K.

Dopo aver eseguito l'algoritmo PCA, ottieni i componenti principali, ordinati in base alla quantità di informazioni in loro possesso. Se si mantiene l'intero set non si perdono informazioni. Rimuovendoli uno per uno e proiettandoli nello spazio originale, è possibile calcolare la perdita di informazioni. È possibile tracciare questa perdita di informazioni rispetto al numero di componenti principali rimossi e vedere se ha un "gomito" dove ha senso. Molto dipende dal caso d'uso.

Normalmente controllo la percentuale delle informazioni detenute dal valore K. Diciamo che su 8 campi, 2 di questi contengono il 90% delle informazioni. Quindi non ha senso includere gli altri 6 o 5 campi. Se conosci i dati di mnist, su 768 input, ho usato solo 250, che ha aumentato la mia precisione dall'83 al 96%. Il fatto è che più dimensionalità porta più problemi. Quindi tagliarli. Di solito prendo solo K che detiene solo il 90% delle informazioni e funziona per me.