Quali sono le buone metriche per valutare la qualità di un adattamento PCA, al fine di selezionare il numero di componenti?

Qual è una buona metrica per valutare la qualità dell'analisi dei componenti principali (PCA)?

Ho eseguito questo algoritmo su un set di dati. Il mio obiettivo era ridurre il numero di funzionalità (le informazioni erano molto ridondanti). So che la percentuale di varianza mantenuta è un buon indicatore di quante informazioni conserviamo, ci sono altre metriche di informazioni che posso usare per assicurarmi di aver rimosso le informazioni ridondanti e di non aver "perso" tali informazioni?

Presumo che parte di questa domanda sia se esistono altre metriche oltre alla varianza percentuale cumulativa (CPV) e l'approccio simile al grafico a ghiaione. La risposta a questa è, sì, molte .

Un ottimo documento su alcune opzioni è Valle 1999:

• Selezione del numero di componenti principali: la varianza del criterio di errore di ricostruzione con un confronto con altri metodi

  Sergio Valle, Weihua Li e S. Joe Qin, Ricerca chimica industriale e ingegneristica 1999 38 (11), 4389-4401

Supera il CPV, ma anche l'analisi parallela, la convalida incrociata, la varianza dell'errore di ricostruzione (VRE), i metodi basati sui criteri di informazione e altro ancora. Potresti seguire la raccomandazione fatta dall'articolo dopo aver confrontato e usato il VRE, ma la convalida incrociata basata su PRESS funziona bene anche nella mia esperienza e ottengono buoni risultati anche con quello. Nella mia esperienza, CPV è comodo e facile e fa un lavoro decente, ma questi due metodi sono generalmente migliori.

Esistono altri modi per valutare la validità del modello PCA se si conoscono meglio i dati. Un modo è quello di confrontare i carichi PCA stimati con quelli veri se li conosci (cosa che faresti nelle simulazioni). Questo può essere fatto calcolando la distorsione dei caricamenti stimati su quelli reali. Maggiore è il tuo pregiudizio, peggiore è il tuo modello. Per come fare, puoi consultare questo documento in cui usano questo approccio per confrontare i metodi. Tuttavia, non è utilizzabile in casi di dati reali, in cui non si conoscono i veri caricamenti di PCA. Ciò parla meno di quanti componenti hai rimosso, piuttosto che della distorsione del tuo modello a causa dell'influenza delle osservazioni periferiche, ma serve comunque come metrica di qualità del modello.

Ci sono anche misure basate su criteri teorici dell'informazione come

MDL di Rissanen (e variazioni)