So che in una situazione di regressione, se si dispone di un insieme di variabili altamente correlate, questo è generalmente "negativo" a causa dell'instabilità dei coefficienti stimati (la varianza va verso l'infinito mentre il determinante va verso lo zero).
La mia domanda è se questa "cattiveria" persista in una situazione di PCA. I coefficienti / carichi / pesi / autovettori per un determinato PC diventano instabili / arbitrari / non unici man mano che la matrice di covarianza diventa singolare? Sono particolarmente interessato al caso in cui viene conservato solo il primo componente principale e tutti gli altri vengono ignorati come "rumore" o "qualcos'altro" o "non importante".
Non penso che lo sia, perché rimarrai solo con alcuni componenti principali che hanno zero o vicino a zero varianza.
È facile vedere questo non è il caso del semplice caso estremo con 2 variabili - supponiamo che siano perfettamente correlate. Quindi il primo PC sarà la relazione lineare esatta, e il secondo PC sarà perpendicolare al primo PC, con tutti i valori del PC pari a zero per tutte le osservazioni (cioè varianza zero). Mi chiedo se sia più generale.