PCA sulla correlazione o covarianza: il PCA sulla correlazione ha mai senso? [chiuso]

Nell'analisi dei componenti principali (PCA), si può scegliere la matrice di covarianza o la matrice di correlazione per trovare i componenti (dai rispettivi autovettori). Questi danno risultati diversi (caricamenti e punteggi del PC), poiché gli autovettori tra le due matrici non sono uguali. La mia comprensione è che ciò è causato dal fatto che un vettore di dati non elaborati e la sua standardizzazione non possono essere correlati tramite una trasformazione ortogonale. Matematicamente, matrici simili (cioè correlate dalla trasformazione ortogonale) hanno gli stessi autovalori, ma non necessariamente gli stessi autovettori.$X$$Z$

Ciò solleva alcune difficoltà nella mia mente:

1. La PCA ha davvero senso, se puoi ottenere due risposte diverse per lo stesso set di dati di partenza, entrambi cercano di ottenere la stessa cosa (= trovare le direzioni della massima varianza)?

2. Quando si utilizza l'approccio della matrice di correlazione, ogni variabile viene standardizzata (ridimensionata) in base alla propria deviazione standard individuale, prima di calcolare i PC. In che modo ha quindi senso trovare le indicazioni di massima varianza se i dati sono già stati precedentemente ridimensionati / compressi in modo diverso? So che la PCA basata sulla correlazione è molto conveniente (le variabili standardizzate sono senza dimensioni, quindi è possibile aggiungere le loro combinazioni lineari; altri vantaggi si basano anche sul pragmatismo), ma è corretto?

Mi sembra che il PCA basato sulla covarianza sia l'unico veramente corretto (anche quando le varianze delle variabili differiscono notevolmente) e che ogni volta che questa versione non può essere utilizzata, non dovrebbe essere usato neanche il PCA basato sulla correlazione.

So che esiste questa discussione: PCA sulla correlazione o covarianza? - ma sembra concentrarsi solo sulla ricerca di una soluzione pragmatica, che può anche essere o meno una soluzione algebricamente corretta.

Spero che queste risposte alle tue due domande calmino la tua preoccupazione:

1. Una matrice di correlazione è una matrice di covarianza dei dati standardizzati (cioè non solo centrati ma anche riscalati); cioè una matrice di covarianza (come se) di un altro set di dati diverso. Quindi è naturale e non dovrebbe preoccuparti che i risultati differiscano.
2. Sì, ha senso trovare le direzioni della massima varianza con i dati standardizzati - sono le direzioni di - per così dire - "correlazione", non "covarianza"; cioè, dopo che l'effetto della varianza diseguale - delle variabili originali - sulla forma del cloud di dati multivariato è stato rimosso.

Prossimo testo e immagini aggiunti da @whuber (lo ringrazio. Vedi anche il mio commento qui sotto)

Ecco un esempio bidimensionale che mostra perché ha ancora senso individuare gli assi principali dei dati standardizzati (mostrato a destra). Si noti che nel grafico a destra la nuvola ha ancora una "forma" anche se le varianze lungo gli assi delle coordinate sono ora esattamente uguali (a 1.0). Allo stesso modo, nelle dimensioni più elevate la nuvola di punti standardizzata avrà una forma non sferica anche se le varianze lungo tutti gli assi sono esattamente uguali (a 1.0). Gli assi principali (con gli autovalori corrispondenti) descrivono quella forma. Un altro modo per comprenderlo è notare che tutto il riscalamento e lo spostamento che avvengono durante la standardizzazione delle variabili avvengono solo nelle direzioni degli assi delle coordinate e non nelle direzioni principali stesse.

Ciò che sta accadendo qui è geometricamente così intuitivo e chiaro che sarebbe un tratto caratterizzarlo come una "operazione black-box": al contrario, la standardizzazione e la PCA sono alcune delle cose più basilari e di routine che facciamo con i dati in ordine per capirli.

Continua da @ttnphns

Quando si preferirebbe fare PCA (o analisi fattoriale o altro tipo analogo di analisi) su correlazioni (cioè su variabili z standardizzate) invece di farlo su covarianze (cioè su variabili centrate)?

1. Quando le variabili sono diverse unità di misura. È chiaro
2. Quando si desidera che l'analisi rifletta solo e solo le associazioni lineari . Pearson r non è solo la covarianza tra le variabili non graduate (varianza = 1); è improvvisamente la misura della forza della relazione lineare, mentre il solito coefficiente di covarianza è ricettivo alla relazione sia lineare che monotona.
3. Quando si desidera che le associazioni riflettano la co-deviazione relativa (dalla media) piuttosto che la co-deviazione cruda. La correlazione si basa sulle distribuzioni, i loro spread, mentre la covarianza si basa sulla scala di misurazione originale. Se dovessi analizzare i fattori psicopatologici dei pazienti come valutato dagli psichiatri su alcuni questionari clinici costituiti da elementi di tipo Likert, preferirei le covarianze. Perché non è previsto che i professionisti distorcano la scala di valutazione intrapsichica. Se, d'altra parte, dovessi analizzare gli auto-portrati dei pazienti con lo stesso questionario, sceglierei probabilmente le correlazioni. Poiché la valutazione del profano dovrebbe essere relativa ad "altre persone", "la maggioranza" "deviazione ammissibile" lente che "restringe" o "allunga" la scala di valutazione per uno.

Parlando da un punto di vista pratico - probabilmente impopolare qui - se hai dati misurati su scale diverse, procedi con la correlazione ("ridimensionamento UV" se sei un chemiometrico), ma se le variabili sono sulla stessa scala e le dimensioni contano (ad es. con dati spettroscopici), quindi la covarianza (centrando solo i dati) ha più senso. PCA è un metodo dipendente dalla scala e anche la trasformazione dei registri può aiutare con dati altamente distorti.

A mio modesto parere, basato su 20 anni di applicazione pratica della chemiometria, devi sperimentare un po 'e vedere cosa funziona meglio per il tuo tipo di dati. Alla fine della giornata devi essere in grado di riprodurre i tuoi risultati e provare a dimostrare la prevedibilità delle tue conclusioni. Il modo in cui ci si arriva è spesso un caso di tentativi ed errori, ma l'importante è che ciò che fai sia documentato e riproducibile.

Non ho tempo di andare a una descrizione più completa degli aspetti dettagliati e tecnici dell'esperimento che ho descritto, e i chiarimenti sulle diciture (raccomandazione, prestazione, ottimale) ci allontanerebbero di nuovo dal vero problema, che riguarda il tipo di dati di input il PCA può (non) / dovrebbe (non) assumere. PCA opera prendendo combinazioni lineari di numeri (valori di variabili). Matematicamente, ovviamente, si possono aggiungere due numeri (reali o complessi). Ma se sono stati ridimensionati prima della trasformazione della PCA, la loro combinazione lineare (e quindi il processo di massimizzazione) è ancora significativa su cui operare? Se ogni variabile ha la stessa varianza , allora chiaramente sì, perchés 2 ( x 1 / s 1 ) + ( x 2 / s 2 ) = ( x 1 + x 2 ) / s x 1 + x 2 s 1 ≠ s $x_i$$s^2$$(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$è ancora proporzionale e paragonabile alla sovrapposizione fisica dei dati stesso. Ma se , la combinazione lineare di quantità standardizzate distorce i dati delle variabili di input in modo diverso$x_1+x_2$$s_1\not =s_2$gradi. Sembra poco utile quindi massimizzare la varianza della loro combinazione lineare. In tal caso, PCA offre una soluzione per un diverso insieme di dati, per cui ciascuna variabile viene ridimensionata in modo diverso. Se successivamente non si standardizza (quando si utilizza corr_PCA), potrebbe essere OK e necessario; ma se prendessi la soluzione corr_PCA grezza così com'è e ti fermassi lì, otterrai una soluzione matematica, ma non una relativa ai dati fisici. Dato che la non standardizzazione in seguito sembra obbligatoria come minimo (cioè, "distendere" gli assi dalle deviazioni standard inverse), all'inizio si sarebbe potuto usare cov_PCA. Se stai ancora leggendo, sono impressionato! Per ora, finisco citando dal libro di Jolliffe, p. 42, che è la parte che mi riguarda:"Non si deve dimenticare, tuttavia, che i PC a matrice di correlazione, se riespressi in termini di variabili originali, sono ancora funzioni lineari di x che massimizzano la varianza rispetto alle variabili standardizzate e non rispetto alle variabili originali." Se pensi che io stia interpretando erroneamente questa o le sue implicazioni, questo estratto potrebbe essere un buon punto di messa a fuoco per ulteriori discussioni.