Distanza di Mahalanobis tramite PCA quando

Ho una matrice , dove è il numero di geni e è il numero di pazienti. Chiunque abbia lavorato con tali dati sa che è sempre più grande di . Usando la selezione delle funzioni ho ridotto a un numero più ragionevole, tuttavia è ancora maggiore di .p n $n\times p$$p$$n$$p$p p $n$$p$$p$$n$

Vorrei calcolare la somiglianza dei pazienti in base ai loro profili genetici; Potrei usare la distanza euclidea, tuttavia Mahalanobis sembra più appropriato in quanto spiega la correlazione tra le variabili. Il problema (come notato in questo post ) è che la distanza di Mahalanobis, in particolare la matrice di covarianza, non funziona quando . Quando corro Mahalanobis a distanza in R, l'errore che ottengo è:$n < p$

 Error in solve.default(cov, ...) :    system is computationally
 singular: reciprocal condition number = 2.81408e-21

Finora per provare a risolverlo, ho usato il PCA e invece di usare i geni, uso i componenti e questo sembra permettermi di calcolare la distanza di Mahalanobis; 5 componenti rappresentano circa l'80% della varianza, quindi ora .$n > p$

Le mie domande sono: posso usare PCA per ottenere in modo significativo la distanza di Mahalanobis tra i pazienti o è inappropriato? Ci sono metriche di distanza alternative che funzionano quando e c'è anche molta correlazione tra le variabili?$n < p$$n$

Se si mantengono tutti i componenti da un PCA, le distanze euclidee tra i pazienti nel nuovo spazio PCA eguagliano le loro distanze Mahalanobis nello spazio variabile osservato. Se salti alcuni componenti, questo cambierà un po ', ma comunque. Qui mi riferisco ai componenti PCA varianza unità, non al tipo la cui varianza è uguale all'autovalore (non sono sicuro dell'implementazione PCA).

Voglio solo dire che se vuoi valutare la distanza di Mahalanobis tra i pazienti, puoi applicare la PCA e valutare la distanza euclidea. La valutazione della distanza di Mahalanobis dopo l'applicazione del PCA mi sembra insignificante.

Dai un'occhiata al seguente documento:

Zuber, V., Silva, APD, & Strimmer, K. (2012). Un nuovo algoritmo per la selezione SNP simultanea in studi di associazione su tutto il genoma ad alta dimensione . Bioinformatica BMC , 13 (1), 284.

Affronta esattamente il tuo problema. Gli autori suppongono l'uso di nuove misurazioni di importanza variabile, oltre a introdurre in precedenza un metodo di stima penalizzato per la matrice di correlazione delle variabili esplicative che si adatta al tuo problema. Usano anche la distanza Mahalanobis per la decorrelazione!

I metodi sono inclusi nel pacchetto R 'care', disponibile su CRAN

I punteggi PCA (o risultati PCA) sono utilizzati in letteratura per calcolare la distanza di Mahalanobis tra il campione e una distribuzione dei campioni. Per un esempio, vedi questo articolo . Nella sezione "Metodi di analisi", gli autori dichiarano:

I set di dati degli spettri di fluorescenza (681) sono ridotti in una dimensione inferiore (11) valutando i componenti principali (PC) della matrice di correlazione (681 × 681). I punteggi dei PC vengono stimati proiettando i dati originali lungo i PC. La classificazione tra i set di dati è stata effettuata utilizzando il modello di distanza Mahalanobis calcolando le distanze Mahalanobis per i punteggi PC.

Ho visto altri esempi di analisi discriminanti basate sulla distanza PCA / Mahalanobis in letteratura e nel menu di aiuto del software di chemometria GRAMS IQ. Questa combinazione ha senso poiché la distanza di Mahalanobis non funziona bene quando il numero di variabili è maggiore del numero di campioni disponibili e PCA riduce il numero di variabili.

Gli algoritmi di apprendimento automatico di classificazione di una classe (ovvero Isolation Forest, One-ClassSVM, ecc.) Sono possibili alternative all'analisi discriminante basata sulla distanza PCA / Mahalanobis. Nel nostro laboratorio, la foresta di isolamento combinata con la pre-elaborazione dei dati ha prodotto buoni risultati nella classificazione degli spettri nel vicino infrarosso.

In una nota leggermente correlata, il rilevamento di valori anomali o di novità con distanza PCA / Mahalanobis, per dati ad alta dimensione, spesso richiede il calcolo del limite di distanza Mahalanobis . Questo articolo suggerisce che il cutoff può essere calcolato come radice quadrata del valore critico della distribuzione chi-quadro , supponendo che i dati siano normalmente distribuiti. Questo valore critico richiede il numero di gradi di libertà e il valore di probabilità associato ai dati. L'articolo sembra suggerire che il numero di componenti principali conservati è uguale al numero di gradi di libertà necessari per calcolare il valore critico poiché gli autori hanno utilizzato il numero di funzionalità nel set di dati per il loro calcolo.