Tecnica non ortogonale analoga alla PCA

9

Supponiamo che io abbia un set di dati di punti 2D e che voglia rilevare le direzioni di tutti i massimi di varianza locali nei dati, ad esempio:

inserisci qui la descrizione dell'immagine

PCA non aiuta in questa situazione in quanto si tratta di una decomposizione ortogonale e pertanto non è in grado di rilevare entrambe le linee che ho indicato in blu, ma il suo output potrebbe apparire come quello mostrato da linee verdi.

Si prega di raccomandare qualsiasi tecnica che potrebbe essere adatta a questo scopo. Grazie.

pca dimensionality-reduction

— Ahmed
fonte

Potresti rendere disponibile il tuo set di dati di esempio? Vorrei provare qualcosa per te. Saluti, Eric

— Eric Melse,

10

L'analisi indipendente dei componenti dovrebbe essere in grado di fornire una buona soluzione. È in grado di scomporre componenti non ortogonali (come nel tuo caso) assumendo che le tue misurazioni derivino da una miscela di variabili statisticamente indipendenti.

Ci sono molti buoni tutorial su Internet e alcune implementazioni liberamente disponibili da provare (ad esempio in Scikit o MDP ).

Quando ICA non funziona?

Come altri algoritmi, l'ICA è ottimale quando si applicano le ipotesi per le quali è stata derivata. concretamente,

le fonti sono statisticamente indipendenti
i componenti indipendenti sono non gaussiani
la matrice di miscelazione è invertibile

L'ICA restituisce una stima della matrice di miscelazione e dei componenti indipendenti.

$x_{1}$ $x_{2}$ $N(0,I)$

p (x_{1}, x_{2}) = p (x_{1}) p (x_{2}) = \frac{1}{2 π} \exp (- \frac{x_{1}^{2} + x_{2}^{2}}{2}) = \frac{1}{2 π} \exp - \frac{| | x | |^{2}}{2}

$p(x_{1}, x_{2}) = p(x_{1})p(x_{2}) = \frac{1}{2\pi}\exp \left( -\frac{x_{1}^{2}+x_{2}^{2}}{2} \right) = \frac{1}{2\pi}\exp -\frac{||\mathbf{x}||^{2}}{2}$

$||.||$ $R$ $||R\mathbf{x}|| = ||\mathbf{x}||$

— jpmuc
fonte

Sì, dovrebbe ( scikit-learn.org/stable/auto_examples/decomposition/… ), Grazie mille ! : D

— Ahmed,

1

Questo potrebbe trasformarsi in una risposta davvero profonda se dici di più; in particolare, decidi di confrontare la proposta di @ Gottfried (PCA con rotazione obliqua) con la tua proposta (ICA), quali sono le differenze e le carenze dei due.

— ttnphns

Vedo che questa domanda ha avuto una risposta parziale. Controlla la modifica aggiungendo un semplice esempio per il quale ICA non si applica.

— jpmuc,

3

Esistono procedure simili alla PCA per il cosiddetto caso "obliquo". In un software stat come SPSS (e forse anche nel suo clone freeware) PSPP si trovano equivalentemente chiamate "rotazioni oblique", e istanze di questi chiamate "oblimin", "promax" e qualcosa di più. Se capisco le cose correttamente il software prova a "rettificare" i caricamenti dei fattori ricalcolando le loro coordinate in uno spazio ortogonale ed euclideo (come ad esempio mostrato nella tua immagine) in coordinate di uno spazio i cui assi non sono ortogonali forse con qualche tecnica nota da regressione multipla. Inoltre, penso che questo funzioni solo in modo iterativo e consuma uno o più gradi di libertà nei test statistici del modello.

di confronto PCA e rotazione obliqua
Il manuale di riferimento di SPSS (sul sito IBM) per le rotazioni oblique contiene formule uniformi per il calcolo.

[Aggiornamento] (Upps, scusate, ho appena verificato che PSPP non fornisca "rotazioni" di tipo obliquo)

— Elmi di Gottfried
fonte

1

Hmm, dopo una terza lettura, vedo, che la tua domanda è leggermente diversa dalla logica di rotazione obliqua: nella tua nuvola di dati non è nemmeno che la media sia all'origine / che i dati non siano nemmeno centrati, quindi tu potrebbe avere qualcos'altro in mente di quello che ho trattato qui nella mia risposta. Se questo è il caso, posso cancellare la risposta più tardi ...

— Gottfried Helms

1

Poiché le "rotazioni" oblique sono successive al PCA, non possono "vedere" il tipo di situazione illustrata nella domanda e quindi sembrano non avere più capacità di identificare i due componenti rispetto al PCA stesso.

— whuber

2

Non ne ho molta esperienza, ma il PCA generalizzato di Vidal, Ma e Sastry è stato creato per un problema molto simile.

— Noah Stein
fonte

2

Le altre risposte hanno già dato alcuni suggerimenti utili sulle tecniche che puoi prendere in considerazione, ma nessuno sembra aver sottolineato che il tuo presupposto è sbagliato: le linee mostrate in blu nella tua immagine schematica NON sono massimi locali della varianza.

$\mathbf{w}$ $\mathbf{w}^\top\mathbf{\Sigma}\mathbf{w}$ $\mathbf{\Sigma}$ $\mathbf{w}$ $\lambda(\mathbf{w}^\top\mathbf{w}-1)$ $\lambda$

Σ w - λ w = 0.

$\mathbf{\Sigma}\mathbf{w} - \lambda \mathbf{w} = 0.$

$\mathbf{w}$

— ameba
fonte

Ciao, non ho molti retroscena in matematica, mi puoi consigliare una buona risorsa per conoscere le cose che hai menzionato sopra? Grazie.

— Ahmed,

@Ahmed: non ne sono sicuro, dipende da quello che già sai. Immagino che avresti bisogno di libri di testo decenti su algebra e analisi lineari. Questa è roba piuttosto semplice, dovrebbe essere trattata in qualsiasi libro di testo decente.

— ameba,