Perché l'LDA di Python-scikit-learning non funziona correttamente e come calcola l'LDA tramite SVD?

Stavo usando Linear Discriminant Analysis (LDA) dalla scikit-learnlibreria di machine learning (Python) per la riduzione della dimensionalità ed ero un po 'curioso dei risultati. Mi chiedo ora cosa scikit-learnstia facendo l'ADL in modo che i risultati appaiano diversi, ad esempio, da un approccio manuale o da un ADL fatto in R. Sarebbe bello se qualcuno potesse darmi alcune intuizioni qui.

La cosa sostanzialmente più preoccupante è che scikit-plotmostra una correlazione tra le due variabili in cui dovrebbe esserci una correlazione 0.

Per un test, ho usato il set di dati Iris e i primi 2 discriminanti lineari si presentavano così:

IMG-1. LDA via scikit-learn

Ciò è sostanzialmente coerente con i risultati che ho trovato nella documentazione di scikit-learn qui.

Ora, ho seguito l'ADL passo dopo passo e ho ottenuto una proiezione diversa. Ho provato diversi approcci per scoprire cosa stava succedendo:

IMG-2. LDA su dati grezzi (nessun centraggio, nessuna standardizzazione)

E qui sarebbe l'approccio graduale se standardizzassi (normalizzazione del punteggio z; varianza dell'unità) i dati per primi. Ho fatto la stessa cosa solo con la centratura dei media, il che dovrebbe portare alla stessa immagine di proiezione relativa (e che in effetti ha fatto).

IMG-3. LDA dettagliata dopo centraggio della media o standardizzazione

IMG-4. LDA in R (impostazioni predefinite)

LDA in IMG-3 in cui ho centrato i dati (che sarebbe l'approccio preferito) sembra esattamente lo stesso di quello che ho trovato in un post da qualcuno che ha fatto l'LDA in R

Codice di riferimento

Non volevo incollare tutto il codice qui, ma l'ho caricato come un notebook IPython qui suddiviso nei vari passaggi che ho usato (vedi sotto) per la proiezione LDA.

1. Passaggio 1: calcolo dei vettori della media d-dimensionale $$\mathbf m_i = \frac{1}{n_i} \sum\limits_{\mathbf x \in D_i}^n \; \mathbf x_k$$

2. Passaggio 2: calcolo delle matrici a dispersione

   $S_W$
   

   $$S_W = \sum\limits_{i=1}^{c} S_i = \sum\limits_{i=1}^{c} \sum\limits_{\mathbf x \in D_i}^n (\mathbf x - \mathbf m_i)\;(\mathbf x - \mathbf m_i)^T$$

   $S_B$
   

   $$S_B = \sum\limits_{i=1}^{c} n_i (\mathbf m_i - \mathbf m) (\mathbf m_i - \mathbf m)^T$$ $\mathbf m$

3. $S_{W}^{-1}S_B$

   3.1. Ordinamento degli autovettori diminuendo gli autovalori

   $d \times k$$\mathbf W$

4. $$\mathbf y = \mathbf W^T \times \mathbf x.$$

Aggiornamento: grazie a questa discussione, è scikit-learnstato aggiornato e funziona correttamente ora. Il suo codice sorgente LDA può essere trovato qui . Il problema originale era dovuto a un bug minore (vedi questa discussione su github ) e la mia risposta in realtà non lo indicava correttamente (scuse per qualsiasi confusione causata). Poiché tutto ciò non ha più importanza (il bug è stato corretto), ho modificato la mia risposta per concentrarmi su come LDA può essere risolto tramite SVD, che è l'algoritmo predefinito scikit-learn.

Dopo aver definito le matrici di dispersione all'interno e tra le classi e , il calcolo LDA standard, come sottolineato nella tua domanda, è di prendere autovettori di come assi discriminanti ( vedi ad esempio qui ). Gli stessi assi, tuttavia, possono essere calcolati in un modo leggermente diverso, sfruttando una matrice sbiancante:$\boldsymbol \Sigma_W$$\boldsymbol \Sigma_B$$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B$

1. Calcola . Questa è una trasformazione imbiancante rispetto alla covarianza all'interno della classe (vedi la mia risposta collegata per i dettagli).$\boldsymbol \Sigma_W^{-1/2}$

   Nota che se hai decomposizione eigen , allora . Nota anche che uno calcola lo stesso facendo SVD di dati all'interno della classe raggruppati: .$\boldsymbol \Sigma_W = \mathbf{U}\mathbf{S}\mathbf{U}^\top$$\boldsymbol \Sigma_W^{-1/2}=\mathbf{U}\mathbf{S}^{-1/2}\mathbf{U}^\top$$\mathbf{X}_W = \mathbf{U} \mathbf{L} \mathbf{V}^\top \Rightarrow \boldsymbol\Sigma_W^{-1/2}=\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

2. Trova autovettori di , chiamiamoli .$\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}$$\mathbf{A}^*$

   Ancora una volta, si noti che è possibile calcolarlo facendo SVD di dati tra classi , trasformati con , cioè dati tra classi sbiancati rispetto alla classe interna covarianza.$\mathbf{X}_B$$\boldsymbol \Sigma_W^{-1/2}$

3. Gli assi discriminanti saranno dati da , ovvero dagli assi principali dei dati trasformati , trasformati di nuovo .$\mathbf A$$\boldsymbol \Sigma_W^{-1/2} \mathbf{A}^*$

   Infatti, se è un autovettore della matrice sopra, allora e moltiplicando da sinistra per e definendo , otteniamo immediatamente :Σ - 1 / 2 W Σ B Σ - 1 / 2 W un * =λ un * , Σ - 1 / 2 W a = Σ - 1 / 2 W un * Σ - 1 W Σ B a =À una$\mathbf a^*$

   $$\boldsymbol \Sigma_W^{-1/2} \boldsymbol \Sigma_B \boldsymbol \Sigma_W^{-1/2}\mathbf a^* = \lambda \mathbf a^*,$$ $\boldsymbol \Sigma_W^{-1/2}$$\mathbf a = \boldsymbol \Sigma_W^{-1/2}\mathbf a^*$ $$\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B \mathbf a = \lambda \mathbf a.$$

In sintesi, LDA equivale a sbiancare la matrice dei mezzi di classe rispetto alla covarianza all'interno della classe, fare PCA sui mezzi di classe e trasformare indietro gli assi principali risultanti nello spazio originale (non sbiancato).

Ciò è sottolineato, ad esempio, in The Elements of Statistical Learning , sezione 4.3.3. In scikit-learnquesto è il modo predefinito di calcolare LDA perché SVD di una matrice di dati è numericamente più stabile della decomposizione degli automi della sua matrice di covarianza.

$\boldsymbol \Sigma_W^{-1/2}$scikit-learn U L - 1 U$\mathbf{L}^{-1}\mathbf{U}^\top$$\mathbf{U}\mathbf{L}^{-1}\mathbf{U}^\top$

Solo per chiudere questa domanda, il problema discusso con l'ADL è stato risolto in scikit-learn 0.15.2 .