Riduzione della dimensionalità supervisionata

Ho un set di dati composto da 15K campioni etichettati (di 10 gruppi). Voglio applicare la riduzione della dimensionalità in 2 dimensioni, che prenderebbe in considerazione la conoscenza delle etichette.

Quando utilizzo tecniche di riduzione della dimensionalità non standard "standard" come PCA, il grafico a dispersione sembra non avere nulla a che fare con le etichette note.

Quello che sto cercando ha un nome? Vorrei leggere alcuni riferimenti di soluzioni.

Il metodo lineare più standard per la riduzione della dimensionalità supervisionata si chiama linear discriminant analysis (LDA). È progettato per trovare proiezioni a bassa dimensione che massimizzano la separazione delle classi. Puoi trovare molte informazioni al riguardo nel nostro tag di analisi discriminante e in qualsiasi manuale di apprendimento automatico come, ad esempio, The Elements of Statistical Learning disponibile gratuitamente .

Ecco una foto che ho trovato qui con una rapida ricerca su Google; mostra le proiezioni PCA e LDA monodimensionali quando ci sono due classi nel set di dati (origine aggiunta da me):

Un altro approccio è chiamato minimi quadrati parziali (PLS). LDA può essere interpretato come ricerca di proiezioni con la più alta correlazione con le variabili fittizie che codificano le etichette dei gruppi (in questo senso LDA può essere visto come un caso speciale di analisi di correlazione canonica, CCA). Al contrario, PLS cerca proiezioni con la massima covarianza con le etichette di gruppo. Mentre LDA produce solo 1 asse per il caso di due gruppi (come nella figura sopra), PLS troverà molti assi ordinati dalla covarianza decrescente. Si noti che quando sono presenti più di due gruppi nel set di dati, ci sono diversi "sapori" di PLS che produrranno risultati leggermente diversi.

Aggiornamento (2018)

Dovrei trovare il tempo per espandere questa risposta; questa discussione sembra essere popolare ma la mia risposta originale sopra è molto breve e non abbastanza dettagliata.

$k$