PCA, LDA, CCA e PLS

In che modo sono correlati PCA, LDA, CCA e PLS? Sembrano tutti "spettrali" e lineari algebrici e molto ben compresi (diciamo più di 50 anni di teoria costruita attorno a loro). Sono usati per cose molto diverse (PCA per la riduzione della dimensionalità, LDA per la classificazione, PLS per la regressione), ma si sentono ancora strettamente correlati.

— carlosdc
fonte

Oltre al bel riferimento nella risposta di seguito, puoi anche leggere Borga et al., 1997, A Unified Approach to PCA, PLS, MLR and CCA .

— ameba dice di reintegrare Monica il

Tijl De Bie ha scritto un interessante capitolo " Autovalori in Pattern Recognition " che parla esattamente di questi da una prospettiva primordiale / doppia. Le tre tabelle alla fine riassumono davvero bene da una prospettiva di ottimizzazione:

Tabella 1

Tavolo 2

Tabella 3

— tdc
fonte