Perché la PCA è sensibile ai valori anomali?

Ci sono molti post su questo SE che discutono di solidi approcci all'analisi dei componenti principali (PCA), ma non riesco a trovare una sola buona spiegazione del perché il PCA sia sensibile agli outlier in primo luogo.

machine-learning pca outliers

— psi
fonte

Perché il contributo della norma L2 è molto alto per gli outlier. Quindi, quando si minimizza la norma L2 (che è ciò che la PCA cerca di fare), quei punti tireranno più forte per adattarsi rispetto ai punti più vicini alla volontà media.

— matematico

Questa risposta ti dice tutto ciò di cui hai bisogno. Immagina un outlier e leggi attentamente.

— S. Kolassa - Ripristina Monica il

Uno dei motivi è che la PCA può essere considerata una decomposizione di basso livello dei dati che minimizza la somma delle norme $L_2$ dei residui della decomposizione. Cioè se $Y$ sono i tuoi dati ( $m$ vettori di $n$ dimensioni) e $X$ è la base PCA ( $k$ vettori di $n$ dimensioni), la decomposizione minimizzerà rigorosamente

‖ Y - X UN ‖_{F}^{2} = Σ_{j = 1}^{m} ‖ Y_{j} - X {UN}_{j .} ‖^{2}

$\lVert Y-XA \rVert^2_F = \sum_{j=1}^{m} \lVert Y_j - X A_{j.} \rVert^2$ Qui

A

$A$ è la matrice dei coefficienti di decomposizione PCA e

‖ \cdot ‖_{F}

$\lVert \cdot \rVert_F$ è una norma di Frobenius della matrice

Poiché il PCA minimizza le norme $L_2$ (cioè le norme quadratiche) ha gli stessi problemi di minimi quadrati o adattamento di un gaussiano essendo sensibile ai valori anomali. A causa della quadratura delle deviazioni dagli outlier, domineranno la norma totale e quindi guideranno i componenti PCA.

— sega_sai
fonte