L'ottimizzazione della PCA è convessa?

La funzione oggettiva dell'analisi dei componenti principali (PCA) è ridurre al minimo l'errore di ricostruzione nella norma L2 (vedere la sezione 2.12 qui . Un'altra visione sta cercando di massimizzare la varianza sulla proiezione. Abbiamo anche un post eccellente qui: qual è la funzione oggettiva della PCA ? ).

La mia domanda è che l' ottimizzazione della PCA è convessa? (Ho trovato alcune discussioni qui , ma vorrei che qualcuno potesse fornire una bella prova qui sul CV).

No, le solite formulazioni di PCA non sono problemi convessi. Ma possono essere trasformati in un problema convesso di ottimizzazione.

L'intuizione e il divertimento di questo sta seguendo e visualizzando la sequenza delle trasformazioni piuttosto che semplicemente ottenere la risposta: sta nel viaggio, non nella destinazione. I passi principali in questo viaggio sono

1. Ottieni un'espressione semplice per la funzione oggettiva.

2. Allarga il suo dominio, che non è convesso, in uno che lo è.

3. Modificare l'obiettivo, che non è convesso, in uno che sia, in modo che ovviamente non cambi i punti in cui raggiunge i suoi valori ottimali.

Se stai attento, puoi vedere i moltiplicatori SVD e Lagrange in agguato, ma sono solo un evento secondario, lì per interesse scenico, e non li commenterò ulteriormente.

---

La formulazione standard che massimizza la varianza del PCA (o almeno il suo passaggio chiave) è

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x=1\tag{*}$$

dove la matrice è una matrice simmetrica semidefinita positiva costruita dai dati (di solito la sua somma di quadrati e matrice di prodotti, la sua matrice di covarianza o la sua matrice di correlazione).$n\times n$$\mathbb A$

(Equivalentemente, potremmo provare a massimizzare l'obiettivo non vincolato . Non solo questa è un'espressione più cattiva - non è più una funzione quadratica - ma la rappresentazione grafica di casi speciali lo farà mostra rapidamente che non è nemmeno una funzione convessa. Di solito si osserva che questa funzione è invariante nei riscalamenti da e quindi la riduce alla formulazione vincolata )x → λ x ( ∗ $x^\prime \mathbb{A} x / x^\prime x$$x\to \lambda x$$(*)$

Qualsiasi problema di ottimizzazione può essere formulato in modo astratto come

Trova almeno una che renda la funzione più ampia possibile. f : X → $x\in\mathcal{X}$$f:\mathcal{X}\to\mathbb{R}$

Ricorda che un problema di ottimizzazione è convesso quando gode di due proprietà separate:

1. Il dominio è convesso. $\mathcal{X}\subset\mathbb{R}^n$ Questo può essere formulato in molti modi. Uno è che ogni volta che e e , anche . Geometricamente: ogni volta che due estremi di una menzogna segmento in , l'intero segmento risiede in . y∈ X 0≤λ≤1λx+(1-λ)y∈ X X $x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$$\lambda x + (1-\lambda)y\in\mathcal{X}$$\mathcal X$$\mathcal X$

2. La funzione è convessa. $f$ Anche questo può essere formulato in molti modi. Uno è che ogni volta che e e ,(Avevamo bisogno che fosse convesso affinché questa condizione avesse un senso.) Geometricamente: ogni volta che è qualsiasi segmento di linea in , il grafico di (limitato a questo segmento) si trova sopra o sul segmento che collega e in . y ∈ X 0 ≤ λ ≤ 1 f ( λ x + ( 1 - λ ) y ) ≥ λ f ( x ) + ( 1 - λ ) f ( y ) . X ¯ x y X f ( x , f ( x ) ) ( y , f ( $x\in\mathcal{X}$$y\in\mathcal{X}$$0 \le \lambda \le 1$

   $$f(\lambda x + (1-\lambda)y) \ge \lambda f(x) + (1-\lambda) f(y).$$ $\mathcal X$$\bar{xy}$$\mathcal X$$f$$(x,f(x))$R n + $(y,f(y))$$\mathbb{R}^{n+1}$

   L'archetipo di una funzione convessa è localmente ovunque parabolico con coefficiente iniziale non positivo: su qualsiasi segmento di linea può essere espresso nella forma cona ≤ $y\to a y^2 + b y + c$$a \le 0.$

Una difficoltà con è che è la sfera unitaria , che è decisamente non convessa. X S n - 1 ⊂ R$(*)$$\mathcal X$$S^{n-1}\subset\mathbb{R}^n$ Tuttavia, possiamo modificare questo problema includendo vettori più piccoli. Questo perché quando scaliamo di un fattore , viene moltiplicato per . Quando , possiamo ridimensionare fino alla lunghezza dell'unità moltiplicandola per , aumentando così ma rimanendo all'interno del unit ball .λ f λ 2 0 < x ′ x < 1 x λ = 1 / $x$$\lambda$$f$$\lambda^2$$0 \lt x^\prime x \lt 1$$x$fDn={x∈ R n∣x′x≤1}(∗$\lambda=1/\sqrt{x^\prime x} \gt 1$$f$ $D^n = \{x\in\mathbb{R}^n\mid x^\prime x \le 1\}$ Riformuliamo quindi come$(*)$

$$\text{Maximize }f(x)=\ x^\prime \mathbb{A} x\ \text{ subject to }\ x^\prime x\le1\tag{**}$$

Il suo dominio è che chiaramente è convesso, quindi siamo a metà strada. Resta da considerare la convessità del grafico di .$\mathcal{X}=D^n$$f$

Un buon modo di pensare al problema anche se non si intende eseguire i calcoli corrispondenti, è in termini di teorema spettrale. $(**)$P R n A Dice che per mezzo di una trasformazione ortogonale , puoi trovare almeno una base di in cui è diagonale: cioè,$\mathbb P$$\mathbb{R}^n$$\mathbb A$

$$\mathbb {A = P^\prime \Sigma P}$$

dove tutte le voci fuori diagonale di sono zero. Una simile scelta di può essere concepita come una modifica di nulla su , ma semplicemente cambiando il modo in cui la descrivi : quando ruoti il ​​tuo punto di vista, gli assi del livello ipersuperfici della funzione (che erano sempre ellissoidi) allineati con gli assi delle coordinate.P A x → x ′ A$\Sigma$$\mathbb{P}$$\mathbb A$$x\to x^\prime \mathbb{A} x$

Poiché è positivo-semidefinito, tutte le voci diagonali di devono essere non negative. Potremmo inoltre permutare gli assi (che è solo un'altra trasformazione ortogonale, e quindi possono essere assorbiti in ) per assicurare cheΣ P σ 1 ≥ σ 2 ≥ ⋯ ≥ σ n ≥ $\mathbb A$$\Sigma$$\mathbb P$

$$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_n \ge 0.$$

Se lasciamo le nuove coordinate (che implica ), la funzione è$x=\mathbb{P}^\prime y$$x$$y=\mathbb{P}x$$f$

$$f(y) = y^\prime \mathbb{A} y = x^\prime \mathbb{P^\prime A P} x = x^\prime \Sigma x = \sigma_1 x_1^2 + \sigma_2 x_2^2 + \cdots + \sigma_n x_n^2.$$

Questa funzione è decisamente non convesso! Il suo grafico sembra parte di un iperparaboloide: in ogni punto all'interno di , il fatto che tutti i siano non negativi lo fa arricciarsi verso l' alto piuttosto che verso il basso . $\mathcal X$$\sigma_i$

Tuttavia, possiamo trasformare in un problema convesso con una tecnica molto utile. $(**)$ Sapendo che il massimo si verificherà dove , sottraggiamo la costante da , almeno per i punti sul confine di . Ciò non cambierà la posizione di alcun punto sul limite in cui è ottimizzato, perché abbassa tutti i valori di sul limite dello stesso valore . Questo suggerisce di esaminare la funzione$x^\prime x = 1$$\sigma_1$$f$$\mathcal{X}$$f$$f$$\sigma_1$

$$g(y) = f(y) - \sigma_1 y^\prime y.$$

Questo effettivamente sottrae la costante da in punti di confine e sottrae valori più piccoli in punti interni. Ciò assicurerà che , rispetto a , non ha alcuna nuova Maxima globale sul lato interno della .$\sigma_1$$f$$g$$f$$\mathcal X$

Esaminiamo cosa è successo con questo gioco di prestigio di sostituzione con . Poiché è ortogonale, . (Questa è praticamente la definizione di una trasformazione ortogonale.) Pertanto, in termini di coordinate , può essere scritta$-\sigma_1$$-\sigma_1 y^\prime y$$\mathbb P$$y^\prime y = x^\prime x$$x$$g$

$$g(y) = \sigma_1 x_1 ^2 + \cdots + \sigma_n x_n^2 - \sigma_1(x_1^2 + \cdots + x_n^2) = (\sigma_2-\sigma_1)x_2^2 + \cdots + (\sigma_n - \sigma_1)x_n^2.$$

Poiché per tutti , ciascuno dei coefficienti è zero o negativo. Di conseguenza, (a) è convesso e (b) è ottimizzato quando . ( implica quindi e l'ottimale viene raggiunto quando , che è - fino a segno - la prima colonna di )$\sigma_1 \ge \sigma_i$$i$$g$$g$$x_2=x_3=\cdots=x_n=0$$x^\prime x=1$$x_1=\pm 1$$y = \mathbb{P} (\pm 1,0,\ldots, 0)^\prime$$\mathbb P$

Ricapitoliamo la logica. Perché è ottimizzato sul confine dove , perché differisce da semplicemente dalla costante su quel confine e perché i valori di sono ancora più vicini ai valori di all'interno di , i massimi di devono coincidere con i massimi di .∂ D n = S n - 1 y ′ y = 1 $g$$\partial D^n=S^{n-1}$$y^\prime y = 1$$f$$g$$\sigma_1$$g$$f$$D^n$$f$$g$

No.

Il grado PCA della matrice può essere formulato come$k$$M$

$\hat{X} = \underset{rank(X) \leq k}{argmin} \| M - X\|_F^2$

( è la norma di Frobenius ). Per derivazione vedi teorema di Eckart-Young .$\|\cdot\|_F$

Sebbene la norma sia convessa, l'insieme su cui è ottimizzata non è convesso.

---

Un rilassamento convesso del problema di PCA è chiamato approssimazione di basso rango convesso

$\hat{X} = \underset{\|X\|_* \leq c}{argmin} \| M - X\|_F^2$

( è norma nucleare . è rilassamento convesso del rango - proprio come è rilassamento convesso del numero di elementi diversi da zero per i vettori)$\|\cdot\|_*$$\|\cdot\|_1$

Puoi vedere Statistical Learning with Sparsity , cap 6 (decomposizioni di matrici) per i dettagli.

Se sei interessato a problemi più generali e al modo in cui si collegano alla convessità, vedi Modelli generalizzati di basso rango .

Dichiarazione di non responsabilità: le risposte precedenti fanno un ottimo lavoro nel spiegare come la PCA nella sua formulazione originale non sia convessa ma possa essere convertita in un problema di ottimizzazione convessa. La mia risposta è pensata solo per quelle povere anime (come me) che non hanno molta familiarità con il gergo di Unit Spheres e SVD - che è, a proposito, buono a sapersi.

La mia fonte è questa nota del Prof. Tibshirani

Per risolvere un problema di ottimizzazione con tecniche di ottimizzazione convessa, esistono due prerequisiti.

1. La funzione obiettivo deve essere convessa.
2. Le funzioni di vincolo dovrebbero anche essere convesse.

La maggior parte delle formulazioni di PCA comportano un vincolo sul grado di una matrice.

In questo tipo di formulazioni di PCA, la condizione 2 è violata. Perché, il vincolo che non è convesso. Ad esempio, lascia che , siano matrici zero 2 × 2 con un singolo 1 rispettivamente nell'angolo in alto a sinistra e nell'angolo in basso a destra. Quindi, ognuno di questi ha il rango 1, ma la loro media ha il rango 2.J 11 J $rank(X) = k,$$J_{11}$$J_{22}$