Confusione sul problema del rilevamento compresso

13

Ho letto alcuni riferimenti tra cui questo .

Sono un po 'confuso su quale problema di ottimizzazione compresso costruisce e cerca di risolvere. È

\begin{array}{ll} minimize & ‖ x ‖_{1} \\ subject to & A x = b \end{array}

$\begin{array}{ll} \text{minimize} & \|x\|_1\\ \text{subject to} & Ax=b\end{array}$

o / e

\begin{array}{ll} minimize & ‖ x ‖_{0} \\ subject to & A x = b \end{array}

$\begin{array}{ll} \text{minimize} & \|x\|_0\\ \text{subject to} & Ax=b\end{array}$

o / e qualcos'altro?

optimization

— Tim
fonte

18

Brian è perfetto. Ma penso che sia utile aggiungere un contesto di rilevamento compresso.

Innanzitutto, nota che la cosiddetta norma 0 —la funzione cardinalità, o il numero di valori diversi da zero in —nonèuna norma. Probabilmente è meglio scriverlo come qualcosa di simile a una in tutto tranne che nei contesti più casuali. Non fraintendetemi, siete in buona compagnia quando usate lascorciatoia , ma penso che tende a creare confusione. $\|x\|_0$ $x$ $\mathop{\textbf{card}}(x)$ $\|x\|_0$

Le persone sanno da molto tempo che ridurre al minimo la norma tende a produrre soluzioni sparse. Ci sono alcune ragioni teoriche per questo che hanno a che fare con la complementarità lineare. Ma ciò che era più interessante non era che le soluzioni fossero rare, ma che fossero spesso le più rare possibili . Cioè, minimizzare ti dà davvero la soluzione di cardinalità minima in alcuni casi utili. (Come sono riusciti a capirlo, quando il problema di cardinalità minima è NP-difficile? Costruendo problemi artificiali con soluzioni sparse conosciute.) Questo non era qualcosa che la teoria della complementarità lineare potesse prevedere. $\ell_1$ $\|x\|_1$ $\|x\|_1$

Il campo del rilevamento compresso è nato quando i ricercatori hanno iniziato a identificare le condizioni sulla matrice che avrebbero permesso loro di garantire in anticipo che la soluzione fosse anche la più parsimoniosa. Vedi ad esempio i primi articoli di Candés, Romberg e Tao e altre discussioni sulla proprietà dell'isometria limitata o RIP . Un altro sito web utile se vuoi davvero immergerti in qualche teoria è la pagina di rilevamento compresso di Terence Tao . $A$ $\ell_1$

— Michael Grant
fonte

12

Ci piacerebbe essere in grado di risolvere

$\min \| x \|_{0}$

st

$Ax=b$

ma questo problema è un problema di ottimizzazione combinatoria NP-Hard che non è pratico da risolvere in pratica quando $A$ , , e sono di dimensioni tipiche nel rilevamento di compressione. È possibile risolvere in modo efficiente $x$ $b$

$\min \| x \|_{1}$

st

$Ax=b$

$\| x \|_{1}$ $\| x \|_{0}$ $x$ $Ax=b$ $\| x \|_{1}$

$Ax=b$ $\| Ax - b \|_{2} \leq \delta$

$\min \| Ax - b\|_{2}^{2} + \lambda \| x \|_{1}$

— Brian Borchers
fonte

8

$\ell^1$ $\ell^0$

min ‖ x ‖_{0} s.t A x = b

$\min\|x\|_0\quad\text{s.t}\quad Ax=b$

min ‖ x ‖_{1} s.t. A x = b .

$\min\|x\|_1\quad\text{s.t.}\quad Ax=b.$ paradigma , che può essere affermato in modo molto approssimativo

È possibile identificare segnali sparsi da alcune misurazioni.

Compressed Sensing significa davvero prenderne meno misurazioni possibile per identificare un segnale in una determinata classe di segnali.

Una frase accattivante è:

Perché la tua fotocamera da 5 megapixel dovrebbe davvero misurare 15 milioni di valori (tre per ogni pixel) che ti costano 15 megabyte di dati quando memorizza solo circa 2 megabyte (dopo la compressione)?
Potrebbe essere possibile misurare subito i 2 megabyte?

Esistono quadri abbastanza diversi:

misure lineari
quelli non lineari (ad es. quelli "senza fase")
dati vettoriali, dati matrice / tensore
sparsità come solo il numero di non zeri
scarsità come "basso rango" o addirittura "bassa complessità").

E ci sono anche più metodi per calcolare soluzioni sparse come inseguimenti di corrispondenza (varianti come inseguimento di corrispondenza ortogonale (OMP), inseguimento di corrispondenza ortogonale regolarizzato (ROMP), CoSaMP) o metodi più recenti basati su algoritmi di passaggio di messaggi .

$\ell^1$ $\ell^0$

Se uno, tuttavia, è interessato solo a ottenere soluzioni sparse ai sistemi lineari, fa qualcosa che definirei ricostruzione sparsa .

— pugnale
fonte

Grazie! Riesci a riformulare quanto segue nella formulazione matematica: "È possibile identificare segnali sparsi da alcune misurazioni. Il Sensing compresso consiste nel prendere il minor numero possibile di misurazioni per identificare un segnale in una certa classe di segnali".

— Tim

1

No, non posso, perché Compressed Sensing non è una teoria matematica ma piuttosto un concetto di ingegneria.

— Dirk,

1

Penso che questa risposta sia un buon contributo e ho votato a favore. Per quanto riguarda la frase accattivante, però, ho sempre avuto problemi con esso. Suggerisce che CS è così potente che potresti semplicemente buttare via 13 milioni di pixel e recuperare comunque l'immagine. Ma no, non dovresti mai buttare via i dati in modo casuale, anche in un sistema CS --- un buon algoritmo di recupero può sempre fare uso di più dati. La promessa di CS è il potenziale di sviluppare sensori che raccolgono meno dati in primo luogo in cambio di alcuni importanti risparmi pratici: risparmio energetico, raccolta più veloce, ecc.

— Michael Grant

@MichaelGrant Sono d'accordo: non gettare i dati che hai già misurato e utilizzare la data che puoi misurare con il minimo sforzo.

— Dirk,