Rilevamento compressivo vs. codifica sparsa

Apparentemente ci sono diverse terminologie usate per riferirsi allo stesso campo chiamato "rilevamento compressivo" come (vedi questa pagina wiki ): rilevamento compresso, campionamento compressivo o campionamento sparso. Mi chiedo "sparse sensing" però!

Tuttavia, e dopo alcune ricerche su Internet, ciò che le persone chiamano "codifica sparsa" sembra non riferirsi al campo del "rilevamento compressivo" come le altre terminologie che ho citato sopra.

C'è davvero una differenza tra il rilevamento della compressione e la codifica sparsa?

Che dire dell'apprendimento del dizionario?

Un paio di opere di riferimento offrono un'esaplanazione:

• Un'interpretazione neurologica descritta in Scholarpedia
• Tutorial di apprendimento non approfondito e deep learning di Stanford

Se osserviamo la definizione del termine nel contesto dell'apprendimento del dizionario, ad esempio in K-SVD: un algoritmo per la progettazione di dizionari incompleti per la rappresentazione sparsa , il termine è definito:

Radi codifica è il processo di calcolo di coefficienti di rappresentanza in base al dato segnale e il dizionario .$\mathbf x$$\mathbf y$$\mathbf D$

Quindi la codifica sparsa è l'operazione di trovare una rappresentazione sparsa di un dato segnale in un dato dizionario. In relazione al rilevamento compresso, questa mi sembra l'interpretazione più rilevante del termine. In quanto tale, la codifica sparsa è strettamente correlata al rilevamento compresso, ma il rilevamento compresso si occupa in modo specifico di trovare la soluzione più sparsa a un insieme sotto-determinato di equazioni lineari che, come dimostra la teoria, è la soluzione corretta in questo caso con alta probabilità. La codifica sparsa è quindi più generale, nel senso che non si occupa necessariamente di un insieme di equazioni sottodeterminato.

Come hai notato correttamente il rilevamento compresso , il campionamento compressivo, il campionamento sparso significano tutti la stessa cosa. Alcuni autori lo chiamano anche sparse sensing. L'idea alla base del rilevamento compresso è che un segnale scarso può essere recuperato da pochissime misurazioni lineari. Nei simboli, se è sparso vettore e è una matrice con e misuriamo , quindi compresso la teoria dei sensi ci dice che possiamo esattamente recuperare da$\mathbf x$$N\times 1$$^\ddagger$$\mathbf A$$M\times N$$M\ll N$$\mathbf y=\mathbf{Ax}$$^\dagger$$\mathbf x$$\mathbf y$. Ciò è notevole perché dice che possiamo recuperare il segnale originale da un minor numero di misurazioni.

D'altro canto, l' apprendimento del dizionario affronta un problema completamente diverso di rappresentare un gruppo di vettori di dati in modo parsimonioso. Dato un set di vettori di dati , vorremmo trovare un altro set di vettori (chiamato "atomi") in modo tale che ogni vettore di dati possa essere rappresentato come una combinazione lineare di questi . L'insieme di atomi si chiama dizionario. L'obiettivo qui è imparare un dizionario che è molto più piccolo del numero di vettori di dati cioè .$\{\mathbf x_1, \mathbf x_2,\ldots, \mathbf x_K\}$$\{\mathbf v_1, \mathbf v_2,\ldots, \mathbf v_L\}$$\mathbf x_i$$\mathbf v_j$$^*$$L < K$

Dato un insieme di atomi in un dizionario e un vettore , l'obiettivo della codifica sparsa è quello di rappresentare come una combinazione lineare del minor numero possibile di atomi.$\mathbf y$$\mathbf y$

Infine, l' apprendimento dei dizionari sparsi è una combinazione di apprendimento dei dizionari e codifica sparsa. L'obiettivo qui è duplice: trovare una rappresentazione parsimoniosa dell'insieme dei vettori di dati e garantire che ogni vettore di dati possa essere scritto come una combinazione lineare del minor numero possibile di atomi.

Sensing compresso v / s Codifica sparsa
Entrambe queste tecniche si occupano di trovare una rappresentazione sparsa ma ci sono sottili differenze.

Il rilevamento compresso affronta in modo specifico il problema di risolvere un sistema indeterminato di equazioni lineari, ovvero un numero inferiore di punti dati rispetto al segnale originale. Da un segnale sparso sconosciuto matrice di rilevamento , osserviamo il vettore di dati . ha meno righe delle colonne. La teoria del rilevamento compresso affronta i seguenti tipi di domande:$\mathbf x$$\mathbf A$$\mathbf y = \mathbf{Ax}$$\mathbf A$

1. In quali condizioni è risolvibile l'insieme sotto-determinato di equazioni lineari e come possiamo risolverlo in modo robusto dal punto di vista computazionale?

2. Come progettiamo le matrici di rilevamento per varie applicazioni?$\mathbf A$

Al contrario, sparse codifica non affronta la questione della progettazione . Inoltre, non sei interessato a risolvere un sistema di equazioni sotto-determinato --- può avere più righe che colonne. $\mathbf A$$\mathbf A$$^\%$

Riferimenti:

Compressive Sensing [Appunti di lezione]

Apprendimento del dizionario

Apprendimento di dizionari online per la codifica sparsa

Note:

$^\ddagger$ Sparse significa che il vettore ha pochissimi elementi diversi da zero.

$^\dagger$ $\mathbf A$ e devono soddisfare alcune condizioni tecniche.$M$

$^*$ A differenza dei metodi di trasformazione standard come la trasformata di Fourier, l'apprendimento del dizionario è adattivo ai dati. Quando si esegue una trasformata di Fourier, i vettori di base vengono fissati in anticipo (esponenziali complessi). Nell'apprendimento del dizionario, vengono appresi dai dati.$\mathbf v_j$

$^\%$ Questo è chiamato dizionario troppo completo.