Qual è una misura esatta di scarsità?

Attualmente sto lavorando al rilevamento compresso e alla rappresentazione sparsa dei segnali, in particolare delle immagini.

Mi viene spesso chiesto "che cos'è la definizione di scarsità?". Rispondo "se la maggior parte degli elementi di un segnale sono zero o vicini allo zero, in alcuni domini come Fourier o Wavelet, allora questo segnale è scarso in quella base." ma c'è sempre un problema in questa definizione, "cosa significa la maggior parte degli elementi? È 90 percento? 80 percento? 92,86 percento ?!" Ecco dove sorge la mia domanda, esiste una definizione esatta, cioè numerica, per la scarsità?

" C'è qualche esatto, cioè numerica, definizione per sparsity? " E da numerica , capisco sia calcolabile , e praticamente "utilizzabile". La mia opinione è che: non ancora, come minimo, non c'è consenso, ma ci sono alcuni contendenti degni. La prima opzione " conta solo termini diversi da zero " è precisa, ma inefficiente (sensibile all'approssimazione numerica e al rumore e molto complessa da ottimizzare). La seconda opzione "la maggior parte degli elementi di un segnale sono zero o vicini a zero " è piuttosto imprecisa, sia su "most" che "near to".

Quindi " una misura esatta della scarsità " rimane sfuggente, senza aspetti più formali. Un recente tentativo di definire la scarsità eseguito in Hurley e Rickard, 2009 Comparing Measures of Sparsity , IEEE Transactions on Information Theory.

La loro idea è di fornire una serie di assiomi che una buona misura di sparsità dovrebbe soddisfare; per esempio, un segnale $x$ moltiplicato per una costante diversa da zero, $\alpha x$ , dovrebbe avere la stessa sparsità. In altri termini, una misura di sparsità dovrebbe essere $0$ omogenea. Stranamente, il proxy $\ell_1$ nel rilevamento compressivo o nella regressione del lazo è omogeneo $1$ . Questo è effettivamente il caso di ogni norma o quasi-norma $\ell_p$ , anche se tendono alla misura del conteggio (non robusta) $\ell_0$ come $p\to 0$ .

Quindi descrivono in dettaglio i loro sei assiomi, eseguono calcoli, presi in prestito dall'analisi della ricchezza:

• Robin Hood (prendere dai ricchi, dare ai poveri riduce la scarsità),
• Ridimensionamento (la moltiplicazione costante preserva la scarsità),
• Rising Tide (l'aggiunta dello stesso account diverso da zero riduce la scarsità),
• Clonazione (la duplicazione dei dati preserva la scarsità),
• Bill Gates (Un uomo che diventa più ricco aumenta la scarsità),
• Neonati (l'aggiunta di valori zero aumenta la scarsità)

$\ell_1/\ell_2$$p$$q$ $\ell_p/\ell_q$$x$$0< p\le q$

$1$$x$

$c_{(k)}$$C_\alpha .(k)^{-\alpha}$$\alpha$