Cosa sono le norme e in che modo sono rilevanti per la regolarizzazione?

Ultimamente ho visto molti articoli su rappresentazioni sparse e la maggior parte di loro usa la norma e minimizza. La mia domanda è: qual è la norma e la norma mista ? E come sono rilevanti per la regolarizzazione? $\ell_p$ $\ell_p$ $\ell_{p, q}$

Grazie

machine-learning regularization sparse

— acqua
fonte

$\ell_p$ norme sono funzioni che accettano vettori e restituiscono numeri non negativi. Sono definiti come Nel caso in cui , questo è chiamata la norma euclidea . È possibile definire la distanza euclidea come . Quando , ciò significa semplicemente (o ). A rigor di termini, deve essere almeno uno affinché sia una norma . Se , quindi

‖ \vec{x} ‖_{p} = {(\sum_{i = 1}^{d} | x_{i} |^{p})}^{1 / p}

$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$

p = 2

$p=2$

‖ \vec{x} - \vec{y} ‖_{2}

$\|\vec x - \vec y\|_2$

p = \infty

$p = \infty$

‖ \vec{x} ‖_{\infty} = sup_{i} x_{i}

$\|\vec x\|_\infty = \sup_i x_i$

max_{i} x_{i}

$\max_i x_i$

p

$p$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

0 < p < 1

$0 < p < 1$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$ non è davvero una norma, perché le norme devono soddisfare la disuguaglianza del triangolo.

(Esistono anche norme , che sono definite in modo analogo, ad eccezione delle funzioni anziché dei vettori o delle sequenze - in realtà è la stessa cosa, poiché i vettori sono funzioni con domini finiti.) $L_p$

Non sono a conoscenza di alcun uso per una norma in un'applicazione di apprendimento automatico in cui , tranne dove . Di solito vedi o , o talvolta dove vuoi rilassare il caso ; non è strettamente convesso in , ma è, per . Ciò può rendere la ricerca della soluzione "più semplice" in alcuni casi. $p > 2$ $p = \infty$ $p = 2$ $p = 1$ $1 < p < 2$ $p = 1$ $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_p$ $1 < p < \infty$

Nel contesto della regolarizzazione, se aggiungi alla tua funzione oggettiva, quello che stai dicendo è che ti aspetti che sia scarso , cioè principalmente costituito da zeri. È un po 'tecnico, ma fondamentalmente, se esiste una soluzione densa , è probabile che esista una soluzione più parsimoniosa con la stessa norma. Se ti aspetti che la tua soluzione sia densa, puoi aggiungere al tuo obiettivo, perché è molto più facile lavorare con la sua derivata. Entrambi hanno lo scopo di evitare che la soluzione abbia un peso eccessivo. $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_2^2$

La norma mista arriva quando stai cercando di integrare diverse fonti. Fondamentalmente vuoi che il vettore della soluzione sia composto da diversi pezzi , dove è l'indice di qualche sorgente. La è solo la -norm di tutte le -norm raccolte in un vettore. Vale a dire, $\vec{x}^j$ $j$ $\ell_{p,q}$ $q$ $p$

‖ \vec{x} ‖_{p, q} = {(\sum_{j = 1}^{m} {(\sum_{i = 1}^{d} | x_{i}^{j} |^{p})}^{q / p})}^{1 / q}

$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$

Lo scopo di questo non è quello di "sovradimensionare" un insieme di soluzioni, ad esempio usando . I singoli pezzi sono sparsi, ma non rischi di nuocere un vettore di soluzione intera prendendo il -norm di tutte le soluzioni. Quindi usi invece -norm all'esterno. $\|\vec x\|_{1,2}$ $1$ $2$

Spero possa aiutare.

Vedi questo documento per maggiori dettagli.

— Josephine Moeller
fonte

+1 per la spiegazione di norme miste. Non li ho mai capiti da solo.

— Suresh Venkatasubramanian,

(+1) Bella risposta. Benvenuto in CrossValidated, John!

— Martedì