Norms - Cosa c'è di speciale in?

13

Una norma $L_1$ è unica (almeno in parte) perché $p=1$ è al confine tra non convesso e convesso. Una norma $L_1$ è la norma convessa "più scarsa" (giusto?).

Capisco che la norma euclidea ha radici nella geometria e ha una chiara interpretazione quando le dimensioni hanno le stesse unità. Ma non capisco perché sia usato preferenzialmente su altri numeri reali : ? ? Perché non utilizzare l'intero intervallo continuo come iperparametro? $p=2$ $p>1$ $p=1.5$ $p=\pi$

Cosa mi sto perdendo?

regression regularization sparse

— Trenton
fonte

1

"Usato preferenzialmente" in quali applicazioni, in particolare? Le norme sono onnipresenti in matematica, statistica e fisica; in alcuni sottocampi alcune norme sono più diffuse di altre perché sono più significative o più semplici con cui lavorare. Per questo motivo, le risposte a questa domanda saranno probabilmente numerose e varie (così varie, anzi, che personalmente la trovo senza risposta). Ho quindi reso questo un post "Community Wiki" (CW); ma se hai in mente un'applicazione specifica o un campo ristretto, rendendo più precisa la tua domanda dovrebbe essere possibile rimuovere lo stato CW.

— whuber

12

Una spiegazione più matematica è che lo spazio , costituito da tutte le serie che convergono in p-norm, è solo Hilbert con e nessun altro valore. Ciò significa che questo spazio è completo e la norma su quello spazio può essere indotta da un prodotto interno (pensate al familiare punto-prodotto in ), quindi è un po 'più bello lavorare con. $l^p$ $p=2$ $R^n$

— Jöhnk
fonte

4

Ecco un paio di motivi:

È collegato in modo molto speciale al prodotto interno: è la sua doppia norma (cioè è "auto-duplice").
Ciò significa che, se si considerano tutti i vettori all'interno della sfera unità, il loro prodotto interno massimo con qualsiasi vettore è la norma di stessa. Meno fantasiosamente, soddisfa la proprietà che . Nessun altro norma si comporta in questo modo. $\ell_2$ $z$ $\ell_2$ $z$ $\lVert x\rVert_2^2 = x \cdot x$ $\ell_p$
Ha una sfumatura molto comoda: Non puoi davvero batterlo!
$\nabla_{x} ‖ f (x) ‖_{2}^{2} = 2 \nabla f (x) \cdot f (x)$ $\nabla_x\ \lVert f(x)\rVert_2^2 = 2 \ \nabla f(x) \cdot f(x)$

— user541686
fonte

2

Sebbene ci possano essere molti altri motivi, ma AFAIK p = 2 è preferito per i seguenti motivi:

Misura di somiglianza / dissomiglianza: per p = 2, la norma euclidea fornisce una misura di somiglianza o dissomiglianza tra due vettori che può quindi essere ulteriormente utilizzata per ottenere una migliore comprensione dei dati. Le risposte più dettagliate su questo possono essere trovate qui .
Regolarizzazione: la norma L2 viene utilizzata per la regolarizzazione nell'apprendimento automatico ed è preferita per due motivi: 1) È facilmente differenziabile 2) Con la regolarizzazione L2, i pesi tendono a ridursi in proporzione ai pesi. Quindi la regolarizzazione L2 penalizza maggiormente i pesi maggiori rispetto ai pesi più piccoli.

— enterML
fonte

1

Gli errori quadrati nei modelli lineari sono spesso preferiti a causa di:

la relazione con l'ortogonalità, che si comporta bene rispetto ad alcuni fenomeni casuali considerati rumore (non correlazione)
$L_1$
produce algoritmi di ottimizzazione trattabili quando la derivata si trasforma in sistemi lineari

$L_1$ $\ell_1$ $\ell_p$ $0<p<1$

$\ell_0$ $\ell_0$ $0$ $\ell_p$ $1$ $\ell_p \to \ell_0$ $p\to 0$

$\ell_1 / \ell_2$ $\ell_1 / \ell_2$

— Laurent Duval
fonte