Perché vediamo solo la regolarizzazione e ma non altre norme?

Sono solo curioso di sapere perché di solito ci sono solo regolarizzazioni delle norme e . Ci sono prove del perché sono migliori?$L_1$$L_2$

Oltre ai commenti di @ whuber (*).

Ne discute il libro di Hastie et al. L' apprendimento statistico con Sparsity . Usano anche quello che viene chiamato $L_0$ "norma" (virgolette perché questa non è una norma in senso matematico rigoroso (**)), che conta semplicemente il numero di componenti diversi da zero di un vettore.

In tal senso la norma viene utilizzata per la selezione delle variabili, ma insieme alle norme l q con q < 1 non è convessa, quindi difficile da ottimizzare. Sostengono (un argomento che penso provenga da Donohoe nel rilevamento compresso) che la norma L 1 , cioè il lazo, è la migliore convessificazione della "norma" L 0 ("il rilassamento convesso più vicino della migliore selezione di sottogruppi"). Quel libro fa anche riferimento ad alcuni usi di altre norme L q . La sfera unitaria in l q -norm con q < 1 appare così$L_0$$l_q$$q<1$$L_1$$L_0$$L_q$$l_q$$q<1$

(immagine da Wikipedia) mentre è una spiegazione pittorica del perché il lazo può fornire una selezione variabile

Questa immagine proviene dal libro sopra citato. Si può vedere che nel caso del lazo (la sfera dell'unità disegnata come un diamante) è molto più probabile che i contorni ellissoidali (somma dei quadrati) tocchino prima il diamante in uno degli angoli. Nel caso non convesso (figura a sfera della prima unità) è ancora più probabile che il primo tocco tra l'ellissoide e la sfera dell'unità sia in uno degli angoli, quindi quel caso enfatizzerà la selezione delle variabili anche più del lazo.

Se provi questo "lazo con penalità non convessa" su google otterrai molti documenti che presentano problemi simili al lazo con penalità non convessa come con q < $l_q$$q < 1$ .

(*) Per completezza copio nei commenti di whuber qui:

Non ho studiato in modo specifico questa domanda, ma l'esperienza con situazioni simili suggerisce che potrebbe esserci una buona risposta qualitativa: tutte le norme che sono secondariamente differenziabili all'origine saranno localmente equivalenti tra loro, di cui la norma è lo standard. Tutte le altre norme non saranno differenziabili all'origine e L 1 riproduce qualitativamente il loro comportamento. Questo copre la gamma. In effetti, una combinazione lineare di una norma L 1 e L 2 approssima qualsiasi norma al secondo ordine all'origine - e questo è ciò che conta di più nella regressione senza residui periferici.$L_2$$L_1$$L_1$$L_2$

(**) La - "norma" manca di omogeneità, che è uno degli assiomi delle norme. Omogeneità significa per α ≥ 0 che ‖ α x ‖ = α ‖ x ‖ .$l_0$$\alpha \ge 0$$\| \alpha x \| = \alpha \| x \|$

Penso che la risposta alla domanda dipenda molto da come definisci "migliore". Se sto interpretando bene, vuoi sapere perché queste norme appaiono così frequentemente rispetto ad altre opzioni. In questo caso, la risposta è semplicità. L'intuizione alla base della regolarizzazione è che ho qualche vettore e vorrei che quel vettore fosse "piccolo" in un certo senso. Come descrivi le dimensioni di un vettore? Bene, hai delle scelte:

• Conta quanti elementi ha $(L_0)$ ?
• Sommi tutti gli elementi $(L_1)$ ?
• Misuri quanto "lunga" è la "freccia" $(L_2)$ ?
• Usi la dimensione dell'elemento più grande ?$(L_\infty)$

Potresti utilizzare norme alternative come $L_3$ , ma non hanno interpretazioni fisiche e amichevoli come quelle sopra.

All'interno di questo elenco, la norma sembra avere belle soluzioni analitiche in forma chiusa per cose come i problemi dei minimi quadrati. Prima di avere una potenza di calcolo illimitata, altrimenti non si sarebbe in grado di fare molti progressi. Vorrei ipotizzare che la visuale "lunghezza della freccia" sia anche più attraente per le persone rispetto ad altre misure di dimensioni. Anche se la norma che scegli per la regolarizzazione ha un impatto sui tipi di residui che ottieni con una soluzione ottimale, non credo che la maggior parte delle persone sia a) consapevole di ciò, oppure b) lo consideri profondamente quando formula il proprio problema. A questo punto, mi aspetto che molte persone continuino a usare L 2 perché è "quello che fanno tutti".$L_2$$L_2$

Un'analogia sarebbe la funzione esponenziale, $e^x$ - questo si manifesta letteralmente ovunque in fisica, economia, statistica, apprendimento automatico o qualsiasi altro campo guidato matematicamente. Mi chiedevo per sempre perché tutto nella vita sembrava essere descritto da esponenziali, fino a quando non mi sono reso conto che noi umani non abbiamo così tanti assi nella manica. Gli esponenziali hanno proprietà molto utili per fare algebra e calcolo, e quindi finiscono per essere la funzione numero uno nella cassetta degli attrezzi di qualsiasi matematico quando provano a modellare qualcosa nel mondo reale. Può darsi che cose come il tempo di decoerenza siano "meglio" descritte da un polinomio di alto ordine, ma che sono relativamente più difficili da fare con l'algebra,

Altrimenti, la scelta della norma ha effetti molto soggettivi, e spetta a te come persona dichiarare il problema definire ciò che preferisci in una soluzione ottimale. Ti interessa di più che tutti i componenti nel vettore della tua soluzione siano simili per grandezza o che le dimensioni del componente più grande siano le più piccole possibili? Tale scelta dipenderà dal problema specifico che stai risolvendo.

$L_1$$L_2$$L_1$

$L_2$$n$$\|A\mathbf{x}-\mathbf{b}\|^2+ \|\Gamma \mathbf{x}\|^2$$L_2$

$L_0$$L_p$$L_\infty$