Perché la perdita di norma L2 ha una soluzione unica e la perdita di norma L1 ha possibilmente soluzioni multiple?

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/

Se guardi all'inizio di questo post, lo scrittore menziona che la norma L2 ha una soluzione unica e che la norma L1 ha probabilmente molte soluzioni. Lo capisco in termini di regolarizzazione, ma non in termini di utilizzo della norma L1 o L2 nella funzione di perdita.

Se guardi i grafici delle funzioni di x scalare (x ^ 2 e | x |), puoi facilmente vedere che entrambi hanno una soluzione unica.

Consideriamo un problema unidimensionale per l'esposizione più semplice possibile. (I casi di dimensioni superiori hanno proprietà simili.)

$|x-\mu|$$(x-\mu)^2$$\sum_i |x_i-\mu|$$x_1=1$$x_2=3$

$\mu$

$L_1$

$\sum_i (x_i-\mu)^2 = n(\bar{x}-\mu)^2+k(\mathbf{x})$

$L_1$

Dal momento che (al di fuori di alcune circostanze specifiche) di solito non hai una tale garanzia di nessuna osservazione altamente influente, non definirei la regressione L1 robusta.

Codice R per trama:

 fi <- function(x,i=0) abs(x-i)
 f <- function(x) fi(x,1)+fi(x,3)
 plot(f,-1,5,ylim=c(0,6),col="blue",lwd=2)
 curve(fi(x,1),-1,5,lty=3,col="dimgrey",add=TRUE)
 curve(fi(x,3),-1,5,lty=3,col="dimgrey",add=TRUE)

Ridurre al minimo la perdita di L2 corrisponde al calcolo della media aritmetica, che è inequivocabile, mentre ridurre al minimo la perdita di L1 corrisponde al calcolo della mediana, il che è ambiguo se nel calcolo mediano è incluso un numero pari di elementi (vedere Tendenza centrale: soluzioni ai problemi variazionali ).