La regressione con la regolarizzazione L1 è la stessa di Lazo e con la regolarizzazione L2 è uguale alla regressione della cresta? E come scrivere "Lasso"?

Sono un ingegnere informatico che impara l'apprendimento automatico, in particolare attraverso i corsi di apprendimento automatico di Andrew Ng . Mentre studiavo la regressione lineare con la regolarizzazione , ho trovato termini che confondono:

• Regressione con regolarizzazione L1 o regolarizzazione L2
• LASSO
• Regressione della cresta

Quindi le mie domande:

1. La regressione con la regolarizzazione L1 è esattamente la stessa di LASSO?

2. La regressione con la regolarizzazione L2 è esattamente la stessa della regressione di Ridge?

3. Come si usa "LASSO" per iscritto? Dovrebbe essere "regressione LASSO"? Ho visto un uso come " il lazo è più appropriato ".

Se la risposta è "sì" per 1 e 2 sopra, allora perché ci sono nomi diversi per questi due termini? "L1" e "L2" provengono dall'informatica / matematica e "LASSO" e "Ridge" dalle statistiche?

L'uso di questi termini è confuso quando vedo post come:

" Qual è la differenza tra la regolarizzazione L1 e L2? " (Quora.com)

" Quando dovrei usare lasso vs ridge? " (Stats.stackexchange.com)

1. Sì.

2. Sì.

3. LASSO è in realtà un acronimo (operatore di restringimento e selezione meno assoluto), quindi dovrebbe essere in maiuscolo, ma la scrittura moderna è l'equivalente lessicale di Mad Max . D'altra parte, Amoeba scrive che anche gli statistici che hanno coniato il termine LASSO ora usano il rendering in minuscolo (Hastie, Tibshirani e Wainwright, Statistical Learning with Sparsity ). Si può solo speculare sulla motivazione del passaggio. Se stai scrivendo per una stampa accademica, in genere hanno una guida di stile per questo genere di cose. Se stai scrivendo su questo forum, va bene lo stesso, e dubito che a qualcuno importi davvero.

$L$$L^p$$p>0$

Non sono sicuro quando è stata realizzata la connessione tra la cresta e LASSO.

Per quanto riguarda il motivo per cui ci sono più nomi, è solo una questione che questi metodi si siano sviluppati in luoghi diversi in momenti diversi. Un tema comune nelle statistiche è che i concetti spesso hanno più nomi, uno per ogni sottocampo in cui è stato scoperto in modo indipendente (funzioni del kernel vs funzioni di covarianza, regressione del processo gaussiana vs Kriging, AUC vs -statistic). La regressione della cresta dovrebbe probabilmente essere chiamata regolarizzazione di Tikhonov, poiché credo che abbia la prima pretesa sul metodo. Nel frattempo, LASSO fu introdotto solo nel 1996, molto più tardi del metodo "cresta" di Tikhonov!$c$