Quali sono alcuni dei più importanti "primi lavori" sui metodi di regolarizzazione?

In diverse risposte ho visto gli utenti di CrossValidated suggerire che OP ha trovato i primi articoli su Lasso, Ridge e Elastic Net.

Per i posteri, quali sono le opere seminali su Lasso, Ridge e Elastic Net?

Dato che stai semplicemente cercando riferimenti, ecco l'elenco:

1. Tikhonov, Andrey Nikolayevich (1943). "Об устойчивости обратных задач" [Sulla stabilità dei problemi inversi]. Doklady Akademii Nauk SSSR. 39 (5): 195–198.
2. Tikhonov, AN (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151: 501–504 .. Tradotto in "Soluzione di problemi formulati in modo errato e metodo di regolarizzazione". Matematica Sovietica. 4: 1035-1038.
3. Hoerl AE, 1962, Applicazione dell'analisi della cresta ai problemi di regressione, Progresso dell'ingegneria chimica, 1958, 54–59.
4. Arthur E. Hoerl; Robert W. Kennard (1970). "Regressione della cresta: stima distorta per problemi non ortogonali". Technometrics. 12 (1): 55–67. DOI: 10,2307 / 1.267.351. https://pdfs.semanticscholar.org/910e/d31ef5532dcbcf0bd01a980b1f79b9086fca.pdf
5. Tibshirani, Robert (1996). "Restringimento e selezione della regressione tramite il lazo" (PostScript). Giornale della Royal Statistical Society, serie B. 58 (1): 267–288. MR 1379242 https://statweb.stanford.edu/~tibs/lasso/lasso.pdf
6. Zou, H. e Hastie, T. (2005). Regolarizzazione e selezione variabile tramite la rete elastica. Giornale della Royal Statistical Society, serie B. 67: pagg. 301–320. https://web.stanford.edu/~hastie/Papers/B67.2%20%282005%29%20301-320%20Zou%20&%20Hastie.pdf

Un documento storicamente importante che credo abbia dimostrato per primo che gli stimatori di differenziazione possono portare a stime migliori per i normali modelli lineari:

• Stein, C., 1956, gennaio. Inammissibilità del normale stimatore per la media di una distribuzione normale multivariata. In Atti del terzo simposio di Berkeley su statistiche matematiche e probabilità (Vol. 1, N. 399, pagg. 197-206).

Alcune penalità più moderne e importanti includono SCAD e MCP:

• Fan, J. e Li, R., 2001. Selezione variabile tramite probabilità penalizzata non concava e sue proprietà oracolari. Journal of American Statistics Association, 96 (456), pagg. 1334-13-13.
• Zhang, CH, 2010. Selezione variabile quasi imparziale sotto penalità concava minimax. The Annals of statistics, 38 (2), pagg. 894-942.

E alcuni altri su ottimi algoritmi per ottenere stime usando questi metodi:

• Breheny, P. e Huang, J., 2011. Algoritmi di discesa coordinati per la regressione penalizzata non convessa, con applicazioni alla selezione di caratteristiche biologiche. Gli annali delle statistiche applicate, 5 (1), p.232.
• Mazumder, R., Friedman, JH e Hastie, T., 2011. Sparsenet: discesa coordinata con penalità non convesse. Journal of American Statistical Association, 106 (495), pagg. 125-11-11.

Vale anche la pena di dare un'occhiata a questo documento sul selettore di Dantzig che è strettamente legato al LASSO, ma (credo) introduce l'idea delle disuguaglianze oracolari per gli stimatori statistici che sono un'idea abbastanza potente

• Candes, E. and Tao, T., 2007. Il selettore di Dantzig: stima statistica quando p è molto più grande di n. The Annals of Statistics, pagg. 2313-2351.