L'origine del termine "regolarizzazione"

Quando introduco concetti ai miei studenti, trovo spesso divertente dire loro dove ha origine la terminologia ("regressione", ad esempio, è un termine con un'origine interessante). Non sono stato in grado di evidenziare la storia / il background del termine "regolarizzazione" in apprendimento statistico / automatico.

Quindi, qual è l'origine del termine regolarizzazione ?

— Matthew Drury
fonte

La mia ipotesi migliore è che la regressione risale a Galton. Steve Stigler ha detto che ogni volta che qualcuno afferma di essere il primo si troverà ad avere torto. Molte persone pensano che Efron sia stato il primo a coniare il termine bootstrap nel contesto delle statistiche. Tuttavia Simon affermò di averlo usato nei primi anni '60. Esistono molti usi diversi della regolarizzazione in matematica e statistica. In Wikipedia: en.wikipedia.org/wk/Regularization_(matematica) .

— Michael R. Chernick,

Così tanti metodi, così tanti possibili primi.

— Michael R. Chernick,

@MichaelChernick Preferisco il termine di Tukey per bootstrap, "The Shotgun" in quanto farà esplodere la testa di qualsiasi problema tu abbia, tranne per il fatto che devi rimettere insieme i pezzi :)

— AdamO,

So che il termine era di uso comune da prima degli anni '80. Tikhonov, Arsenin 1977, ha scritto un testo "Soluzione di problemi male posti" che descrive un metodo per ottenere soluzioni uniformi ad equazioni lineari non specificate, un risultato che è stato successivamente trovato equivalente alla regressione di Ridge (vedi Girard 1991). Penso che Tikhonov abbia usato il nome "Metodo di regolarizzazione". Penso inoltre che Hastie abbia estratto la "regolarizzazione" in un modo che rifletta il suo uso moderno.

— AdamO,

Termini come "regolarizzazione delle sequenze" sono in circolazione in matematica da molto tempo (certamente dagli anni '20), il che ha un significato abbastanza strettamente correlato alla regolarizzazione dei problemi mal posti. Sospetto che l'uso della parola in matematica deriverebbe dal suo uso in ingegneria ("regolarizzazione del flusso" per esempio).

— Glen_b

Risposte:

Simile al contributo di Matthew Gunn , anche questa non è proprio una risposta, ma più di un candidato plausibile.

Ho anche sentito parlare per la prima volta del termine "regolarizzazione" nel contesto della regolarizzazione di Tikhonov , e in particolare nel contesto dei problemi inversi (lineari) in geofisica. È interessante notare che, sebbene avessi pensato che fosse probabilmente dovuto alla mia area di studio (ad esempio, vedi il mio nome utente), apparentemente Tikhonov effettivamente ha svolto gran parte del suo lavoro in quella zona!

La mia impressione è che il moderno approccio alla "regolarizzazione" abbia probabilmente avuto origine dal lavoro di Tikhonov. Sulla base di questa speculazione, il mio contributo qui è diviso in due parti.

La prima parte è (poltrona-) di natura storica (basata su leggendari titoli cartacei e sui miei precedenti pregiudizi!). Mentre la soluzione del 1963 di problemi formulati in modo errato e il metodo di regolarizzazione sembra essere il primo uso del termine "regolarizzazione", non sarei troppo sicuro che ciò sia vero. Questo riferimento è citato in Wikipedia come

Tikhonov, AN (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151: 501–504. Tradotto in "Soluzione di problemi formulati in modo errato e metodo di regolarizzazione". Matematica Sovietica. 4: 1035-1038.

dando l'impressione che Tikhonov stesso abbia scritto almeno parte di questo lavoro in russo in origine, quindi la frase "regolarizzazione" avrebbe potuto essere coniata da un traduttore successivo. [AGGIORNAMENTO: No, "регуляризации" = regolarizzazione , vedi commento di Cagdas Ozgenc.] Inoltre, questo lavoro sembra essere parte di una linea continua di ricerca condotta da Tikhonov per un tempo molto più lungo . Ad esempio la carta

Tikhonov, Andrey Nikolayevich (1943). "Об устойчивости обратных задач" [Sulla stabilità dei problemi inversi]. Doklady Akademii Nauk SSSR. 39 (5): 195–198.

mostra che era stato coinvolto nello stesso argomento generale almeno 20 anni prima. Tuttavia, questa linea temporale suggerisce che probabilmente il lavoro con problemi inversi è iniziato molto più vicino al 1963 che al 1943.

[ AGGIORNAMENTO: Questa traduzione del documento del 1943 mostra che la terminologia per " regolarità " è stata qui usata per riferirsi alla "stabilità del problema inverso (o alla continuità della mappatura inversa)" .]

La seconda parte del mio contributo è un'ipotesi su come la "regolarizzazione" possa essere stata originariamente intesa in questo contesto. Abbastanza comunemente "regolare" è usato come sinonimo di "liscio", in particolare nella descrizione della curva e / o della geometria della superficie. Nella maggior parte delle applicazioni geofisiche, la soluzione desiderata è una stima su griglia di un campo distribuito spazialmente e la regolarizzazione di Tikhonov viene utilizzata per imporre una scorrevolezza prima.

(La matrice di Tikhonov sarà in genere un operatore derivato spaziale discreto , simile alle matrici PDE, rispetto alla matrice di identità della regressione della cresta. Ciò è dovuto al fatto che per queste griglie / modelli forward, lo spazio nullo della matrice del modello forward tende ad includere cose come "modalità a scacchiera" che inquineranno i risultati se non penalizzati, in modo simile a questo ).

Aggiornamento: questi problemi sono illustrati nella mia risposta qui .

Sommario

Ho anche espresso il mio voto per Tikhonov come il creatore (probabilmente intorno al 1963)
Le applicazioni originali potrebbero essere state la modellazione inversa geofisica, quindi il termine "regolarizzazione" può riferirsi a rendere le mappe risultanti * più fluide, cioè "regolari".

$u[x]=F[\theta]$ $\theta=F^{-1}[u]$

— GeoMatt22
fonte

Il documento del 1963 contiene "regolarizzazione" nella versione russa del titolo. A meno che qualcuno tradotto in inglese e Tikhonov non abbia riportato il titolo alla sua lettura fonetica, è presente nell'originale. "O rehsnenii nikorrektna postavlennih zadach i metodi regularizatsii"

— Cagdas Ozgenc

Questa è in parte una risposta, in parte un lungo commento. Un elenco incompleto di candidati:

Tikhonov, Andrey. "Soluzione di problemi formulati in modo errato e metodo di regolarizzazione." Matematica Sovietica. Dokl .. Vol. 5. 1963. Tikhonov è noto per la regolarizzazione di Tikhonov (nota anche come regressione della cresta).
C'è un concetto di regolarizzazione in fisica che risale almeno agli anni '40, ma non vedo alcun legame con la regolarizzazione di Tikhonov? (Non sono un fisico però.)
I testi di ingegneria parlano della regolarizzazione di un fiume (per migliorare la navigazione) che risale almeno al 1880.

Cercando su http://books.google.com , non vedo un uso diffuso del termine "regolarizzazione" fino agli anni '70, quando inizia a comparire ancora e ancora e ancora nel contesto dei libri di matematica e fisica.

— Matthew Gunn
fonte

1. è sicuramente un candidato. Tuttavia, non credo che 2. o 3. corrispondano al concetto matematico di regolarizzazione perseguito dall'OP. Wikipedia concorda nel fatto che hanno realizzato articoli separati "regolarizzazione (matematica)" e "regolarizzazione (fisica)".

— Gordon Smyth,

Più semplicemente, il termine è sopravvissuto alla naturale evoluzione dei termini scientifici perché cattura l'obiettivo principale della tecnica: da un mucchio di soluzioni a un problema mal posto, sceglie le soluzioni che sono regolari , cioè

secondo la regola

( definizione del dizionario gratuita )

Questo è anche usato nel linguaggio comune per la progettazione di una superficie liscia in carpenteria per esempio. Allo stesso modo, le soluzioni di un problema di regressione appariranno più regolari se la regola è di minimizzare la variazione totale (TV) dei bit non lisci del segnale ricostruito (misurata ad esempio dall'energia totale del gradiente).

$\ell_0$

— meduz
fonte