La regolarizzazione L2 equivale al priore gaussiano

56

Continuo a leggere questo e intuitivamente posso vederlo, ma come si passa dalla regolarizzazione L2 a dire che si tratta analiticamente di un priore gaussiano? Lo stesso vale per dire che L1 equivale a un precedente lappone.

Ogni ulteriore riferimento sarebbe fantastico.

regression references regularization

— Anonimo
fonte

54

Immaginiamo di voler dedurre alcuni parametri da alcune coppie input-output osservate . Supponiamo che gli output siano linearmente correlati agli input via e che i dati siano corrotti da un po 'di rumore : $\beta$ $(x_1,y_1)\dots,(x_N,y_N)$ $\beta$ $\epsilon$

y_{n} = β x_{n} + ϵ,

$y_n = \beta x_n + \epsilon,$

dove è rumore gaussiano con media e varianza . Ciò provoca una probabilità gaussiana: $\epsilon$ $0$ $\sigma^2$

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2).$

Cerchiamo di regolarizzare il parametro imponendo il precedente gaussiano dove è uno scalare strettamente positivo. Quindi, combinando la probabilità e il priore abbiamo semplicemente: $\beta$ $\mathcal{N}(\beta|0,\lambda^{-1}),$ $\lambda$

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) N (β | 0, λ^{- 1}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2) \mathcal{N}(\beta|0,\lambda^{-1}).$

Prendiamo il logaritmo dell'espressione sopra. Eliminando alcune costanti otteniamo:

\sum_{n = 1}^{N} - \frac{1}{σ^{2}} (y_{n} - β x_{n})^{2} - λ β^{2} + const .

$\sum_{n=1}^N -\frac{1}{\sigma^2}(y_n-\beta x_n)^2 - \lambda \beta^2 + \mbox{const}.$

Se massimizziamo l'espressione sopra rispetto a , otteniamo la cosiddetta stima a-posteriori massima per , o la stima MAP in breve. In questa espressione diventa evidente perché il priore gaussiano può essere interpretato come un termine di regolarizzazione L2. $\beta$ $\beta$

Allo stesso modo il rapporto tra la norma L1 e il precedente di Laplace può essere compreso allo stesso modo. Prendi invece di un priore gaussiano, un precedente di Laplace lo combina con la tua probabilità e prendi il logaritmo.

Un buon riferimento (forse leggermente avanzato) che descrive in dettaglio entrambi i problemi è il documento "Scarsità adattiva per l'apprendimento supervisionato", che al momento non sembra facile da trovare online. In alternativa, guarda "Adaptive Sparseness using Jeffreys Prior" . Un altro buon riferimento è "Sulla classificazione bayesiana con i priori di Laplace" .

— ngiann
fonte

1

In un D dimensioncaso di regressione lineare, possono betae possono sigmaavere soluzioni esplicite? Sto leggendo il PRML e trovo l'equazione (1.67) a pagina 30 e non ho idea di come risolverlo. Con la massima probabilità, risolviamo betae quindi sigmaimpostando il gradiente su zero. Nel quadrato minimo regolarizzato, poiché alcuni parametri di reqularizzazione lambdasono noti, risolviamo betadirettamente. Ma se risolviamo direttamente MAP, qual è l'ordine di risolvere beta, sigma? Possono avere una soluzione esplicita o dobbiamo usare un processo iterativo?

— Stackunderflow

Ti manca un "quadrato" su nell'ultima equazione, ad esempio ?

λ β

$\lambda \beta$

λ β^{2}

$\lambda \beta^2$

— brian.keng,

@AdamO Limita il numero di valori che i coefficienti possono assumere. Se il precedente è compreso tra 1 e 10, ad esempio, allora c'è 0 probabilità che il coefficiente assuma qualsiasi altro valore, ad esempio [-inf to 1] e [10, + inf].

— imsrgadich,

1

In questo caso è noto . Funziona quando è sconosciuto? Per la regressione lineare bayesiana, un precedente gamma inverso potrebbe essere usato per formare un coniugato prima della varianza. Ma non sono sicuro che l'algebra equivalga alla stessa espressione.

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

— AdamO,

11

Per un modello lineare con probabilità normale normale multivariata e normale normale multivariata, si ottiene una distribuzione posteriore normale multivariata in cui la media del posteriore (e il modello massimo a posteriori) è esattamente ciò che si otterrebbe usando Tikhonov regolarizzato ( regolarizzati) minimi quadrati con un parametro di regolarizzazione appropriato. $L_{2}$

Si noti che esiste una differenza più fondamentale nel fatto che il posteriore bayesiano è una distribuzione di probabilità, mentre la soluzione dei minimi quadrati regolarizzata da Tikhonov è una stima puntuale specifica.

Questo è discusso in molti libri di testo sui metodi bayesiani per problemi inversi. Vedi ad esempio:

http://www.amazon.com/Inverse-Problem-Methods-Parameter-Estimation/dp/0898715725/

http://www.amazon.com/Parameter-Estimation-Inverse-Problems-Second/dp/0123850487/

Allo stesso modo, se si ha un precedente laparaciano e una probabilità normale multivariata, allora il massimo della distribuzione posteriore si verifica in un punto che si potrebbe ottenere risolvendo un problema minimi quadrati regolarizzati. $L_{1}$

— Brian Borchers
fonte

9

Prima nota che la mediana minimizza la norma L1 (vedi qui o qui per saperne di più su L1 e L2)

median (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{1}

$\DeclareMathOperator*{\argmin}{arg\,min} \text{median}(x) = \argmin_s \sum_i |x_i - s|^1$

mentre la media minimizza L2

mean (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{2}

$\text{mean}(x) = \argmin_s \sum_i |x_i - s|^2$

ora, ricordiamo che il parametro distribuzioni normali può essere stimato usando la media campionaria , mentre lo stimatore MLE per il parametro distribuzione di Laplace è mediano. Quindi l'uso della distribuzione normale equivale all'ottimizzazione della norma L2 e l'uso della distribuzione di Laplace, all'utilizzo dell'ottimizzazione L1. In pratica, puoi pensare che quella mediana sia meno sensibile ai valori anomali rispetto alla media, e lo stesso, usare la distribuzione di Laplace più grassa come un precedente rende il tuo modello meno incline ai valori anomali, rispetto all'utilizzo della distribuzione normale. $\mu$ $\mu$

Hurley, WJ (2009) Un approccio induttivo per calcolare l'MLE per la doppia distribuzione esponenziale . Rivista dei moderni metodi statistici applicati: 8 (2), articolo 25.

— Tim
fonte

Forse questa non è la risposta matematicamente più rigorosa qui fornita, ma è sicuramente la più semplice e intuitiva da comprendere per un principiante nella regolarizzazione L1 / L2.

— SQLServerSteve

8

Per un problema di regressione con variabili (senza intercettazione) si fa OLS come $k$

min_{β} (y - X β)^{'} (y - X β)

$\min_{\beta} (y - X \beta)' (y - X \beta)$

Nella regressione regolarizzata con penalità lo fai $L^p$

min_{β} (y - X β)^{'} (y - X β) + λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\min_{\beta} (y - X \beta)' (y - X \beta) + \lambda \sum_{i=1}^k |\beta_i|^p$

Possiamo fare equivalentemente (notare le modifiche del segno)

max_{β} - (y - X β)^{'} (y - X β) - λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\max_{\beta} -(y - X \beta)' (y - X \beta) - \lambda \sum_{i=1}^k |\beta_i|^p$

Questo è direttamente correlato al principio bayesiano di

p o s t e r i o r \propto l i k e l i h o o d \times p r i o r

$posterior \propto likelihood \times prior$

o equivalentemente (in condizioni di regolarità)

l o g (p o s t e r i o r) \sim l o g (l i k e l i h o o d) + l o g (p e n a l t y)

$log(posterior) \sim log(likelihood) + log(penalty)$

Ora non è difficile vedere quale distribuzione esponenziale della famiglia corrisponde a quale tipo di penalità.

— Georg M. Goerg
fonte

3

Per mettere l'equivalenza più precisamente:

L'ottimizzazione dei pesi del modello per minimizzare una funzione quadrata di perdita degli errori con la regolarizzazione L2 equivale a trovare i pesi che sono molto probabilmente sotto una distribuzione posteriore valutata usando la regola di Bayes, con un peso gaussiano indipendente a media zero prima

Prova:

La funzione di perdita descritta sopra sarebbe data da

L = \underset{O r i g i n a l l o s s f u n c t i o n}{\underset{⏟}{[\sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2}]}} + \underset{L_{2} l o s s}{\underset{⏟}{λ \sum_{i = 1}^{K} w_{i}^{2}}}

$L = \underbrace{\Big[ \sum_{n=1}^{N} (y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)}))^{2} \Big] }_{Original \; loss \; function} + \underbrace{\lambda \sum_{i=1}^{K} w_{i}^{2}}_{L_{2} \; loss}$

Si noti che la distribuzione per un gaussiano multivariato è

N (x; μ, Σ) = \frac{1}{(2 π)^{D / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x - μ)^{⊤} Σ^{- 1} (x - μ))

$\mathcal{N}(\mathbf{x}; \mathbf{\mu}, \Sigma) = \frac{1}{(2 \pi)^{D/2}|\Sigma|^{1/2}} \exp\Big(-\frac{1}{2} (\mathbf{x} -\mathbf{\mu})^{\top} \Sigma^{-1} (\mathbf{x} -\mathbf{\mu})\Big)$

Usando la regola di Bayes, ce l'abbiamo

\begin{aligned} p (w | D) & = \frac{p (D | w) p (w)}{p (D)} \\ \propto p (D | w) p (w) \\ \propto [\prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] N (w; 0, σ_{w}^{2} I) \\ \propto \prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2}) \prod_{i = 1}^{K} N (w_{i}; 0, σ_{w}^{2}) \end{aligned}

$\begin{split} p(\mathbf{w}|\mathcal{D}) &= \frac{p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})}{p(\mathcal{D})}\newline &\propto p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})\newline &\propto \Big[ \prod_{n}^{N} \mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2})\Big] \; \mathcal{N}(\mathbf{w}; \mathbf{0}, \sigma_{\mathbf{w}}^{2} \mathbb{I})\newline &\propto \prod_{n}^{N} \mathcal{N}(y^{(n)};f_{\mathbf{w}}(\mathbf{x}^{(n)}) , \sigma_{y}^{2}) \prod_{i=1}^{K} \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \newline \end{split}$

Dove siamo in grado di dividere il guassiano multidimensionale in un prodotto, perché la covarianza è un multiplo della matrice dell'identità.

Prendi la probabilità di log negativa

\begin{aligned} - \log [p (w | D)] & = - \sum_{n = 1}^{N} \log [N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] - \sum_{i = 1}^{K} \log [N (w_{i}; 0, σ_{w}^{2})] + c o n s t . \\ = \frac{1}{2 σ_{y}^{2}} \sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2} + \frac{1}{2 σ_{w}^{2}} \sum_{i = 1}^{K} w_{i}^{2} + c o n s t . \end{aligned}

$\begin{split} -\log \big[p(\mathbf{w}|\mathcal{D}) \big] &= -\sum_{n=1}^{N} \log \big[\mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2}) \big] - \sum_{i=1}^{K} \log \big[ \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \big] + const. \newline &= \frac{1}{2\sigma_{y}^{2}} \sum_{n=1}^{N} \big(y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)})\big)^{2} + \frac{1}{2\sigma_{\mathbf{w}}^{2}} \sum_{i=1}^{K} w_{i}^{2} + const. \newline \end{split}$

Ovviamente possiamo eliminare la costante e moltiplicarla per qualsiasi importo senza influire sostanzialmente sulla funzione di perdita. (la costante non fa nulla, la moltiplicazione scala efficacemente il tasso di apprendimento. Non influirà sulla posizione dei minimi) Quindi possiamo vedere che la probabilità di log negativa della distribuzione posteriore è una funzione di perdita equivalente alla funzione di perdita di errore quadrata regolarizzata L2.

Questa equinazione è generale e vale per qualsiasi funzione parametrica dei pesi, non solo per la regressione lineare, come sembra implicito sopra.

— nickelnine37
fonte

1

Ci sono due caratteristiche della modellistica bayesiana che devono essere enfatizzate quando si discute l'equivalenza di alcune stime della probabilità massima penalizzata e delle procedure bayesiane.

Nel quadro bayesiano, il priore è selezionato in base alle specifiche del problema e non è motivato dall'opportunità computazionale. Quindi i bayesiani usano una varietà di priori tra cui l'ormai popolare ferro di cavallo prima di problemi di predittore sparsi, e non hanno bisogno di fare così tanto affidamento su priori equivalenti a penalità L1 o L2.
Con un approccio bayesiano completo hai accesso a tutte le procedure inferenziali quando hai finito. Ad esempio, è possibile quantificare le prove per i coefficienti di regressione elevati e è possibile ottenere intervalli credibili sui coefficienti di regressione e sui valori complessivi previsti. Nel quadro del frequentista, una volta scelta la penalizzazione, si perde tutta la macchina inferenziale.

— Frank Harrell
fonte