Perché il termine di regolarizzazione * viene aggiunto * alla funzione di costo (anziché moltiplicata, ecc.)?

51

Ogni volta che viene utilizzata la regolarizzazione, viene spesso aggiunta alla funzione di costo, come nella seguente funzione di costo. Questo ha senso intuitivo per me poiché minimizza il funzione di costo significa minimizzare l'errore (il termine a sinistra) e minimizzare allo stesso tempo l'entità dei coefficienti (il termine a destra) (o almeno bilanciare le due minimizzazioni).

J (θ) = \frac{1}{2} (y - θ X^{T}) (y - θ X^{T})^{T} + α ‖ θ ‖_{2}^{2}

$J(\theta)=\frac 1 2(y-\theta X^T)(y-\theta X^T)^T+\alpha\|\theta\|_2^2$

La mia domanda è: perché questo termine di regolarizzazione $\alpha\|\theta\|_2^2$ aggiunto alla funzione di costo originale e non moltiplicato o qualcos'altro che mantiene lo spirito della motivazione alla base dell'idea di regolarizzazione? È perché se semplicemente aggiungiamo il termine su di esso è sufficientemente semplice e ci consente di risolverlo analiticamente o c'è qualche motivo più profondo?

regularization

— grenmester
fonte

1

Un altro argomento è attraverso il teorema del rappresentante,

— jkabrg

2

moltiplicatore lagrangiano

— Haitao Du,

9

Se hai più variabili indipendenti delle osservazioni allora potresti essere in grado di ottenere

\frac{1}{2} (y - θ X^{T}) (y - θ X^{T})^{T}

$\frac 1 2(y-\theta X^T)(y-\theta X^T)^T$ per azzerare diversi modi, quindi moltiplicare per nulla aiuta a distinguere un modello utile

— Henry,

47

Ha una bella intuizione nel quadro bayesiano. Si consideri che la funzione di costo regolarizzato $J$ ha un ruolo simile alla probabilità di una configurazione di parametro $\theta$ date le osservazioni $X, y$ . Applicando il teorema di Bayes, otteniamo:

P (θ | X, y) = \frac{P (X, y | θ) P (θ)}{P (X, y)} .

$P(\theta|X,y) = \frac{P(X,y|\theta)P(\theta)}{P(X,y)}.$

Prendendo il registro dell'espressione ci dà:

\log P (θ | X, y) = \log P (X, y | θ) + \log P (θ) - \log P (X, y) .

$\log P(\theta|X,y) = \log P(X,y|\theta) + \log P(\theta) - \log P(X,y).$

Ora, supponiamo che sia il ¹ log-posteriore negativo , . Poiché l'ultimo termine non dipende da , possiamo ometterlo senza modificare il minimo. Ti rimangono due termini: 1) il termine di verosimiglianza seconda di e 2) il termine precedente seconda della sola . Questi due termini corrispondono esattamente al termine dei dati e al termine di regolarizzazione nella formula. $J(\theta)$ $-\log P(\theta|X,y)$ $\theta$ $\log P(X,y|\theta)$ $X$ $y$ $\log P(\theta)$ $\theta$

Puoi andare ancora oltre e mostrare che la funzione di perdita che hai pubblicato corrisponde esattamente al seguente modello:

P (X, y | θ) = N (y | θ X, σ_{1}^{2}),

$P(X,y|\theta) = \mathcal{N}(y|\theta X, \sigma_1^2),$

P (θ) = N (θ | 0, σ_{2}^{2}),

$P(\theta) = \mathcal{N}(\theta | 0, \sigma_2^2),$

dove i parametri provengono da una distribuzione gaussiana a media zero e le osservazioni hanno rumore gaussiano a media zero. Per maggiori dettagli vedi questa risposta . $\theta$ $y$

¹ Negativo poiché si desidera massimizzare la probabilità ma minimizzare il costo.

— Jan Kukacka
fonte

5

Sono un po 'insoddisfatto di questa risposta perché fa solo ondeggiare la corrispondenza tra la funzione di costo e il log-posteriore. Se il costo non corrispondesse al log-posteriore ma piuttosto al posteriore stesso, concluderemmo che la regolarizzazione dovrebbe essere moltiplicata per il costo non regolarizzato (come richiesto dall'OP). - Per giustificare correttamente questa risposta, dovresti giustificare perché è il log-posteriore che stiamo equiparando al costo. (In qualche modo hai a che fare con "vai oltre", ma a quel punto diventi un po 'mosso a mano.)

— RM

1

@RM, punto valido. C'è una ragione: è perché le funzioni di perdita standard utilizzate nell'apprendimento automatico corrispondono al log-posteriore piuttosto che al posteriore stesso. Perché? Perché usano la minimizzazione del rischio empirico; e le funzioni di perdita standard di solito assumono la forma dove è una funzione di perdita che ha un'interpretazione sensata come probabilità log-posteriore. (Sospetto che tu lo sappia, ma lo sto solo dicendo per gli altri visitatori.)

\log P (X_{1}, \dots, X_{n}, y_{1}, \dots, y_{n} | θ) = \sum_{i} \log P (X_{i}, y_{i} | θ)

$\log P(X_1,\dots,X_n,y_1,\dots,y_n|\theta) = \sum_i \log P(X_i,y_i|\theta)$

\sum_{i} f (X_{i}, y_{i}, θ_{i})

$\sum_i f(X_i,y_i,\theta_i)$

f

$f$

— DW,

@RM Se hai qualche costo potresti sempre ridefinire il tuo problema in termini di . In altre parole, qualunque sia la tua funzione di costo, definisce una distribuzione basata su divisa per una costante normalizzante che puoi ignorare quando usi i metodi MCMC. Il fatto che si possa sempre ripetere in termini di esponenziale è molto importante per esempio ricottura simulata, campionatori MCMC, ecc.

C

$C$

C = \exp \ln C

$C = \exp{\ln C}$

\exp \ln C

$\exp{\ln C}$

— ely,

@RM, ad esempio, consideriamo questo articolo di Jun Liu (e c'è un commento simile nel libro MCMC di Liu), dove nella pagina 3 in basso si dice "Let essere la distribuzione di probabilità target sotto esame (presumibilmente tutti i pdf possono essere scritti in questo modulo) "(enfasi aggiunta). Quindi dal punto di vista bayesiano in cui la porzione del posteriore definita dal modello di probabilità sarebbe questa funzione di perdita, questa decomposizione bayesiana per questa risposta sarebbe del tutto generale.

π (x) = c \exp - h (x)

$\pi(x) = c\exp{-h(x)}$

— ely,

Grazie per la risposta! Sto cercando di capirlo "all'inizio" del tuo post: che cosa stai affermando esattamente ha una buona intuizione nel quadro bayesiano? il motivo fondamentale per cui l'aggiunta di sanzioni dà buoni stimatori? o il motivo storico (e non statistico) per cui le persone usano questi stimatori additivi? (Mentre stavo cercando di suggerire il mio fraseggio, penso che la tua risposta affronti il motivo storico piuttosto che un motivo statistico.)

— user795305

34

Jan e Cagdas danno una buona ragione bayesiana, interpretando il regolarizzatore come un precedente. Eccone alcuni non bayesiani:

Se il tuo obiettivo non regolamentato è convesso e aggiungi un regolarizzatore convesso, il tuo obiettivo totale sarà comunque convesso. Questo non sarà vero se lo moltiplichi o la maggior parte degli altri metodi di combinazione. L'ottimizzazione convessa è davvero molto bella rispetto all'ottimizzazione non convessa; se la formulazione convessa funziona, è meglio farlo.
A volte porta a una forma chiusa molto semplice, poiché menzioni wpof sono il caso della regressione della cresta.
Se pensi al problema che "veramente" vuoi risolvere come un problema con un forte vincolo allora il suo doppio Lagrange è il problema Sebbene non sia necessario utilizzare la dualità di Lagrange, si capisce molto al riguardo.
$min_{θ : c (θ) \leq 0} J (θ),$ $\min_{\theta : c(\theta) \le 0} J(\theta) ,$ $min_{θ} J (θ) + λ c (θ) .$ $\min_\theta J(\theta) + \lambda c(\theta) .$
Come menzionato ogogmad , il teorema del rappresentante si applica al caso di una penalità aggiuntiva: se si desidera ottimizzare su un intero kernel riproducente spazio di funzioni , allora sappiamo che la soluzione all'ottimizzazione su tutto lo spazio trova in un semplice sottospazio di dimensioni finite per molte perdite ; Non so se questo sarebbe valido per un regolarizzatore moltiplicativo (anche se potrebbe). Questa è la base delle SVM del kernel. $f$ $\mathcal H$
$min_{f \in H} J (f) + λ ‖ f ‖_{H}^{2}$ $\min_{f \in \mathcal H} J(f) + \lambda \lVert f \rVert_{\mathcal H}^2$ $J$
Se stai facendo un apprendimento profondo o qualcosa di non convesso: le perdite additive danno semplici gradienti additivi. Per il semplice regolarizzatore hai dato, diventa un semplice decadimento del peso . Ma anche per un regolarizzatore più complicato, dire che il WGAN-GP perdita di s' è più facile per la backpropagation calcolare i gradienti quando deve solo considerare la somma della perdita e il regolarizzatore complicato (considerando le cose separatamente), invece di dover fare la regola del prodotto. $L_2$
$\sum_{x, y} \underset{the loss}{\underset{⏟}{f_{θ} (x) - f_{θ} (y)}} + λ \underset{the regularizer}{\underset{⏟}{{\hat{E}}_{α \sim U n i f o r m (0, 1)} {(‖ \nabla f_{θ} (α x + (1 - α) y) ‖ - 1)}^{2}}},$ $\sum_{x,y} \underbrace{f_\theta(x) - f_\theta(y)}_\text{the loss} + \lambda \underbrace{\mathbb{\hat E}_{\alpha \sim \mathrm{Uniform}(0, 1)} \left( \lVert \nabla f_\theta(\alpha x + (1 - \alpha) y) \rVert - 1\right)^2}_\text{the regularizer},$
Le perdite additive sono anche suscettibili al famoso algoritmo di ottimizzazione ADMM e ad altri algoritmi basati sulla "decomposizione".

Nessuna di queste sono regole rigide, e in effetti a volte un regolarizzatore moltiplicativo (o qualche altro) potrebbe funzionare meglio (come sottolinea Ogogad ). (In effetti, proprio l'altro giorno ho presentato un documento su come qualcosa che potresti interpretare come un regolarizzatore moltiplicativo fa meglio dell'additivo WGAN-GP sopra!) Ma spero che questo aiuti a spiegare perché i regolarizzatori additivi sono "i valori predefiniti".

— Dougal
fonte

2

+1. Buona fortuna con la tua richiesta [presumibilmente NIPS]!

— ameba dice di reintegrare Monica

13

Vuoi minimizzare entrambi i termini nella funzione obiettivo. Pertanto, è necessario disaccoppiare i termini. Se moltiplichi i termini puoi avere un termine grande e l'altro molto basso. Quindi, si finisce ancora con un valore basso della funzione obiettivo, ma con un risultato indesiderabile.

Potresti finire con un modello con la maggior parte delle variabili vicine allo zero senza potere predittivo.

La funzione obiettivo, che è la funzione da minimizzare, può essere costruita come la somma della funzione di costo e dei termini di regolarizzazione.

Nel caso in cui entrambi siano indipendenti l'uno dall'altro, si ottengono i valori illustrati nella prima figura per l'obiettivo. Vedi in caso di somma, c'è solo un minimo a (0, 0). Nel caso del prodotto hai ambiguità. Hai un'intera iper-superficie uguale a zero in (x = 0 o y = 0). Quindi, l'algoritmo di ottimizzazione può finire ovunque a seconda della tua inizializzazione. E non può decidere quale soluzione sia migliore.

— Sören
fonte

10

Puoi provare altre operazioni binarie ( ) e vedere come si confrontano. $\max,\min,\times$

Il problema con e è che se l'errore è , la penalità regolarizzata finirà per essere . Ciò consente al modello di adattarsi eccessivamente. $\min$ $\times$ $0$ $0$

Il problema con è che si finisce per ridurre al minimo il "più duro" delle due penalità (errore di allenamento o regolarizzazione) ma non l'altro. $\max$

Al contrario, è semplice e funziona. $+$

Potresti chiedere perché non altre operazioni binarie? Non ci sono argomenti che potrebbero escluderli, quindi perché non davvero?

— jkabrg
fonte

8

Penso che tu abbia una domanda valida. Per darti una risposta adeguata dovrai capire la natura probabilistica del problema.

In generale, il problema che stiamo cercando di risolvere è il seguente: Dati dati qual è la distribuzione di ipotesi che spiega questi dati. Quando diciamo ipotesi intendiamo un PDF (almeno in questo contesto). E una distribuzione di ipotesi è un PDF di PDF, ovvero . $D$ $p(H | D)$

$p(H | D)$ è una distribuzione su ipotesi dato . Se riusciamo a trovarlo, possiamo selezionarne una tra queste ipotesi, ad esempio quella con la più alta probabilità, oppure possiamo scegliere di fare una media su tutte. Un approccio un po 'più semplice è quello di attaccare il problema da un'altra direzione usando il Teorema di Bayes. $D$

$p (H | D) = \frac{p (D | H) \times p (H)}{p (D)}$ $p(H|D) = \frac{p(D|H)\times p(H)}{p(D)}$
$p(D|H)$ è una delle ipotesi, è anche chiamata verosimiglianza. è la distribuzione delle ipotesi nel nostro universo di ipotesi prima di osservare i dati. Dopo aver osservato i dati, aggiorniamo le nostre convinzioni. $p(H)$
$p(D)$ è la media delle ipotesi prima di aggiornare le nostre convinzioni.

Ora se prendiamo il di entrambi i lati dell'equazione di Bayes otteniamo: $-\log$

- \log [p (H | D)] = - \log [p (D | H)] - \log [p (H)] + \log [p (D)]

$-\log [p(H|D)] = -\log [p(D|H)] -\log [p(H)] + \log [p(D)]$

Di solito è difficile da calcolare. La cosa buona è che non influisce sul risultato. È semplicemente una costante di normalizzazione. $p(D)$

Ora, ad esempio, se la nostra serie di ipotesi è un gruppo di gaussiani con dove non conosciamo , ma supponiamo di conoscere (o almeno supponiamo che sia una costante) e inoltre le stesse ipotesi sono distribuite come gaussiane con quindi collegare tutto quanto sopra sembra qualcosa del tipo: $p(D|H)$ $p(y|X,\theta)\sim N(\theta X,\sigma)$ $\theta$ $\sigma$ $p(H) = p(\theta) \sim N(0,\alpha^{-1} I)$

- \log [p (H | D)] = bunch of constants + \frac{1}{2} (y - θ X)^{2} + \frac{1}{2} α | | θ | |^{2} + c o n s t a n t

$-\log [p(H|D)] = \text{bunch of constants} + \frac{1}{2}(y-\theta X)^2 + \frac{1}{2}\alpha||\theta||^2 + {\rm constant}$

Ora, se minimizziamo questa espressione, troviamo l'ipotesi con la più alta probabilità. Le costanti non influiscono sulla minimizzazione. Questa è l'espressione nella tua domanda.

Il fatto che abbiamo usato i gaussiani non cambia il fatto che il termine di regolarizzazione sia aggiuntivo. Deve essere additivo (in termini di registro o moltiplicativo in probabilità), non c'è altra scelta. Ciò che cambierà se utilizziamo altre distribuzioni sono i componenti dell'aggiunta. La funzione di costo / perdita fornita è ottimale per uno scenario specifico di gaussiani.

— Cagdas Ozgenc
fonte

Ehi Cagdas, grazie per la spiegazione. Non ho capito la trasformazione dell'ultima equazione sull'RHS. Puoi indicarmi qualche risorsa per capire meglio quella parte

— Itachi,

7

Ridge è una formulazione molto conveniente. Contrariamente alle risposte probabilistiche, queste risposte non danno alcuna interpretazione della stima ma spiegano invece perché la cresta sia una formulazione antica e ovvia.

Nella regressione lineare, le equazioni normali danno $\hat{\theta} = (X^TX)^{-1} X^T y$

Ma la matrice volte non è invertibile; un modo per regolare è aggiungendo un piccolo elemento alla diagonale: . $X^TX$ $X^TX + \alpha I$

Questo dà la soluzione: ; quindi non risolve il problema originale ma invece il problema della cresta. $\tilde{\theta} = (X^TX + \alpha I)^{-1} X^T y$ $\tilde{\theta}$

— WPOF
fonte

3

Si prega di specificare le risposte a cui ci si riferisce. L'ordinamento si sposterà man mano che i voti si accumulano, quindi "sopra" è intrinsecamente ambiguo.

— gung - Ripristina Monica

1

Penso che ci sia una ragione più intuitiva per cui non possiamo moltiplicare per il termine di regolarizzazione.

Consente di portare la nostra funzione di penalità alla normale funzione di penalità moltiplicata per un termine di regolarizzazione come suggerito da te.

J (θ) = (\frac{1}{2} (y - θ X^{T}) (y - θ X^{T})^{T}) α ‖ θ ‖_{2}^{2}

$J(θ)=(\frac{1}{2}(y−θX^T)(y−θX^T)^T)α‖θ‖^2_2$

Qui creiamo un minimo globale della funzione di penalità in cui . In questo caso il nostro modello può produrre errori elevati tra la previsione e i dati ma non importa, se i pesi dei parametri del modello sono tutti zero la nostra funzione di penalità è zero . $α‖θ‖^2_2=0$ $J(θ=0)=0$

Poiché, a meno che il nostro modello non sia completamente perfetto, il termine non può mai essere zero (la probabilità che esista un insieme θ rendere il nostro modello "perfetto" è trascurabile per i dati reali), quindi il nostro modello dovrebbe sempre tendere ad allenarsi verso la soluzione θ = 0. $(\frac{1}{2}(y−θX^T)(y−θX^T)^T)$

Questo è ciò che restituirà a meno che non si blocchi in un minimo locale da qualche parte.

— James Fulton
fonte