Qual è la connessione tra regolarizzazione e metodo dei moltiplicatori di lagrange?

Per evitare il sovradimensionamento delle persone, le persone aggiungono un termine di regolarizzazione (proporzionale alla somma quadrata dei parametri del modello) con un parametro di regolarizzazione alla funzione di costo della regressione lineare. Questo parametro lo stesso di un moltiplicatore di lagrange? Quindi la regolarizzazione è la stessa del metodo del moltiplicatore di lagrange? O come sono collegati questi metodi? $\lambda$$\lambda$

Supponiamo di ottimizzare un modello con parametri , riducendo al minimo alcuni criteri soggetti a un vincolo sull'entità del vettore dei parametri (ad esempio per implementare un approccio di minimizzazione del rischio strutturale mediante costruendo una serie nidificata di modelli di crescente complessità), dovremmo risolvere:$\vec{\theta}$$f(\vec{\theta})$

$\mathrm{min}_\vec{\theta} f(\vec{\theta}) \quad \mathrm{s.t.} \quad \|\vec{\theta}\|^2 < C$

Il Lagrangiano per questo problema è (avvertimento: penso, è stata una lunga giornata ... ;-)

$\Lambda(\vec{\theta},\lambda) = f(\vec{\theta}) + \lambda\|\vec{\theta}\|^2 - \lambda C.$

Quindi si può facilmente vedere che una funzione di costo regolarizzata è strettamente correlata a un problema di ottimizzazione vincolata con il parametro di regolarizzazione correlato alla costante che regola il vincolo ( ), ed è essenzialmente il moltiplicatore di Lagrange. $\lambda$$C$

Questo spiega perché, ad esempio, la regressione della cresta implementa la minimizzazione del rischio strutturale: la regolarizzazione equivale a porre un vincolo sull'entità del vettore di peso e se allora ogni modello che può essere realizzato obbedendo al vincolo che$C_1 > C_2$

$\|\vec{\theta}\|^2 < C_2$

sarà disponibile anche sotto il vincolo

$\|\vec{\theta}\|^2 < C_1$ .

Quindi ridurre genera una sequenza di spazi di ipotesi di crescente complessità.$\lambda$