KKT in breve graficamente

Obbiettivo

Conferma se la comprensione di KKT è corretta o meno. Cerca ulteriori spiegazioni e conferme su KKT.

sfondo

Cercare di capire le condizioni di KKT, in particolare quella complementare, che emerge sempre di punto in bianco negli articoli SVM. Non ho bisogno di un elenco di formule astratte ma ho bisogno di una spiegazione concreta, intuitiva e grafica.

Domanda

Se P, che minimizza la funzione di costo f (X), è all'interno del vincolo (g (P)> = 0), è la soluzione. Sembra che KKT non sia rilevante in questo caso.

Sembra che KKT dica se P non è all'interno del vincolo, quindi la soluzione X dovrebbe soddisfare di seguito nella figura. Si tratta di KKT o mi mancano altri aspetti importanti?

Altri chiarimenti

F (x) deve essere convesso per l'applicazione di KKT?
G (x) dovrebbe essere lineare per l'applicazione di KKT?
Λ dovrebbe essere necessario in λ * g (X) = 0? Perché g (X) = 0 o g (Xi) = 0 non è sufficiente?

Riferimenti

Aggiornamento 1

Grazie per le risposte ma ancora fatica a capire. Concentrati sulla necessità solo qui:

La condizione (2) nella risposta di Matthew Gunn sul punto non ottimale (nel cerchio verde) e KKT non sarà soddisfatta lì? E il punto sarebbe identificato guardando Hessian come nella risposta di Mark L. Stone?

Suppongo che un'altra situazione siano i punti di sella, ma lo stesso vale?

user23658

svm optimization lagrange-multipliers

— mon
fonte

Questa domanda può attirare più attenzione sul sito di matematica; Le condizioni di KKT non sono necessariamente "statistiche". Gli statistici prendono in prestito questi e altri risultati dall'analisi numerica per risolvere interessanti problemi statistici, ma questa è più una questione di matematica.

— user23658

(1) Se i vincoli non si legano, il problema di ottimizzazione con i vincoli ha la stessa soluzione del problema di ottimizzazione senza i vincoli. (2) Né

devono essere convessi né

devono essere lineari affinché le condizioni di KKT siano necessarie in modo ottimale. (3) Sono necessarie condizioni speciali (ad es. Problema convesso in cui si trova la condizione di Slater) affinché le condizioni KKT siano sufficienti per un ottimale.

f

$f$

g

$g$

— Matthew Gunn,

L'idea di base della condizione di allentamento complementare (cioè

dove

è un vincolo) è che se il vincolo è lento (cioè

) alla

ottimale , allora la penalità

per stringere il vincolo è 0. E se c'è una penalità positiva

per stringere il vincolo, allora il vincolo deve essere vincolante (cioè

λ g (x) = 0

$\lambda g(\mathbf{x}) = 0$

g (x) \leq 0

$g(\mathbf{x}) \leq 0$

g (x) < 0

$g(\mathbf{x}) < 0$

x

$\mathbf{x}$

λ

$\lambda$

λ

$\lambda$

g (x) = 0

$g(\mathbf{x}) = 0$ ). Se il traffico scorre senza intoppi, il pedaggio sul ponte

per un'altra auto è zero. E se il pedaggio del ponte

, il ponte deve essere al limite di capacità.

λ

$\lambda$

λ > 0

$\lambda > 0$

— Matthew Gunn,

Il teorema di KKT di base afferma che se le condizioni di KKT non sono soddisfatte in un punto

, il punto

non è ottimale. Le condizioni KKT sono necessarie per un ottimale ma non sufficiente. (Ad esempio, se la funzione ha punti di sella, minimi locali ecc ... le condizioni KKT possono essere soddisfatte ma il punto non è ottimale!) Per alcune classi di problemi (ad es. Problema convesso in cui si trova la condizione di Slater), il KKT le condizioni diventano condizioni sufficienti .

x

$\mathbf{x}$

x

$\mathbf{x}$

— Matthew Gunn,

Risposte:

L'idea di base delle condizioni di KKT come condizioni necessarie per un ottimale è che se non si mantengono in un punto fattibile , allora esiste una direzione che migliorerà l'obiettivo senza aumentare (e quindi possibilmente violare) i vincoli. (Se le condizioni KKT non valgono su allora non può essere ottimale, quindi le condizioni KKT sono necessarie affinché un punto sia ottimale.) $\mathbf{x}$ $\boldsymbol{\delta}$ $f$ $\mathbf{x}$ $\mathbf{x}$

Immagina di avere il problema di ottimizzazione:

\begin{array}{llr} minimize (over x) & f (x) \\ subject to & \forall_{j \in {1 \dots k}} g_{j} (x) \leq 0 \end{array}

$\begin{equation} \begin{array}{*2{>{\displaystyle}r}} \mbox{minimize (over $\mathbf{x}$)} & f(\mathbf{x}) \\ \mbox{subject to} & \forall_{j \in \{1\ldots k\}}\; g_j(\mathbf{x}) \leq 0 \end{array} \end{equation}$

Dove e ci sono vincoli . $\mathbf{x} \in \mathbb{R}^n$ $k$

Condizioni KKT e Farkas Lemma

Sia un vettore di colonna che indica il gradiente di valutato in . $\nabla f(\mathbf{x})$ $f$ $\mathbf{x}$

Applicato a questa situazione, Farkas Lemma afferma che per ogni punto vale esattamente una delle seguenti affermazioni: $\mathbf{x} \in \mathbb{R}^n$

Esiste tale che e $\boldsymbol{\lambda} \in \mathbb{R}^k$ $\sum_{j=1}^k \lambda_j \nabla g_j(\mathbf{x}) = -\nabla f(\mathbf{x})$ $\boldsymbol{\lambda} \geq \mathbf{0}$
Esiste tale che e $\boldsymbol{\delta} \in \mathbb{R}^n$ $\forall_j \boldsymbol{\delta}' g_j(\mathbf{x}) \leq 0$ $\boldsymbol{\delta}'\nabla f(\mathbf{x}) < 0$

Cosa significa questo? Significa che per ogni punto possibile , sia: $\mathbf{x}$

La condizione (1) è valida e le condizioni KKT sono soddisfatte.
La condizione (2) vale ed esiste una direzione fattibile che migliora la funzione obiettivo senza aumentare i vincoli . (es. puoi migliorare passando da a ) $\boldsymbol{\delta}$ $f$ $g_j$ $f$ $\mathbf{x}$ $\mathbf{x} + \epsilon \boldsymbol{\delta}$

La condizione (1) afferma che esistono moltiplicatori non negativi tali che le condizioni KKT sono soddisfatte al punto . (Dal punto di vista geometrico, dice che trova nel cono convesso definito dai gradienti dei vincoli.) $\boldsymbol{\lambda}$ $\mathbf{x}$ $- \nabla f$

La condizione (2) afferma che nel punto esiste una direzione per spostarsi (localmente) in modo tale che: $\mathbf{x}$ $\boldsymbol{\delta}$

Spostarsi nella direzione riduce la funzione obiettivo (poiché il prodotto punto di e è inferiore a zero). $\boldsymbol{\delta}$ $\nabla f(\mathbf{x})$ $\boldsymbol{\delta}$
Spostarsi nella direzione non aumenta il valore dei vincoli (perché il prodotto punto di e è minore o uguale a zero per tutti i vincoli ). $\boldsymbol{\delta}$ $\nabla g_j(\mathbf{x})$ $\boldsymbol{\delta}$ $j$

(Geometricamente, la direzione fattibile definisce un iperpiano di separazione tra il vettore e il cono convesso definito dai vettori .) $\boldsymbol{\delta}$ $-\nabla f(\mathbf{x})$ $\nabla g_j(\mathbf{x})$

(Nota: per mappare questo in Farkas Lemma , definire la matrice ) $A = \begin{bmatrix} \nabla g_1, \nabla g_2, \ldots, \nabla g_k \end{bmatrix}$

Questo argomento ti dà la necessità (ma non la sufficienza) delle condizioni KKT in modo ottimale. Se le condizioni KKT non sono soddisfatte (e le qualifiche dei vincoli sono soddisfatte), è possibile migliorare l'obiettivo senza violare i vincoli.

Il ruolo delle qualifiche dei vincoli

Cosa può andare storto? È possibile ottenere situazioni degenerate in cui i gradienti dei vincoli non descrivono accuratamente le direzioni possibili in cui muoversi.

È possibile scegliere tra una moltitudine di qualifiche di vincolo diverse che consentiranno all'argomento di cui sopra di funzionare.

L'interpretazione minima e massima (imho la più intuitiva)

Forma il lagrangiano

L (x, λ) = f (x) + \sum_{j = 1}^{k} λ_{j} g_{j} (x)

$\mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = f(\mathbf{x}) + \sum_{j=1}^k \lambda_jg_j(\mathbf{x})$

$f$ $g_j$ $\mathcal{L}$ $\lambda_i$

La soluzione al problema di ottimizzazione originale è equivalente a:

min_{x} max_{λ} L (x, λ)

$\min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

Questo è:

$\mathbf{x}$ $\mathcal{L}$
$\boldsymbol{\lambda}$ $\mathbf{x}$

$g_2$ $\lambda_2$

Debole dualità

$f(x, y)$

\forall_{\hat{x}, \hat{y}} min_{x} f (x, \hat{y}) \leq f (\hat{x}, \hat{y}) \leq max_{y} f (\hat{x}, y)

$\forall_{\hat{x},\hat{y}} \quad \min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$

$\hat{x}$ $\hat{y}$

max_{y} min_{x} f (x, y) \leq min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$

$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) \leq \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

Forte dualità

In determinate condizioni speciali (es. Problema convesso in cui si trova la condizione di Slater), si ha una forte dualità (cioè la proprietà del punto di sella).

max_{λ} min_{x} L (x, λ) = min_{x} max_{λ} L (x, λ)

$\max_\lambda \min_x \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda}) = \min_x \max_\lambda \mathcal{L}(\mathbf{x}, \boldsymbol{\lambda})$

Questo bellissimo risultato implica che puoi invertire l'ordine del problema.

$\boldsymbol{\lambda}$
$\mathbf{x}$ $\mathcal{L}$

$\lambda$

— Matthew Gunn
fonte

Apprezzo le informazioni e i collegamenti per colmare le lacune della comprensione. Mi permetta di confermare. Condizione (1) significa che KKT afferma che un punto X deve essere una soluzione, deve soddisfare λ * g (X) = 0, λ> = 0 e la lunghezza del gradiente di g (X) è λ volte di quella di f (X), altrimenti troveremo il gradiente della direzione dei punti f (X) dove si trova la f (X ') più piccola?

— lun

La condizione slater è (solo) una qualifica di vincolo che può essere applicata a problemi di ottimizzazione convessa, ovvero rende necessario KKT. La convessità rende KKT sufficiente. Quindi la condizione Slater per il problema dell'ottimizzazione convessa in cui la funzione e i vincoli oggettivi sono convessi e continuamente differenziabili rende KKT necessario e sufficiente per il minimo globale. La condizione più slanciata è che esiste almeno un punto fattibile (cioè soddisfare tutti i vincoli) che si trova all'interno rigoroso di tutti i vincoli non lineari (qualsiasi cosa si accompagna a vincoli lineari, purché fattibili).

— Mark L. Stone,

f (x) essendo convesso è necessario affinché KKT sia sufficiente affinché x sia il minimo locale. Se f (x) o -g (x) non sono convessi, x KKT soddisfacente potrebbe essere minimo locale, punto di sella o massimo locale.

g (x) essendo lineare, insieme a f (x) essendo continuamente differenziabili è sufficiente per le condizioni di KKT necessarie per il minimo locale. g (x) essendo lineare significa che la qualifica di vincolo di Linearità affinché KKT sia consapevole per il minimo locale è soddisfatta. Tuttavia, ci sono altre qualifiche di vincolo meno restrittive che sono sufficienti affinché le condizioni KKT siano necessarie per il minimo locale. Vedi la sezione Condizioni di regolarità (o qualifiche di vincolo) di https://en.wikipedia.org/wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions .

Se un minimo locale non ha vincoli "attivi" (quindi nel caso di un solo vincolo di disuguaglianza, tale vincolo non è soddisfatto dell'uguaglianza), i moltiplicatori di Lagrange associati a tali vincoli devono essere zero, nel qual caso KKT si riduce alla condizione che il gradiente dell'obiettivo = 0. In tal caso, non vi è alcun "costo" zero per il valore obiettivo ottimale di un serraggio epsilon del vincolo.

Ulteriori informazioni :

La funzione e i vincoli oggettivi sono convessi e la differenziazione continua implica che KKT è sufficiente per il minimo globale.

Se la funzione e i vincoli oggettivi sono continuamente differenziabili e i vincoli soddisfano una qualifica di vincolo, KKT è necessario per un minimo locale.

Se la funzione e i vincoli oggettivi sono continuamente differenziabili, convessi e vincoli soddisfano una qualifica di vincolo, KKT è necessario e sufficiente per un minimo globale.

$Z$ $Z^T H Z$ $H$ $Z$

— Mark L. Stone
fonte