Risolvere un problema dei minimi quadrati con vincoli lineari in Python

Ho bisogno di risolvere

\begin{aligned} min_{x} ‖ A x - b ‖_{2}^{2}, \\ s . t . & \sum_{i} x_{i} = 1, \\ x_{i} \geq 0, \forall i . \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^2_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

Io penso che sia un problema di secondo grado che dovrebbe essere risolvibile con CVXOPT , ma non riesco a capire come.

— tillsten
fonte

Spero che questa domanda non sia troppo specifica per compsci.

— tillsten,

Geoff Oxberry: solo una curiosità, ma perché hai modificato la parte lineare? Penso che sia una parte abbastanza impotente della descrizione del problema, la soluzione sarebbe abbastanza diversa per un'ottimizzazione dei minimi quadrati non lineari.

— tillsten il

A proposito, le altre modifiche sono fantastiche!

— tillsten il

Puoi risolverlo facilmente con il tuo codice in modo molto efficiente. Non è necessario CVXOPT.

— Royi,

Risposte:

Ho scritto una risposta completa (sotto la riga) prima di scoprire CVXPY , che (come CVX per MATLAB) fa tutte le cose difficili per te e ha un esempio molto breve quasi identico al tuo qui . Devi solo sostituire la riga pertinente con

 p = program(minimize(norm2(A*x-b)),[equals(sum(x),1),geq(x,0)])

La mia vecchia risposta, facendolo nel modo più difficile con CVXOPT:

Seguendo il suggerimento di Geoff di quadrare la tua funzione oggettiva dà

‖ A x - b ‖_{2}^{2} = ⟨ x^{T} A^{T} - b^{T}, A x - b ⟩ = x^{T} A^{T} A x - b^{T} A x - x^{T} A b - b^{T} b

$\|Ax-b\|^2_2 = \langle x^TA^T - b^T,Ax-b\rangle = x^TA^TAx - b^TAx - x^TAb - b^Tb$

Naturalmente, tutti i termini sono scalari, quindi puoi trasporre il terzo e rilasciare l'ultimo (poiché non dipende da e quindi non cambierà quale ti fornisce un minimo, anche se dovrai aggiungerlo di nuovo dopo aver risolto per ottenere il valore corretto del tuo obiettivo) per ottenere Questo (compresi i tuoi vincoli) ha la forma di un programma quadratico, come indicato in la documentazione CVXOPT qui , dove esiste anche un codice di esempio per risolvere un simile problema. $x$ $x$

x^{T} A^{T} A x - b^{T} (A + A^{T}) x

$x^TA^TAx - b^T(A + A^T)x$

— David Ketcheson
fonte

Invece del problema che hai risolto, risolvi

\begin{aligned} min_{x} ‖ A x - b ‖_{2}^{2}, \\ s . t . & \sum_{i} x_{i} = 1, \\ x_{i} \geq 0, \forall i . \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^{2}_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

Questo problema è un problema di ottimizzazione differenziabile, convesso, non lineare che può essere risolto in CVXOPT, IPOPT o qualsiasi altro risolutore di ottimizzazione convesso.

— Geoff Oxberry
fonte