Esiste un solutore di programmazione non lineare di alta qualità per Python?

Ho diversi problemi di ottimizzazione globale non convessi da risolvere. Attualmente uso MATLAB's Optimization Toolbox (in particolare, fmincon()con algoritmo = 'sqp'), che è abbastanza efficace . Tuttavia, la maggior parte del mio codice è in Python e mi piacerebbe fare l'ottimizzazione anche in Python. Esiste un solutore NLP con attacchi Python in grado di competere fmincon()? Deve

• essere in grado di gestire i vincoli di uguaglianza e disuguaglianza non lineari
• non richiede all'utente di fornire un giacobino.

Va bene se non garantisce un ottimo globale ( fmincon()non lo fa). Sto cercando qualcosa che converge saldamente in un ottimo locale anche per problemi difficili e anche se leggermente più lento di fmincon().

Ho provato diversi solutori disponibili tramite OpenOpt e li ho trovati inferiori a quelli di MATLAB fmincon/sqp.

Solo per enfasi ho già una formulazione trattabile e un buon risolutore. Il mio obiettivo è semplicemente quello di cambiare lingua per avere un flusso di lavoro più snello.

Geoff sottolinea che alcune caratteristiche del problema potrebbero essere rilevanti. Loro sono:

• 10-400 variabili decisionali
• 4-100 vincoli di uguaglianza polinomiale (gradi polinomiali compresi tra 1 e circa 8)
• Un numero di vincoli di disuguaglianza razionale pari a circa il doppio del numero di variabili decisionali
• La funzione obiettivo è una delle variabili decisionali

Il Jacobiano dei vincoli di uguaglianza è denso, così come il Jacobiano dei vincoli di disuguaglianza.

fmincon(), come hai accennato, utilizza diverse strategie ben note nell'ottimizzazione non lineare che tentano di trovare un minimo locale senza tener conto del fatto che sia stato trovato l'ottimale globale. Se stai bene, penso che tu abbia formulato correttamente la domanda (ottimizzazione non lineare).

Il miglior pacchetto di cui sono a conoscenza per l'ottimizzazione generale non lineare è IPOPT [1]. Apparentemente Matthew Xu mantiene una serie di collegamenti Python a IPOPT , quindi questo potrebbe essere un punto di partenza.

[1]: Andreas Wachter è un amico personale, quindi potrei essere un po 'di parte.

Lavoro in un laboratorio che esegue l'ottimizzazione globale di problemi di numero intero e non convesso. La mia esperienza con i risolutori dell'ottimizzazione open source è stata che i migliori sono in genere scritti in un linguaggio compilato e hanno un prezzo mediocre rispetto ai pacchetti di ottimizzazione commerciale.

Se riesci a formulare il tuo problema come un sistema esplicito di equazioni e hai bisogno di un risolutore gratuito, la tua scommessa migliore è probabilmente IPOPT, come ha detto Aron. Altri solutori gratuiti sono disponibili sul sito web COIN-OR . Per quanto ne so, i solutori non lineari non hanno i collegamenti Python forniti dagli sviluppatori; tutti gli attacchi che trovi sarebbero di terze parti. Per ottenere buone soluzioni, dovresti anche avvolgere qualsiasi risolutore convesso non lineare che hai trovato nell'euristica stocastica di ottimizzazione globale appropriata o in un algoritmo di ottimizzazione globale deterministico come branch-and-bound. In alternativa, è possibile utilizzare Bonmin o Couenne, entrambi risolutori di ottimizzazione non convessi deterministici che offrono prestazioni utili rispetto al solutore all'avanguardia, BARON .

Se è possibile acquistare un solutore di ottimizzazione commerciale, è possibile considerare il linguaggio di modellazione GAMS , che include numerosi solutori di ottimizzazione non lineari. Di particolare menzione sono le interfacce con i risolutori CONOPT, SNOPT e BARON. (CONOPT e SNOPT sono risolutori convessi). Una soluzione kludgey che ho usato in passato è usare i binding del linguaggio Fortran (o Matlab) su GAMS per scrivere un file GAMS e chiamare GAMS da Fortran (o Matlab) per calcolare il soluzione di un problema di ottimizzazione. GAMS ha i collegamenti al linguaggio Python e uno staff di supporto molto reattivo pronto ad aiutare in caso di problemi. (Dichiarazione di non responsabilità: non ho alcuna affiliazione con GAMS, ma il mio laboratorio possiede una licenza GAMS.) I risolutori commerciali non dovrebbero essere peggiori difmincon; in effetti, sarei sorpreso se non fossero molto meglio. Se i tuoi problemi sono sufficientemente piccoli, potresti non dover acquistare una licenza GAMS e le licenze per i risolutori, perché una copia di valutazione di GAMS potrebbe essere scaricata dal loro sito web. Altrimenti, probabilmente vorrai decidere quali solutori acquistare insieme a una licenza GAMS. Vale la pena notare che BARON richiede un risolutore di programmazione lineare a numeri misti e che le licenze per i due migliori solutori di programmazione lineare a numeri misti CPLEX e GUROBI sono gratuite per gli accademici, quindi potresti essere in grado di cavartela semplicemente acquistando le interfacce GAMS rispetto alle interfacce e alle licenze del risolutore, che possono farti risparmiare parecchi soldi.

Questo punto merita di essere ripetuto: per qualsiasi risolutore deterministico di ottimizzazione non convessa che ho menzionato sopra, devi essere in grado di formulare il modello come un insieme esplicito di equazioni. Altrimenti, gli algoritmi di ottimizzazione non convessa non funzioneranno, perché tutti si basano sull'analisi simbolica per costruire rilassamenti convessi per algoritmi di tipo branch-and-bound.

AGGIORNAMENTO: Un pensiero che all'inizio non mi era venuto in mente era che potevi anche chiamare Toolkit for Advanced Optimization ( TAO ) e PETSc usando tao4py e petsc4py , che avrebbero il potenziale vantaggio aggiuntivo di una più facile parallelizzazione e di sfruttare la familiarità con PETSc e gli strumenti ACTS .

AGGIORNAMENTO N. 2: in base alle informazioni aggiuntive menzionate, i metodi di programmazione sequenziale quadratica (SQP) saranno la soluzione migliore. I metodi SQP sono generalmente considerati più robusti rispetto ai metodi a punti interni, ma presentano lo svantaggio di richiedere solide soluzioni lineari. Dato che ti preoccupi più della robustezza che della velocità, SQP sarà la tua scommessa migliore. Non riesco a trovare un buon risolutore SQP là fuori scritto in Python (e apparentemente, nemmeno Sven Leyffer ad Argonne in questo rapporto tecnico ). Immagino che gli algoritmi implementati in pacchetti come SciPy e OpenOpt abbiano lo scheletro di base di alcuni algoritmi SQP implementati, ma senza l'euristica specializzata che i codici più avanzati usano per superare i problemi di convergenza. Puoi provare NLopt, scritto da Steven Johnson al MIT. Non ho grandi speranze perché non ha alcuna reputazione che io conosca, ma Steven Johnson è un ragazzo brillante che scrive un buon software (dopo tutto, ha co-scritto FFTW). Implementa una versione di SQP; se è un buon software, fammi sapere.

Speravo che TAO avrebbe avuto qualcosa di simile a un risolutore di ottimizzazione vincolato, ma non è così. Potresti certamente usare ciò che hanno per costruirne uno; hanno molti componenti lì. Come hai sottolineato, tuttavia, sarebbe molto più lavoro per te farlo, e se stai andando a quel tipo di problemi, potresti anche essere uno sviluppatore TAO.

Con queste informazioni aggiuntive, è più probabile che tu ottenga risultati migliori chiamando GAMS da Python (se è un'opzione) o provando a rattoppare l'interfaccia IPOPT Python. Poiché IPOPT utilizza un metodo di punti interni, non sarà così robusto, ma forse l'implementazione di Andreas di un metodo di punti interni è notevolmente migliore dell'implementazione di SQP di Matlab, nel qual caso, potresti non sacrificare affatto la robustezza. Dovresti eseguire alcuni casi studio per saperlo con certezza.

Sei già consapevole del trucco per riformulare i vincoli di disuguaglianza razionale come vincoli di disuguaglianza polinomiale (è nel tuo libro); il motivo per cui ciò aiuterebbe BARON e alcuni altri risolutori non convessi è che può utilizzare l'analisi dei termini per generare ulteriori disuguaglianze valide che può utilizzare come tagli per migliorare e accelerare la convergenza del risolutore.

Escludendo i collegamenti GAMS Python e l'interfaccia Python a IPOPT, la risposta è no, non esistono ancora solutori di programmazione non lineari di alta qualità per Python. Forse @Dominique lo cambierà con NLPy.

AGGIORNAMENTO N. 3: Altre pugnalate selvagge alla ricerca di un solutore basato su Python hanno prodotto PyGMO , che è un insieme di collegamenti Python a PaGMO, un solutore di ottimizzazione multiobiettivo globale basato su C ++. Sebbene sia stato creato per l'ottimizzazione multibiettiva, può anche essere utilizzato per la programmazione non lineare a singolo obiettivo e ha interfacce Python con IPOPT e SNOPT, tra gli altri risolutori. È stato sviluppato all'interno dell'Agenzia spaziale europea , quindi si spera che ci sia una comunità dietro. È stato anche rilasciato relativamente di recente (24 novembre 2011).

Aggiornamento: vedi il nuovo pacchetto GEKKO che abbiamo appena rilasciato.

APM Python è un toolbox di ottimizzazione gratuito che ha interfacce per APOPT, BPOPT, IPOPT e altri solutori. Fornisce le prime informazioni (giacobino) e la seconda (assia) ai solutori e fornisce un'interfaccia web opzionale per visualizzare i risultati. Il client APM Python è installato con pip:

 pip install APMonitor

Può anche essere installato in uno script Python con:

try:
    from APMonitor.apm import *
except:
    # Automatically install APMonitor
    import pip
    pip.main(['install','APMonitor'])
    from APMonitor.apm import *

Abbiamo effettuato un paio di test di benchmark e abbiamo scoperto che la combinazione di APOPT (metodo del set attivo) e IPOPT (metodo del punto interno) può risolvere una grande percentuale di problemi di benchmark. Esistono numerosi problemi di esempio inclusi nel file zip di download. Quello che probabilmente vorrai iniziare è il problema di Hock Schittkowski # 71. È l'esempio più semplice e dimostra come risolvere i problemi di ottimizzazione vincolata.

C'è un'interfaccia del browser e un'API per Python / MATLAB. L'API per Python è un singolo script (apm.py) disponibile per il download dalla homepage di apmonitor.com. Una volta che lo script viene caricato in un codice Python, offre la possibilità di risolvere problemi di:

• Equazioni non lineari
• Programmazione non lineare intera mista
• Equazioni differenziali e algebriche
• Adattamento del modello dei minimi quadrati
• Stima dell'orizzonte mobile
• Controllo predittivo del modello non lineare
• eccetera.

Per il nuovo utente, il software APM Python ha un forum di Google Gruppi in cui un utente può pubblicare domande. Ci sono webinar che mostrano problemi di ottimizzazione nella ricerca operativa e nell'ingegneria.

Di seguito è riportato un esempio di un problema di ottimizzazione (hs71.apm).

Model
  Variables
    x[1] = 1, >=1, <=5
    x[2] = 5, >=1, <=5
    x[3] = 5, >=1, <=5
    x[4] = 1, >=1, <=5
  End Variables

  Equations
    x[1] * x[2] * x[3] * x[4] > 25
    x[1]^2 + x[2]^2 + x[3]^2 + x[4]^2 = 40

    minimize  x[1] * x[4] * (x[1]+x[2]+x[3]) + x[3]
  End Equations
End Model

Il problema di ottimizzazione viene risolto con il seguente script Python:

from APMonitor.apm import *
server = 'http://byu.apmonitor.com'

# Application name
app = 'eqn'

# Clear previous application
apm(server,app,'clear all')

# Load model file
apm_load(server,app,'hs71.apm')

# Option to select solver (1=APOPT, 2=BPOPT, 3=IPOPT)
apm_option(server,app,'nlc.solver',3)

# Solve on APM server
solver_output = apm(server,app,'solve')

# Display solver output
print(solver_output)

# Retrieve results
results = apm_sol(server,app)

# Display results
print('--- Results of the Optimization Problem ---')
print(results)

# Display Results in Web Viewer 
url = apm_var(server,app)
print("Opened Web Viewer: " + url)

APM Python è un servizio web gratuito per l'ottimizzazione. I problemi di ottimizzazione vengono risolti su server remoti e i risultati vengono restituiti allo script Python locale. Un server locale APMonitor è inoltre disponibile per il download, pertanto non è necessaria una connessione Internet ( Download server ). Di recente abbiamo aggiunto il supporto per l'elaborazione parallela sia per MATLAB che per Python. Il modulo Python è compatibile con Python 2.7 o Python 3+.

Sebbene questo non risponda interamente alla tua domanda, autore un pacchetto Python per la programmazione non lineare chiamato NLPy. La versione più recente può essere recuperata da https://github.com/dpo/nlpy

Devo sottolineare che NLPy è di livello di ricerca e che i solutori inclusi non sono affatto robusti come codici più stagionati come IPOPT. Inoltre, attualmente richiedono che vengano forniti i giacobini. Detto questo, il punto di NLPy è fornire gli strumenti necessari ai ricercatori per assemblare solutori personalizzati, se necessario. Ad ogni modo, sarò interessato a sentire i tuoi commenti offline se lo provi. È inoltre possibile trovare utili i pacchetti correlati https://github.com/dpo/pykrylov e https://github.com/dpo/pyorder . Attualmente, la documentazione di NLPy è decisamente carente. Gli altri due dovrebbero essere ragionevoli.

pyomo è un ambiente di modellazione completo simile a GAMS / AMPL per l'ottimizzazione in python. È estremamente potente, ha interfacce per tutti i solutori che sono supportati da AMPL e genera automaticamente Jacobiani ecc. Tuttavia, a causa della sua esecuzione in un "ambiente virtuale Python", potrebbe non essere banale collegarlo al codice esistente.

Di recente abbiamo rilasciato (2018) il pacchetto GEKKO Pythonper la programmazione non lineare con solutori come IPOPT, APOPT, BPOPT, MINOS e SNOPT con metodi attivi di set e punti interni. Uno dei problemi con l'utilizzo di questi solutori è che normalmente è necessario fornire almeno i primi derivati ​​e facoltativamente i secondi derivati. Esistono diversi bei linguaggi di modellazione che possono farlo per te, come menzionato con altre risposte. GEKKO compila le equazioni in codice byte in modo che sia come hai scritto il modello in Fortran o C ++ in termini di velocità. La differenziazione automatica fornisce il 1o e il 2o derivato in forma sparsa ai solutori a gradiente. Abbiamo progettato GEKKO per problemi di controllo ottimali, ma può anche risolvere problemi simili a fmincon. Di seguito è riportato un rapido esempio di un problema di programmazione non lineare con vincoli di uguaglianza e disuguaglianza. Prima tu'

pip install gekko

Il problema n. 71 di Hock Schittkowski è mostrato di seguito come esempio di funzione oggettiva, vincolo di disuguaglianza, vincolo di uguaglianza e quattro variabili con limiti superiore e inferiore.

from gekko import GEKKO
m = GEKKO() # Initialize gekko
# Initialize variables
x1 = m.Var(value=1,lb=1,ub=5)
x2 = m.Var(value=5,lb=1,ub=5)
x3 = m.Var(value=5,lb=1,ub=5)
x4 = m.Var(value=1,lb=1,ub=5)
# Equations
m.Equation(x1*x2*x3*x4>=25)
m.Equation(x1**2+x2**2+x3**2+x4**2==40)
m.Obj(x1*x4*(x1+x2+x3)+x3) # Objective
m.options.IMODE = 3 # Steady state optimization
m.solve() # Solve
print('Results')
print('x1: ' + str(x1.value))
print('x2: ' + str(x2.value))
print('x3: ' + str(x3.value))
print('x4: ' + str(x4.value))    

GEKKO funziona su tutte le piattaforme (Windows, MacOS, Linux, processori ARM) e con Python 2.7 e 3+. Un'opzione completamente locale è disponibile senza una connessione Internet impostando l'opzione "remote = False". L'opzione locale è attualmente disponibile solo per Windows e stiamo lavorando su altre versioni come processori Linux, MacOS, ARM da eseguire localmente senza una connessione Internet. La versione locale include solo solutori gratuiti che non richiedono una licenza. Per impostazione predefinita, il problema viene inviato a un server pubblico in cui la soluzione viene calcolata e restituita a Python.

Sebbene questa domanda riguardi specificamente la risoluzione di programmi non lineari in Python, metterò in evidenza anche alcuni altri tipi di problemi che GEKKO può risolvere e alcune risorse per l'ottimizzazione dell'apprendimento. GEKKO risolve anche equazioni algebriche a numero intero e differenziale e ha diversi oggetti pre-programmati per controlli avanzati (simili a DMC, RMPCT, ecc.). Le modalità operative comprendono la riconciliazione dei dati, l'ottimizzazione in tempo reale, la simulazione dinamica e il controllo predittivo non lineare.

Insegno due corsi di ottimizzazione (ottimizzazione del design e ottimizzazione dinamica ) e ho pubblicato il materiale del corso online. Il corso di ottimizzazione dinamica è offerto ogni anno a partire da gennaio e utilizziamo il pacchetto GEKKO Python (e MATLAB) per il corso. GEKKO è un'estensione di APMonitor Optimization Suite ma ha integrato la modellazione e la visualizzazione della soluzione direttamente in Python. I riferimenti APMonitor e GEKKO forniscono un esempio dei tipi di applicazioni che possono essere risolti con questo pacchetto. GEKKO è sviluppato sotto la National Science Foundation Research Grant # 1547110 .

Che dire di scipy.fmin_slsqp?

http://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.fmin_slsqp.html

PyGMO contiene diversi solutori, fornendo loro la stessa interfaccia. IPOPT e scipy slsqp sono inclusi nel caso in cui si compili il codice e si scarichi / installi il codice di terze parti in modo indipendente.

Come bonus, l'uso parallelo del solutore è reso molto semplice (multistart) tramite la classe arcipelago!

C'è cvxmod , un wrapper Python attorno al software di ottimizzazione convessa di Stephen Boyd. Fa parte del pacchetto Sage .

fmincon ora può essere utilizzato da Python tramite OpenOpt framework, opzionalmente con differenziazione automatica densa / sparsa di FuncDesigner http://openopt.org/fmincon

$\to$ $\to$

Viene bacino saltellando via SciPy sufficiente per le vostre esigenze? Se restituisce un minimo locale e non un minimo globale, è possibile modificare il numero di iterazioni e / o applicare limiti.

Che ne dici di CMA-ES? Ha collegamenti Python ed è adatto a problemi di ottimizzazione non lineari e non lineari e l'ho usato un po ': https://www.lri.fr/~hansen/cmaesintro.html

Installazione tramite pip:

pip install cma

Ecco alcuni esempi di codice dal loro sito Web:

import cma
help(cma)  # "this" help message, use cma? in ipython
help(cma.fmin)
help(cma.CMAEvolutionStrategy)
help(cma.CMAOptions)
cma.CMAOptions('tol')  # display 'tolerance' termination options
cma.CMAOptions('verb') # display verbosity options
res = cma.fmin(cma.Fcts.tablet, 15 * [1], 1)
res[0]  # best evaluated solution
res[5]  # mean solution, presumably better with noise

Dato che MATLAB ha un compilatore JIT mentre CPython non lo ha ancora (almeno, fino a quando pypy non avrà il pieno supporto numpy). Sembra che tu voglia un risolutore gratuito che superi le prestazioni prodotte commercialmente fmincon. Non è troppo?

IIRC tra i solutori di NLP commerciali, fino ad ora solo snopt ha fornito un'API Python (anche se è piuttosto brutta).

Quali solutori di OpenOpt hai provato? Quante variabili e vincoli hai nel tuo compito non convesso?

È possibile provare IPOPT tramite l'API OpenOpt / Funcdesigner senza installazione sul server OpenOpt Sage (prestare attenzione al "passaggio da Sage a Python").

$10^{300}(x-0.1)^2 + 10^{-300}(y-0.2)^2$$(x,y) = (1,1)$

per problemi globali potresti essere interessato a http://openopt.org/interalg e altri solutori globali openopt (http://openopt.org/GLP) per l'ottimizzazione locale openopt offre anche una varietà di solutori: http://openopt.org / NLP

È bene menzionare qui che il solutore di Google Ceres è in realtà un potentissimo ottimizzatore non lineare, utilizzato in molti progetti.

C'è anche un wrapper Python disponibile qui: https://github.com/rll/cyres

KNITRO ha interfacce Python e MATLAB, tra gli altri. Pensalo come un sostituto di FMINCON, ma molto più performante e più costoso. https://www.artelys.com/en/optimization-tools/knitro#doc-tab .

Sono un utente di KNITRO, ma non sono altrimenti affiliato al prodotto.