Perché la non convessità dovrebbe essere un problema di ottimizzazione?

Sono rimasto molto sorpreso quando ho iniziato a leggere qualcosa sull'ottimizzazione non convessa in generale e ho visto dichiarazioni come questa:

Molti problemi pratici di importanza sono non convessi e la maggior parte dei problemi non convessi sono difficili (se non impossibili) da risolvere esattamente in tempi ragionevoli. ( fonte )

o

In generale è NP-difficile trovare un minimo locale e molti algoritmi potrebbero rimanere bloccati in un punto di sella. ( fonte )

Sto facendo ogni giorno una sorta di ottimizzazione non convessa, ovvero il rilassamento della geometria molecolare. Non l'ho mai considerato qualcosa di complicato, lento e suscettibile di rimanere bloccato. In questo contesto, abbiamo superfici non convesse chiaramente multidimensionali (> 1000 gradi di libertà). Usiamo principalmente tecniche del primo ordine derivate dalla discesa più ripida e dall'estinzione dinamica come il FUOCO , che convergono in poche centinaia di passi al minimo locale (inferiore al numero di DOF). Mi aspetto che con l'aggiunta del rumore stocastico debba essere robusto da morire. (L'ottimizzazione globale è una storia diversa)

In qualche modo non riesco a immaginare come dovrebbe essere la potenziale superficie energetica , per rendere questi metodi di ottimizzazione bloccati o lentamente convergenti. Ad esempio una PES molto patologica (ma non dovuta alla non convessità) è questa spirale , ma non è un problema così grande. Potete fornire un esempio illustrativo di SPI patologici non convessi?

Quindi non voglio discutere con le citazioni sopra. Piuttosto, ho la sensazione che mi manchi qualcosa qui. Forse il contesto.

L'incomprensione sta in ciò che costituisce "risolvere" un problema di ottimizzazione, ad esempio . Per i matematici, il problema è considerato "risolto" solo dopo che abbiamo:$\arg\min f(x)$

1. Una soluzione candidata: una scelta particolare della variabile di decisione e il corrispondente valore obiettivo $x^\star$ , AND$f(x^\star)$
2. Una prova di ottimalità: una prova matematica che la scelta di è globalmente ottimale, ovvero che f ( x ) ≥ f ( x $x^\star$ vale per ogni scelta di x .$f(x) \ge f(x^\star)$$x$

Quando è convesso, entrambi gli ingredienti sono prontamente ottenuti. La discesa del gradiente individua una soluzione candidata x ⋆ che fa svanire il gradiente ∇ f ( x ⋆ ) = 0 . La prova dell'ottimalità deriva da un semplice fatto insegnato in MATH101 che, se f è convesso, e il suo gradiente ∇ f scompare in x $f$$x^\star$$\nabla f(x^\star)=0$$f$$\nabla f$$x^\star$ , allora è una soluzione globale.$x^\star$

Quando è convesso, una soluzione candidata può essere ancora facile da trovare, ma la prova dell'ottimalità diventa estremamente difficile. Ad esempio, possiamo eseguire la discesa gradiente e trovare un punto ∇ f ( x ⋆ ) = 0 . Ma quando f non è convesso, la condizione ∇ f ( x ) = 0 è necessaria ma non è più sufficiente per l'ottimalità globale. In effetti, non è nemmeno sufficiente per l' ottimalità locale , cioè non possiamo nemmeno garantire che x $f$$\nabla f(x^\star)=0$$f$$\nabla f(x)=0$$x^\star$è un minimo locale basato esclusivamente sulle sue informazioni sul gradiente. Un approccio consiste nell'enumerare tutti i punti che soddisfano , e questo può essere un compito formidabile anche su una o due dimensioni.$\nabla f(x)=0$

Quando i matematici affermano che la maggior parte dei problemi è impossibile da risolvere, stanno davvero dicendo che è impossibile costruire la prova dell'ottimalità (anche locale) . Ma nel mondo reale, siamo spesso interessati solo al calcolo di una soluzione "abbastanza buona", e questo può essere trovato in un numero infinito di modi. Per molti problemi altamente non convessi, la nostra intuizione ci dice che le soluzioni "abbastanza buone" sono effettivamente ottimali a livello globale, anche se non siamo completamente in grado di dimostrarlo!

Un esempio di un problematico problema di bassa dimensione potrebbe essere:

Dato che hai raggiunto un minimo locale, come puoi essere sicuro che sia qualcosa di simile al minimo globale? Come fai a sapere se il tuo risultato è una soluzione ottimale unica, dato che è globalmente ottimale? Come puoi creare un algoritmo robusto per tutte le colline e le valli in modo che non rimanga bloccato da qualche parte?

Un esempio come questo è dove le cose possono diventare difficili. Ovviamente, non tutti i problemi sono così, ma alcuni lo sono. Quel che è peggio è che, in un ambiente industriale, la funzione di costo può richiedere molto tempo per il calcolo E avere una superficie problematica come quella sopra.

Esempio di problema reale

Un esempio che potrei affrontare sul lavoro è fare un'ottimizzazione per un algoritmo di guida missilistica che potrebbe essere robusto in molte condizioni di lancio. Usando il nostro cluster, ho potuto ottenere le misurazioni delle prestazioni di cui ho bisogno in circa 10 minuti per una singola condizione. Ora per giudicare adeguatamente la robustezza, vorremmo almeno un campione di condizioni su cui giudicare. Supponiamo quindi che vengano eseguite sei condizioni, che richiede un'ora per valutare una funzione di costo.

La dinamica dei missili non lineari, la dinamica atmosferica, i processi a tempo discreto, ecc. Provocano una reazione piuttosto non lineare ai cambiamenti dell'algoritmo di guida, rendendo difficile l'ottimizzazione dell'ottimizzazione. Il fatto che questa funzione di costo sia non convessa rende il tempo necessario per valutare un grosso problema. Un esempio come questo è dove ci sforziamo di ottenere il meglio che possiamo nel tempo che ci viene dato.

Il problema è quello dei punti di sella, discussi nel post che hai collegato. Dall'estratto di uno degli articoli collegati :

Tuttavia, in generale è difficile garantire che tali algoritmi convergano anche al minimo locale, a causa dell'esistenza di strutture a punti di sella complicate in dimensioni elevate. Molte funzioni hanno punti di sella degenerati in modo tale che i derivati ​​del primo e del secondo ordine non possano distinguerli con optima locale . In questo documento usiamo derivati ​​di ordine superiore per sfuggire a questi punti di sella: progettiamo il primo algoritmo efficiente garantito per convergere in un ottimale locale di terzo ordine (mentre le tecniche esistenti sono al massimo al secondo ordine). Mostriamo anche che è NP-difficile estenderlo ulteriormente alla ricerca di optima locali del quarto ordine.

Fondamentalmente puoi avere funzioni in cui hai punti di sella che sono indistinguibili dai minimi locali quando guardi il 1o, 2o e 3o derivato. È possibile risolvere questo problema andando a un ottimizzatore di ordine superiore, ma mostrano che definire un minimo locale del 4 ° ordine è NP difficile.

$x^2y+y^2$

Potresti usare una serie di euristiche per sfuggire a tali punti, che possono funzionare per molti (la maggior parte?) Esempi del mondo reale, ma non si può dimostrare che funzionano sempre.
Nel post sul blog che hai collegato discutono anche le condizioni in cui puoi sfuggire a tali punti di sella in tempi polinomiali.