Significato dei metodi di ricerca e metodi di ottimizzazione

Mi chiedevo quali sono le differenze e le relazioni tra "metodi di ricerca" e "metodi di ottimizzazione"?

Soprattutto quando si risolve un problema di ottimizzazione? Sottolineo il contesto della risoluzione dei problemi di ottimizzazione, perché immagino che i metodi di ricerca non siano solo per risolvere problemi di ottimizzazione, ma anche problemi di non ottimizzazione?

La mia confusione deriva dai seguenti fatti:

Esistono alcuni metodi di ottimizzazione, denominati "ricerca xxx", come la ricerca locale , la ricerca stocastica , .... Cosa significa in realtà "ricerca"? Mi chiedo se ci sono metodi di ottimizzazione che non sono "ricerca"?
Anche in questo libro Introduzione alla ricerca stocastica e all'ottimizzazione di Spall , non capisco bene la differenza tra "Cerca" e "Ottimizzazione" nel suo titolo e nel suo contenuto. Perché è necessario distinguere tra "Cerca" e "Ottimizzazione", se significano lo stesso? Oppure "Ottimizzazione" significa compiti / problemi di ottimizzazione stocastica anziché metodi di ottimizzazione, invece di "ricerca" significa i metodi per risolvere i compiti / problemi di ottimizzazione?
Inoltre, nessun pranzo libero in ricerca e ottimizzazione distingue nuovamente ricerca e ottimizzazione.

Grazie e saluti!

optimization

— Tim
fonte

Risposte:

search = tenta di trovare un punto fattibile che soddisfi tutti i vincoli (e per l'ottimizzazione un punto migliore di quello trovato finora), generalmente usando solo valori di funzione.

ricerca locale: migliorare un punto fattibile (o una distanza dalla misura di fattibilità) cercando tra punti vicini.

ricerca stocastica: ricerca utilizzando un criterio non deterministico per la scelta dei punti di prova.

Ciò è indipendente dal fatto che venga fornito un criterio di ottimizzazione. In particolare, nella ricerca "Nessun pranzo libero in ricerca e ottimizzazione" si intende la ricerca di fattibilità, mentre l'ottimizzazione si riferisce alla ricerca di ottimalità.

In senso generale, per problemi di ottimizzazione, ricerca e ottimizzazione sono equivalenti. Tuttavia, hanno connotazioni che fanno la differenza nell'uso del termine.

metodo di ottimizzazione = un metodo per risolvere un problema di ottimizzazione, spesso (ma non necessariamente) utilizzando informazioni sul gradiente (o sul subgradiente o anche sull'Assia).

Essere in grado di utilizzare i gradienti aumenta drasticamente l'efficienza dei metodi di ottimizzazione. Si usa in questo contesto (vale a dire, con gradienti conosciuti) il termine ricerca solo nella combinazione '' ricerca linea '' che significa cercare un punto migliore lungo una direzione scelta.

— Arnold Neumaier
fonte

\cup

$\cup$

(3) I metodi di ricerca in senso stretto sono tutti metauristici?

— Tim

@Tim: una ricerca per linea può o meno usare sfumature nella sua ricerca (ad es. Una ricerca per linea Wolfe ne ha bisogno). Non dovresti attribuire a queste parole un significato troppo preciso; suggeriscono qualcosa, non concetti matematici con un significato preciso. - Il metodo di Newton utilizza gradienti e iuta. - Un metodo è stocastico quando la ricerca coinvolge un generatore di numeri casuali. - la ricerca locale può essere utilizzata nel senso generale di un metodo che non garantisce la convergenza a un ottimale globale, o significa una ricerca diretta basata sull'ispezione dei quartieri locali solo dell'attuale miglior punto.

— Arnold Neumaier,

Un metaoreuristico deve contenere principi più specifici della semplice "ricerca locale" per meritare il suo nome; Non l'ho mai sentito applicare questo in generale. Ma la terminologia non è molto precisa

— Arnold Neumaier

$x^\ast$ $g(x)$ $g(x^\ast)=0$ $x^\ast$ $f(x) \rightarrow \textrm{min!}$ $f$ $g(x)=\nabla f(x)$

— Wolfgang Bangerth
fonte

g (x) = 0, f (x) \leq f_{b e s t}

$g(x)=0, f(x)\le f_{best}$

g (x)

$g(x)$