Risolvere l'equazione di Hamilton-Jacobi-Bellman; necessario e sufficiente per l'ottimalità?

Considera la seguente equazione differenziale dove è lo stato e la variabile di controllo. La soluzione è data da dove è lo stato iniziale dato.

\begin{aligned} \dot{x} (t) = f (x (t), u (t)) \end{aligned}

$\begin{align} \dot x(t)=f(x(t),u(t)) \end{align}$

x

$x$

u

$u$

\begin{aligned} x (t) = x_{0} + \int_{0}^{t} f (x (s), u (s)) d s . \end{aligned}

$\begin{align} x(t)=x_0 + \int^t_0f(x(s),u(s))ds. \end{align}$

x_{0} := x (0)

$x_0:=x(0)$

Ora considera il seguente programma

\begin{aligned} V (x_{0}) := max_{u} \int_{0}^{\infty} e^{- ρ t} F (x (t), u (t)) d t \\ s . t . & \dot{x} (t) = f (x (t), u (t)) \\ x (0) = x_{0} \end{aligned}

$\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align}$ dove

ρ > 0

$\rho > 0$ indica la preferenza temporale,

V (\cdot)

$V(\cdot)$ è il valore e

F (\cdot)

$F(\cdot)$ una funzione oggettiva. Un'applicazione economica classica è il modello Ramsey-Cass-Koopmans di crescita ottimale. L'equazione Hamilton-Jacobi-Bellman è data da

\begin{aligned} ρ V (x) = max_{u} [F (x, u) + V^{'} (x) f (x, u)], \forall t \in [0, \infty) . \end{aligned}

$\begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall t\in[0,\infty). \end{align}$

Dire che ho risolto il HJB per . Il controllo ottimale è quindi dato da Otterrò traiettorie ottimali per lo stato e il controllo . $V$

\begin{aligned} u^{*} = \arg max_{u} [F (x, u) + V^{'} (x) f (x, u)] . \end{aligned}

$\begin{align} u^*=\arg\max_u [F(x,u) + V'(x)f(x,u)]. \end{align}$

{(x^{*} (t), u^{*} (t)) : t \in [0, \infty)}

$\{(x^*(t),u^*(t)):t\in[0,\infty)\}$

L' articolo della wiki dice

... ma quando risolto su tutto lo spazio degli stati, l'equazione di HJB è una condizione necessaria e sufficiente per un ottimale.

In Bertsekas (2005) Programmazione dinamica e controllo ottimale , Vol 1, 3a ed., Nella Proposizione 3.2.1 afferma che la soluzione per è la funzione costo-and-go ottimale e che l' associato è ottimale. Tuttavia, lo dichiara esplicitamente come teorema di sufficienza. $V$ $u^*$

In realtà, voglio solo assicurarmi che se ho risolto l'HJB e recuperato le traiettorie di stato e controllo associate, non devo preoccuparmi di ulteriori condizioni di ottimalità.

Soluzione

Ho tentato

Penso di essere stato in grado di derivare le condizioni necessarie dal principio massimo dall'equazione HJB stessa.

Definisci l'hamiltoniano

\begin{aligned} H (x, u, V^{'} (x)) := F (x, u) + V^{'} (x) f (x, u) \end{aligned}

$\begin{align} H(x,u,V'(x)) := F(x,u) + V'(x)f(x,u) \end{align}$

allora abbiamo

\begin{aligned} ρ V (x) = max_{u} H (x, u, V^{'} (x)) \end{aligned}

$\begin{align} \rho V(x)=\max_u H(x,u,V'(x)) \end{align}$

che è

\begin{aligned} ρ V (x) = H (x, u^{*}, V^{'} (x)) . \end{aligned}

$\begin{align} \rho V(x)= H(x,u^*,V'(x)). \end{align}$

Definire una funzione arbitraria con . Ora correggi $q:[0,\infty)\to\mathbb{R}$ $q(0)=\lim_{t\to\infty} q(t)=0$

\begin{aligned} x = x^{*} + ε q \end{aligned}

$\begin{align} x = x^*+\varepsilon q \end{align}$

dove è un parametro. Inserisci il termine nell'hamiltoniano massimizzato che indica $\varepsilon\in\mathbb{R}$

\begin{aligned} ρ V (x^{*} + ε q) = H (x^{*} + ε q, u^{*}, V^{'} (x^{*} + ε q)) . \end{aligned}

$\begin{align} \rho V(x^*+\varepsilon q)= H(x^*+\varepsilon q,u^*,V'(x^*+\varepsilon q)). \end{align}$

A abbiamo la soluzione ottimale. Quindi differenzia su per ottenere una condizione del primo ordine $\varepsilon = 0$ $\varepsilon$

\begin{aligned} ρ V^{'} q = H_{x} q + H_{V^{'}} V^{″} q . \end{aligned}

$\begin{align} \rho V'q = H_x q + H_{V'}V''q. \end{align}$

Ora definisci la variabile aggiunta con

\begin{aligned} λ = V^{'} (x) . \end{aligned}

$\begin{align} \lambda = V'(x). \end{align}$

Differenzia nel tempo

\begin{aligned} \dot{λ} = V^{″} \dot{x} . \end{aligned}

$\begin{align} \dot \lambda = V''\dot x. \end{align}$

e nota che

\begin{aligned} H_{V^{'}} = f (x, u) = \dot{x} . \end{aligned}

$\begin{align} H_{V'} = f(x,u) = \dot x. \end{align}$

Collega tutto al foc che dà

\begin{aligned} ρ λ = H_{x} + \dot{λ} . \end{aligned}

$\begin{align} \rho \lambda = H_x + \dot \lambda. \end{align}$

È praticamente. Quindi risolvere l'HJB è davvero necessario e sufficiente (omesso qui) per l'ottimalità. Qualcuno dovrebbe aggiungerlo al wiki. Potrebbe risparmiare tempo per le persone che pensano a tali problemi (non sarà molto credo).

Tuttavia, manca la condizione di trasversalità .

\begin{aligned} lim_{t \to \infty} e^{- ρ t} λ (t) = 0 \end{aligned}

$\begin{align} \lim_{t\to\infty} e^{-\rho t}\lambda(t) = 0 \end{align}$

II tentativo

Definisci il payoff funzionale

\begin{aligned} J (u) := \int_{0}^{\infty} e^{- ρ t} F (x, u) d t \end{aligned}

$\begin{align} J(u):=\int^\infty_0 e^{-\rho t}F(x,u)dt \end{align}$

Nota che per definizione di . Aggiungi il termine neutro alla funzione di payoff

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ [f (x, u) - \dot{x}] d t = 0 \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda[f(x,u) - \dot x]dt} = 0 \end{align}$

\dot{x} = f (x, u)

$\dot x = f(x,u)$

\begin{aligned} J (u) & = \int_{0}^{\infty} e^{- ρ t} [F (x, u) + λ f (x, u)] d t - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \\ = \int_{0}^{\infty} e^{- ρ t} H (x, u, λ) - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \end{aligned}

$\begin{align} J(u)&=\int^\infty_0 e^{-\rho t}[F(x,u)+\lambda f(x,u)]dt - \int^\infty_0{e^{-\rho t}\lambda\dot xdt}\\ &=\int^\infty_0 e^{-\rho t}H(x,u,\lambda) - \int^\infty_0{e^{-\rho t}\lambda\dot xdt} \end{align}$

L'integrazione per parti del termine corretto con rhs produce

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t = [e^{- ρ t} λ (t) x (t)]_{0}^{\infty} - \int_{0}^{\infty} e^{- ρ t} x (\dot{λ} - ρ λ) d t \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda\dot xdt} = [e^{-\rho t}\lambda(t)x(t)]^\infty_0 - \int^\infty_0{e^{-\rho t}x(\dot \lambda-\rho\lambda)dt} \end{align}$

Sostituisci quel termine

\begin{aligned} J (u) = \int_{0}^{\infty} e^{- ρ t} [H (x, u, λ) + x (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) x (t) + λ (0) x (0) \end{aligned}

$\begin{align} J(u)=\int^\infty_0 e^{-\rho t}[H(x,u,\lambda) + x(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)x(t) + \lambda(0)x(0) \end{align}$

Definisci

\begin{aligned} x & = x^{*} + ε q \\ u & = u^{*} + ε p \end{aligned}

$\begin{align} x &= x^*+\varepsilon q\\ u &= u^*+\varepsilon p \end{align}$

che dà

\begin{aligned} J (ε) = \int_{0}^{\infty} e^{- ρ t} [H (x^{*} + ε q, u^{*} + ε p, λ) + (x^{*} + ε q) (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) [x^{*} (t) + ε q (t)] + λ (0) x (0) \end{aligned}

$\begin{align} J(\varepsilon)=\int^\infty_0 e^{-\rho t}[H(x^*+\varepsilon q,u^*+\varepsilon p,\lambda) + (x^*+\varepsilon q)(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)[x^*(t)+\varepsilon q(t)] + \lambda(0)x(0) \end{align}$

FOC per il massimo $J_\varepsilon = 0$

\begin{aligned} J_{ε} = \int_{0}^{\infty} e^{- ρ t} [H_{x} q + H_{u} p + q (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) q (t) = 0 \end{aligned}

$\begin{align} J_\varepsilon=\int^\infty_0 e^{-\rho t}[H_x q + H_u p + q(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)q(t) = 0 \end{align}$

Poiché e non sono vincolati, dobbiamo avere $q$ $p$

\begin{aligned} H_{u} & = 0 \\ H_{x} & = ρ λ - \dot{λ} \\ lim_{t \to \infty} e^{- ρ t} λ (t) & = 0 \end{aligned}

$\begin{align} H_u &= 0\\ H_x &= \rho\lambda - \dot \lambda\\ \lim_{t\to\infty}e^{-\rho t}\lambda(t) &= 0 \end{align}$

mathematical-economics reference-request dynamic-programming

— senza tracce
fonte

hai già identificato le condizioni necessarie e sufficienti?

— Jamzy,

In quale contesto economico emerge?

— Stan Shunpike,

Modello Ramsey per esempio cer.ethz.ch/resec/people/tsteger/Ramsey_Model.pdf

— clueless

Penso che questo thread sia più adatto a math.stackexchange.com poiché non è realmente collegato a econ. Una mod può trasferirlo.

— clueless

Non sono sicuro di ciò che viene chiesto qui: se per Bertsekas la risoluzione di HJB è sufficiente , non devi "preoccuparti di ulteriori condizioni di ottimalità". Il "solo sufficiente" contro "necessario e sufficiente" sorgerebbe nel caso in cui HJB non fosse risolto, nel qual caso si direbbe "questo non significa che non vi sia soluzione". A proposito, i tuoi tentativi I e II sono contenuti preziosi qui: il primo mostra un collegamento tra HJB e Optimal Control, il secondo mostra come si possono ricavare i FOC di controllo ottimale.

— Alecos Papadopoulos,

(Questo forse dovrebbe essere considerato un commento.)

Se hai risolto l'equazione di HJB, è sufficiente ottenere la soluzione ottimale. Quindi non "devi preoccuparti di altre condizioni di ottimalità", che credo sembrano rispondere alla tua domanda.

Sembra che tu sia preoccupato per il componente "necessario" del teorema. Il lato della necessità dell'istruzione è il seguente: se esiste una soluzione ottimale, deve esistere una soluzione all'equazione di HJB.

Non ho lavorato con questo particolare problema, ma la risposta in generale è che non ci aspettiamo di avere una funzione differenziabile V. Pertanto non abbiamo una soluzione all'equazione come è affermato. Invece, dobbiamo esaminare i derivati generalizzati e convertire l'equazione di HJB in una disuguaglianza. In tal caso, potresti ottenere una "soluzione di viscosità". Se estendiamo l'uso di derivati generalizzati, potrebbe essere possibile dimostrare che esiste sempre una soluzione del genere. Dando un'occhiata alle tue prove, non ti aiuteranno nelle condizioni di necessità, dato che stai assumendo la differenziabilità.

— Brian Romanchuk
fonte