Stavo sperimentando un problema di controllo ottimale apparentemente semplice che genera un sistema di equazioni differenziali. Quando calcolo i valori dello stato stazionario del sistema ottengo risultati molto strani, credo di aver fatto qualcosa di sbagliato quando ho applicato il Principio massimo. Se sei abbastanza paziente da leggere del testo, ti sarei grato di ascoltare i tuoi suggerimenti su cosa potrebbe andare storto.

Notazione

Uso un pedice $t$ ogni volta che una variabile dipende dal tempo. Ad esempio $A_t(x_1,x_2):=A(x_1,x_2,t)$

Impostare

Immagina un'economia chiusa con una funzione di produzione lineare. La quantità di beni prodotti dipende dal livello di capitale umano $A_t$ e un po 'di dotazione ressource fisso $R$ . Così,

$Y_t := A_tR$

L'economia che immaginiamo ha un ambiente insicuro e può essere attaccata a caso con una probabilità di (esogena). Ogni volta che un Paese viene attaccato, perde parte del suo reddito. Indico la quota rimanente . La quota di entrate protette dipende dalla quantità di spese militari che il paese ha aumentato del livello di capitale umano accumulato: $p$ $q_t$

$q_t:=1-\frac{1}{\alpha A^m_t M_t}$

Suppongo Quindi maggiore è la spesa militare, maggiore è la sicurezza delle entrate correnti. Si noti che la spesa militare fa lavoro migliore nel garantire protezione a patto che . $m \in [0,1]$ $m<1$

Dato tutto questo, assumere l'economia produce 3 tipi di merce: beni di consumo , beni militari e il capitale umano . Supponiamo per semplicità che sia l'unica variabile che si accumula mentre i beni di consumo e i beni militari vengono consumati istantaneamente in ogni momento. Se uno concorda su questo, un modo per esprimere l'equazione del movimento per il capitale umano è la media ponderata del reddito che il paese ha meno la spesa per consumi, militari e deprezzamento del capitale umano: $C_t$ $M_t$ $A_t$ $A_t$

$\dot{A}_t=\underbrace{pq_tY_t}_\text{Post-war income} + \underbrace{(1-p)Y_t}_\text{No-war income} - C_t - M_t - \delta A_t$

$A_t,M_t>0$ $U'(C_t)>0, U''(C_t)<0$ $A(t=0)=A_0$

max_{C_{t}, M_{t}} \int_{0}^{\infty} U (C_{t}) e^{- ρ t} d t

$\begin{equation} \max_{C_t, M_t}\int_0^\infty U(C_t)e^{-\rho t}dt \end{equation}$

In parole: massimizzare l'utilità sull'orizzonte infinito, guidando i consumi e i militari.

Tale che: E la condizione di trasversalità:

{\dot{A}}_{t} = p (1 - \frac{1}{α A_{t}^{m} M_{t}}) A_{t} R + (1 - p) A_{t} R - C_{t} - M_{t} - δ A_{t}

$\begin{equation} \dot{A}_t=p\left(1-\frac{1}{\alpha A^m_t M_t}\right)A_tR + (1-p)A_tR - C_t - M_t - \delta A_t \end{equation}$

lim_{t - > \infty} e^{- ρ t} λ_{t} A_{t} = 0

$\begin{equation} \lim_{t->\infty} e^{-\rho t}\lambda_t A_t=0 \end{equation}$

Hamiltoniano e soluzione

Il valore attuale di Hamiltoniano è simile al seguente ( ): $\mu_t = \lambda_t e^{-\rho t}$

H^{c} = U (C_{t}) + μ_{t} (p (1 - \frac{1}{α A_{t}^{m} M_{t}}) A_{t} R + (1 - p) A_{t} R - C_{t} - M_{t} - δ A_{t})

$\begin{equation} H^c = U(C_t) + \mu_t\left(p\left(1-\frac{1}{\alpha A^m_t M_t}\right)A_tR + (1-p)A_tR - C_t - M_t - \delta A_t\right) \end{equation}$

Chiang (1992) sostiene che se l'Hamiltoniano è non lineare nelle variabili di controllo e di stato, si ottengono le condizioni di primo ordine prendendo le derivate dell'Hamiltoniano e impostandole uguali a zero.

\frac{\partial H^{c}}{\partial C_{t}} : U^{'} (C_{t}) - μ_{t} = 0

$\begin{equation} \frac{\partial H^c}{\partial C_t}: U'(C_t)-\mu_t = 0 \end{equation}$

\frac{\partial H^{c}}{\partial C_{t}} : μ_{t} (p A_{t}^{1 - m} R \frac{1}{α M_{t}^{2}} - 1) = 0

$\begin{equation} \frac{\partial H^c}{\partial C_t}: \mu_t\left(pA^{1-m}_tR\frac{1}{\alpha M^2_t}-1\right) = 0 \end{equation}$

{\dot{μ}}_{t} = ρ μ_{t} - μ_{t} (p R \frac{m - 1}{α A_{t}^{m} M_{t}} + R - δ)

$\begin{equation} \dot{\mu}_t = \rho \mu_t - \mu_t\left(pR\frac{m-1}{\alpha A^m_t M_t} + R - \delta\right) \end{equation}$

Le espressioni per e formano un sistema di equazioni differenziali. Ma interpretare \ dot {\ mu} _t è controintuitivo. Invece, di solito si differenzia il FOC per il consumo rispetto al tempo e imputo \ dot {\ mu} _t dall'equazione del moto. Dato che , si può eliminare in . Tuttavia, il sistema sarà composto da due equazioni e tre variabili , , . $\dot{\mu}_t$ $\dot{A}_t$ $U''(C)_t=\dot{\mu}_t$ $U'(C_t) = \mu_t$ $\mu_t$ $\dot{C}_t$ $\dot{C}_t, \dot{A}_t$ $A_t$ $C_t$ $M_t$

{\begin{cases} {\dot{C}}_{t} = - \frac{U^{'} (C_{t})}{U^{″} (C_{t})} (p R \frac{m - 1}{α A_{t}^{m} M_{t}} + R - δ - ρ) \\ {\dot{A}}_{t} = A_{t} R - A_{t}^{1 - m} \frac{p R}{M_{t}} - C_{t} - M_{t} - δ A_{t} \end{cases}

$\begin{equation} \begin{cases} \dot{C}_t = -\frac{U'(C_t)}{U''(C_t)}\left(pR\frac{m-1}{\alpha A^m_t M_t} + R - \delta -\rho\right) \\ \dot{A}_t = A_t R - A^{1-m}_t\frac{pR}{M_t} - C_t - M_t - \delta A_t \end{cases} \end{equation}$

Ho bisogno di un modo per esprimere in funzione di altre variabili o parametri. Quindi prendo il secondo FOC, lo a zero (respingo l'opzione perché ) e ne in funzione di : $M_t$ $\mu_t=0$ $\mu_t=U'(C_t)>0$ $M_t$ $A_t$ $M^*_t:=A^{\frac{1-m}{2}}_t\sqrt{\frac{pR}{\alpha}}$

Imputo nel sistema sopra, imposto e calcolo le espressioni per lo stato stazionario. Respingendo la banale soluzione , ottengo i seguenti valori di equilibrio: $M^*_t$ $\dot{C}_t=\dot{A}_t=0$ $C_t = 0$

Capitale umano

{\bar{A}}_{t} = {(\frac{p R}{α} \frac{(1 - m)^{2}}{(R - δ - ρ)^{2}})}^{\frac{1}{1 + m}}

$\begin{equation} \bar{A}_t = \left(\frac{pR}{\alpha}\frac{(1-m)^2}{(R - \delta -\rho)^2}\right)^{\frac{1}{1+m}} \end{equation}$

Militare

\bar{M_{t}} = {(\frac{p R}{α} \frac{(1 - m)^{2}}{(R - δ - ρ)^{2}})}^{\frac{1 - m}{2 (1 + m)}} \sqrt{\frac{p R}{α}}

$\begin{equation} \bar{M_t} = \left(\frac{pR}{\alpha}\frac{(1-m)^2}{(R - \delta -\rho)^2}\right)^{\frac{1-m}{2(1+m)}}\sqrt{\frac{p R}{\alpha}} \end{equation}$

Consumo

\begin{matrix} \bar{C_{t}} = {(\frac{p R}{α} \frac{(1 - m)^{2}}{(R - δ - ρ)^{2}})}^{\frac{1}{1 + m}} (R - δ) \\ - {(\frac{p R}{α} \frac{(1 - m)^{2}}{(R - δ - ρ)^{2}})}^{\frac{1 - m}{2 (1 + m)}} \sqrt{α p R} (1 + \frac{1}{α}) \end{matrix}

$\begin{multline} \bar{C_t} = \left(\frac{pR}{\alpha}\frac{(1-m)^2}{(R - \delta -\rho)^2}\right)^{\frac{1}{1+m}} (R - \delta) \\- \left(\frac{pR}{\alpha}\frac{(1-m)^2}{(R - \delta -\rho)^2}\right)^{\frac{1-m}{2(1+m)}} \sqrt{\alpha pR} \left(1 + \frac{1}{\alpha}\right) \end{multline}$

L'espressione per il consumo sembra goffa. Lo è davvero! Quando ho provato a calcolare i valori del consumo dati alcuni parametri più o meno ragionevoli ( , , , , ), ho ottenuto numeri negativi . Uno screenshot di Mathematica che raffigura (asse verticale) in funzione di (asse orizzontale): $p=0.052$ $m=0.21$ $\delta=0.242$ $\alpha = 2.54$ $\rho=1.48$ $C_t$ $R$ $Consumo di stato stazionario con $ p = 0,052 $, $ m = 0,21 $, $ \ delta = 0,242 $, $ \ alpha = 2,54 $, $ \ rho = 1,48 $$

Non mi aspetto che l'introduzione di diritti di proprietà insicuri cambierà il consumo dello stato stazionario in valori negativi data una funzione di produzione lineare. Sembra che abbia applicato l'algoritmo del Principio massimo in modo sbagliato ma non riesco a capire quale sia stato il mio errore. Qualcuno potrebbe indicarmi cosa è andato storto? Qualche idea? PS Sei un eroe se leggi fino alla fine :)

AGGIORNAMENTO: Come alcune delle persone qui suggerite, il Principio massimo fallisce perché applico il metodo deterministico a un modello stocastico. Questa è una preoccupazione seria. Ho deciso di verificare se il metodo funziona nel caso in cui ho impostato (implicando lo scenario di guerra infinitamente lungo per l'economia). $p=1$

Le equazioni canoniche con la specifica sembrano così:

\frac{\partial H^{c}}{\partial C_{t}} : U^{'} (C_{t}) - μ_{t} = 0

$\begin{equation} \frac{\partial H^c}{\partial C_t}: U'(C_t)-\mu_t = 0 \end{equation}$

\frac{\partial H^{c}}{\partial C_{t}} : μ_{t} (p A_{t}^{1 - m} R \frac{1}{α M_{t}^{2}} - 1) = 0

$\begin{equation} \frac{\partial H^c}{\partial C_t}: \mu_t\left(pA^{1-m}_tR\frac{1}{\alpha M^2_t}-1\right) = 0 \end{equation}$

{\dot{μ}}_{t} = ρ μ_{t} - μ_{t} (R - R \frac{1 - m}{α A_{t}^{m} M_{t}} - δ)

$\begin{equation} \dot{\mu}_t = \rho \mu_t - \mu_t\left(R - R\frac{1-m}{\alpha A^m_t M_t} - \delta\right) \end{equation}$

Ho proceduto con la soluzione come prima e ho ottenuto il seguente sistema dinamico (supponendo : $U(C_t)=\ln{C_t}$

{\begin{cases} {\dot{C}}_{t} = C_{t} (R - R \frac{1 - m}{α A_{t}^{m} M_{t}} + R - δ - ρ) \\ {\dot{A}}_{t} = A_{t} R - A_{t}^{1 - m} \frac{R}{M_{t}} - C_{t} - M_{t} - δ A_{t} \end{cases}

$\begin{equation} \begin{cases} \dot{C}_t = C_t\left(R - R\frac{1-m}{\alpha A^m_t M_t} + R - \delta -\rho\right) \\ \dot{A}_t = A_t R - A^{1-m}_t\frac{R}{M_t} - C_t - M_t - \delta A_t \end{cases} \end{equation}$

Risolvilo per lo stato stazionario. Ecco i miei valori di equilibrio per capitale umano, militare e consumo.

\bar{A} = {(\frac{(1 - m)^{2}}{(R - δ - ρ)^{2}} \frac{R}{α})}^{\frac{1}{1 + m}}

$\begin{equation} \bar{A}=\left(\frac{(1-m)^2}{(R-\delta-\rho)^2} \frac{R}{\alpha} \right)^{\frac{1}{1+m}} \end{equation}$

\bar{M} = {(\frac{R}{α})}^{1 / 2} {(\frac{(1 - m)^{2}}{(R - δ - ρ)^{2}} \frac{R}{α})}^{\frac{1 - m}{2 (1 + m)}}

$\begin{equation} \bar{M}=\left(\frac{R}{\alpha}\right)^{1/2}\left(\frac{(1-m)^2}{(R-\delta-\rho)^2} \frac{R}{\alpha} \right)^{\frac{1-m}{2(1+m)}} \end{equation}$

\bar{C} = (R - δ) {(\frac{(1 - m)^{2}}{(R - δ - ρ)^{2}} \frac{R}{α})}^{\frac{1}{1 + m}} - 2 {(\frac{R}{α})}^{1 / 2} {(\frac{(1 - m)^{2}}{(R - δ - ρ)^{2}} \frac{R}{α})}^{\frac{1 - m}{2 (1 + m)}}

$\begin{equation} \bar{C}=(R-\delta)\left(\frac{(1-m)^2}{(R-\delta-\rho)^2} \frac{R}{\alpha} \right)^{\frac{1}{1+m}}-2\left(\frac{R}{\alpha}\right)^{1/2}\left(\frac{(1-m)^2}{(R-\delta-\rho)^2} \frac{R}{\alpha}\right)^{\frac{1-m}{2(1+m)}} \end{equation}$

Ho simulato di nuovo i valori di . Ecco cosa ottengo: $C_t$

Equazioni diverse, ma immagine simile. Quindi la natura stocastica del modello non è l'unico problema. Forse mi manca qualcosa come una soluzione bang-bang qui? O forse semplicemente non esiste nel caso?

dynamic-optimization steady-state optimal-control

— Artem Kochnev
fonte

Benvenuti nel sito. Quando hai calcolato il consumo, quale valore hai assunto per ?

R

$R$

— Adam Bailey,

Grazie per un commento Ho dimenticato di dire che il grafico che vedi mostra il consumo in funzione della dotazione di risorse. . è sull'asse verticale e è sull'asse orizzontale. da 0 a

C_{t} = g (R)

$C_t = g(R)$

C

$C$

R

$R$

R

$R$

— 10.000

@ArtemKochnev come sottolinea Alecos nella sua risposta di seguito, non credo che questo possa essere formulato come un problema di controllo deterministico. La tua scelta di e induce alcuni processi di salto per i quali avrai bisogno degli strumenti della teoria del controllo stocastico. Esiste un analogo del principio di Pontryagin per il controllo stocastico, ma per arrivarci è necessario disporre di strumenti piuttosto sofisticati.

M

$M$

C

$C$

— Economista teorico

Grazie :) Penso che tu abbia ragione su questo, ma poi avrebbe dovuto scomparire dopo aver calcolato lo stato stazionario in una versione deterministica del modello ( ). Tuttavia, ho riscontrato lo stesso problema. Vedi l'aggiornamento sopra.

p = 1

$p=1$

— Artem Kochnev,

Un problema generale che vedo è che si tenta di includere l'incertezza in un framework sviluppato per una configurazione deterministica.

Quello che fai è usare il reddito atteso nell'equazione del moto per il capitale umano. Lascia che denoti la funzione indicatore per l'attacco, prendendo il valore caso di attacco e il valore caso contrario. Quindi, correttamente, $I_{a,t}$ $1$ $0$

{\dot{A}}_{t} = \underset{Post-war income}{\underset{⏟}{I_{a, t} q_{t} Y_{t}}} + \underset{No-war income}{\underset{⏟}{(1 - I_{a, t}) Y_{t}}} - C_{t} - M_{t} - δ A_{t}

$\dot{A}_t=\underbrace{I_{a,t}q_tY_t}_\text{Post-war income} + \underbrace{(1-I_{a,t})Y_t}_\text{No-war income} - C_t - M_t - \delta A_t$

e quello che stai usando nel tuo modello è . Hmm ..., non sono sicuro che sia così semplice ... Hai cercato i macchinari di Stochastic Optimal Control in tempo continuo? $\mathbb E (\dot A_t)$

A parte questo, vedo anche due valori di parametro che sono strani nella tua simulazione, tranne se c'è qualcosa che non ci dici.

1) significa deprezzamento del capitale umano del % per periodo. Qual è il tuo "periodo" qui? Concesso, questo è un tempo continuo, ma per valutare i risultati della simulazione e vedere se hanno senso, è necessario determinare una lunghezza discreta del "periodo di tempo". Un valore annuale di riferimento sarebbe , quindi il tuo corrisponde a un periodo di circa 7 anni. $\delta = 0.242$ $24.2$ $\delta = 0.04$

2) Il tasso di preferenza temporale pura è pari a ?? Come hai trovato un valore maggiore dell'unità? ... Per un periodo annuale un valore di riferimento è . Quindi, se vogliamo essere coerenti con il periodo di 7 anni implicito per il tasso di ammortamento, dovrebbe essere approssimativamente . Quindi, per essere coerente con il parametro , dovresti cambiare . $\rho=1.48$ $\rho = 0.02$ $\rho = 0.132$ $\delta$ $\rho$

Ma questo non influirà sul risultato, come dovrebbe essere ovvio dalle tue equazioni, soprattutto dal momento che viene controllato per valori molto grandi rispetto. $R$

Infine, e ignorando tutto quanto sopra, non è il fatto che tu abbia introdotto "diritti di proprietà insicuri", è la forma funzionale specifica che hai scelto per incorporarli nel modello, che apparentemente causa tutti i problemi. Le forme matematiche sono strumenti e anche quando disponiamo di molti strumenti ragionevoli (la tua specifica della funzione non è irragionevole), non tutti sono appropriati per tutti i modelli. $q_t$

Esistono molti altri modi per includere "diritti di proprietà insicuri", ad esempio: si potrebbe sostenere che la spesa militare influisce sulla probabilità di un attacco. È possibile scegliere di non includere il capitale umano nell'espressione per . Eccetera. $q_t$

Quindi, se il problema con il modo in cui gestisci l'incertezza in linea di principio (il mio primo commento) non è un problema dopo tutto, allora dovresti semplicemente cambiare il modo in cui modelli la probabilità di attacco e / o perdita di output a causa dell'attacco.

Ricorda che stai solo costruendo un modello, ed è il modello che dovrebbe conformarsi alla realtà e alla ragione, non viceversa. E poiché il consumo in regime stazionario che diminuisce monotonicamente nella dotazione di risorse esogene non è ragionevole né realistico, è necessario modificare il modello. E ' non è il caso che si appena scoperto una legge sorprendente sul comportamento umano (non ancora almeno).

Sarebbe interessante per ottenere un risultato non monotona - dire per ss consumo di avere un minimo o un massimo - che sarebbe veramente allettante. $R$

— Alecos Papadopoulos
fonte

Grazie per un commento Probabilmente non l'ho sottolineato molto: ciò che mi preoccupa è che il risultato non ha senso. Non avevo intenzione di dire "Guarda: ho trovato una legge della natura ridicola". Certo che no :) E dato che ho un risultato così confuso, ho pensato di aver fatto qualcosa di sbagliato. Per quanto riguarda il tuo suggerimento sul controllo stocastico. Penso che tu abbia ragione in linea di principio. Tuttavia, controlla i miei risultati nel modello deterministico che mostro nell'aggiornamento: ho ancora lo stesso problema. Pertanto, è probabile che mi manchi qualcos'altro.

— Artem Kochnev,

@ArtemKochnev L'altra cosa che ho scritto nella mia risposta è che dovresti cambiare il modo in cui modelli la funzione per quanto riguarda la sua forma funzionale e gli argomenti che include. La tua scelta attuale per la sua forma funzionale dà risultati insensati e quindi dovrebbe essere abbandonata.

q_{t}

$q_t$

— Alecos Papadopoulos,

Un modello di controllo ottimale: un risultato ridicolo per uno stato stazionario