Come posso iniziare ad avvicinarmi a questo modello dinamico di scelta discreta?


6

Sto lavorando a un vecchio set di problemi (che purtroppo non ho soluzioni per) e mi sono bloccato. È un modello dinamico di imprenditorialità e invenzione. Sto cercando una guida su questo modello, oltre a riferimenti o documenti che ne parlano. Ecco la modella

Ogni periodo puoi scegliere di avviare un'attività. La scelta nel periodo $ t $ è $ b_t \ in \ {0, 1 \} $, dove $ b_t = 1 $ sta cercando di inventare qualcosa, quindi è un problema di scelta discreta. Hai qualche parametro di abilità $ p $. In ogni periodo che inventi, la tua invenzione `` riesce '' con probabilità $ p $ e ottieni $ v = 1 $. Altrimenti fallisce e ottieni $ v = 0 $.

Se non inventi in un periodo $ t $ lavori e guadagni un po 'di $ w $. La persona ha un'utilità lineare a vita come questa

\ Begin {equation} \ sum_ {t = 0} ^ \ infty \ beta ^ t [b_t I \ {\ text {invenzione riuscita} \} + (1 - b_t) w] \ End {equation}

$ I $ è la funzione di indicatore. Il problema è noi (e l'agente) non sappiamo $ p $ . Sanno solo che è distribuito con a distribuzione beta con i parametri $ a $ e $ b $ e devono informarsi nel tempo. io so come aggiornare il precedente a seconda che l'invenzione abbia successo o meno (se la persona ha scelto di inventare in un periodo $ t $).

Il set di problemi mi chiede di impostare l'equazione di Bellman e usare l'iterazione della funzione valore per risolvere numericamente il problema, ma è lì che mi sono bloccato. Qualcuno può darmi una spinta nella giusta direzione per come iniziare?


L'equazione generale di Bellman è qualcosa del genere

\ Begin {equation} V (b) = \ max_ {b '} (u (b) + \ beta E V (b')) \ End {equation} $ b $ è la scelta dell'agente nel periodo corrente e $ b '$ è la scelta degli agenti nel periodo successivo. Non riesco a capire come incorporare l'aggiornamento bayesiano del precedente nell'aspettativa, tuttavia, poiché il valore del precedente che entra nel periodo $ t $ e quindi il valore del posteriore alla fine di quel periodo dipende dalla storia di invenzioni riuscite o fallite.

Per es. la persona inizia con il precedente su $ p $ come la media della distribuzione beta, che è $ a / (a ​​+ b) $, ma se sceglie di inventare nel prossimo periodo e ha successo, il aggiornamenti della distribuzione beta al posteriore che ha significato $ (a + 1) / (a ​​+ 1 + b) $ . Eccetera.

Risposte:


0

$ b_t $ è la variabile decisionale e la funzione valore è formulata come una funzione di stato variabile del problema. Nel tuo caso, il ruolo della variabile di stato è giocato dal parametro $ p $, che può cambiare in ogni periodo (aggiornato). Quindi la tua equazione di Bellman è

$$ V (p_t) = \ max_ {b_t} \ {u (b_t) + \ beta E [V (p_ {t + 1}) \ mid t] \} $$

e immagino che ora tu veda dove l'aggiornamento di $ p $ entri nell'immagine.

In "Value function iteration" o "iteration on the Bellman equation", il libro " Teoria macroeconomica ricorsiva "di Ljungqvist & Sargent contiene una guida chiara e pratica.


Da quanto so di iteration della funzione value (che non è molto), ho bisogno di iniziare con qualche valore iniziale della funzione value. In questo caso però lo spazio non è lo spazio infinito? Vorrei semplicemente approssimare lo spazio di stato ($ p $) con una griglia discreta tra $ 0 $ e $ 1 $?
Michael A
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.