Processo AR (1) con errori di misura eteroscedastici

1. Il problema

Ho alcune misure di una variabile $y_t$ , dove $t=1,2,..,n$ , per cui ho una distribuzione $f_{y_t}(y_t)$ ottenuto tramite MCMC, che per semplicità Si assume una gaussiana di media $\mu_t$ e varianza $\sigma_t^2$ .

Ho un modello fisico per quelle osservazioni, diciamo $g(t)$ , ma i residui $r_t = \mu_t-g(t)$ sembrano essere correlati; in particolare, ho ragioni fisiche per pensare che basterà un processo $AR(1)$ per tenere conto della correlazione e intendo ottenere i coefficienti di adattamento tramite MCMC, per i quali ho bisogno della probabilità . Penso che la soluzione sia piuttosto semplice, ma non sono abbastanza sicuro (sembra così semplice, che penso che mi manchi qualcosa).

2. Derivazione della probabilità

Un processo a media zero $AR(1)$ può essere scritto come:

X_{t} = ϕ X_{t - 1} + ε_{t}, (1)

$X_t = \phi X_{t-1}+\varepsilon_t,\ \ \ (1)$ dove assumerò

ε_{t} \sim N (0, σ_{w}^{2})

$\varepsilon_t\sim N(0,\sigma_w^2)$ . I parametri da stimare sono, quindi,

θ = {ϕ, σ_{w}^{2}}

$\theta = \{\phi,\sigma_w^2\}$ (nel mio caso, devo anche aggiungere i parametri del modello

g (t)

$g(t)$ , ma non è questo il problema). Ciò che osservo, tuttavia, è la variabile

R_{t} = X_{t} + η_{t}, (2)

$R_t = X_t+\eta_t,\ \ \ (2)$ dove sto assumendo

η_{t} \sim N (0, σ_{t}^{2})

$\eta_t\sim N(0,\sigma_t^2)$ , e sono noti

σ_{t}^{2}

$\sigma_t^2$ (errori di misurazione) . Poiché

X_{t}

$X_t$ è un processo gaussiano, anche

R_{t}

$R_t$ è. In particolare, so che

quindi,

La prossima sfida è ottenere

per

. Per derivare la distribuzione di questa variabile casuale, si noti che, usando eq.

So scrivere

X_{1} \sim N (0, σ_{w}^{2} / [1 - ϕ^{2}]),

$X_1 \sim N(0,\sigma_w^2/[1-\phi^2]),$

R_{1} \sim N (0, σ_{w}^{2} / [1 - ϕ^{2}] + σ_{t}^{2}) .

$R_1 \sim N(0,\sigma_w^2/[1-\phi^2]+\sigma_t^2).$

R_{t} | R_{t - 1}

$R_t|R_{t-1}$

t \neq 1

$t\neq 1$

(2)

$(2)$

Usando l'eq.

e usando la definizione di eq.

, posso scrivere,

Usando l'eq.

in quest'ultima espressione, quindi, ottengo,

X_{t - 1} = R_{t - 1} - η_{t - 1} . (3)

$X_{t-1} = R_{t-1}-\eta_{t-1}.\ \ \ (3)$

(2)

$(2)$

(1)

$(1)$

R_{t} = X_{t} + η_{t} = ϕ X_{t - 1} + ε_{t} + η_{t} .

$R_{t} = X_t+\eta_t = \phi X_{t-1}+\varepsilon_{t}+\eta_t.$

(3)

$(3)$

quindi

e, quindi,

R_{t} = ϕ (R_{t - 1} - η_{t - 1}) + ε_{t} + η_{t},

$R_{t} = \phi (R_{t-1}-\eta_{t-1})+\varepsilon_{t}+\eta_t,$

R_{t} | R_{t - 1} = ϕ (r_{t - 1} - η_{t - 1}) + ε_{t} + η_{t},

$R_t|R_{t-1} = \phi (r_{t-1}-\eta_{t-1})+\varepsilon_{t}+\eta_t,$

Infine, posso scrivere la funzione di verosimiglianza come

R_{t} | R_{t - 1} \sim N (ϕ r_{t - 1}, σ_{w}^{2} + σ_{t}^{2} - ϕ^{2} σ_{t - 1}^{2}) .

$R_t|R_{t-1} \sim N(\phi r_{t-1},\sigma_w^2+\sigma_t^2-\phi^2\sigma^2_{t-1}).$

dove

L (θ) = f_{R_{1}} (R_{1} = r_{1}) Π_{t = 2}^{n} f_{R_{t} | R_{t - 1}} (R_{t} = r_{t} | R_{t - 1} = r_{t - 1}),

$L(\theta) = f_{R_1}(R_1=r_1) \prod_{t=2}^{n} f_{R_{t}|R_{t-1}}(R_t=r_t|R_{t-1}=r_{t-1}),$

f (\cdot)

$f(\cdot)$ sono le distribuzioni delle variabili che ho appena definito, .ie, che definisce

σ^{' 2} = σ_{w}^{2} / [1 - ϕ^{2}] + σ_{t}^{2},

$\sigma'^2 = \sigma_w^2/[1-\phi^2]+\sigma_t^2,$

e definendo

f_{R_{1}} (R_{1} = r_{1}) = \frac{1}{\sqrt{2 π σ^{' 2}}} exp (- \frac{r_{1}^{2}}{2 σ^{' 2}}),

$f_{R_1}(R_1=r_1) = \frac{1}{\sqrt{2\pi \sigma'^2}}\text{exp}\left(-\frac{r_1^2}{2\sigma'^2}\right),$

σ^{2} (t) = σ_{w}^{2} + σ_{t}^{2} - ϕ^{2} σ_{t - 1}^{2}

$\sigma^2(t) = \sigma_w^2+\sigma_t^2-\phi^2\sigma^2_{t-1}$

f_{R_{t} | R_{t - 1}} (R_{t} = r_{t} | R_{t - 1} = r_{t - 1}) = \frac{1}{\sqrt{2 π σ^{2} (t)}} exp (- \frac{(r_{t} - φ r_{t - 1})^{2}}{2 σ^{2} (t)})

$f_{R_{t}|R_{t-1}}(R_t=r_t|R_{t-1}=r_{t-1})=\frac{1}{\sqrt{2\pi \sigma^2(t)}}\text{exp}\left(-\frac{(r_t-\phi r_{t-1})^2}{2\sigma^2(t)}\right)$

3. Domande

La mia derivazione è ok? Non ho risorse da confrontare oltre alle simulazioni (che sembrano concordare) e non sono uno statistico!
$MA(1)$ $ARMA(1,1)$ $ARMA(p,q)$

— Néstor
fonte

Non ho esattamente una soluzione per te. Ma penso che questo sia un tipo di problema con le variabili di errore. Ho visto queste cose nella teoria macroeconomica di Thomas Sergent (libro degli anni '80). Potresti voler dare un'occhiata a quello.

— Metriche il

Grazie per l'input, @Metrics. Controllerò il libro!

— Néstor,

Risposte:

$R_t$ $R_{t-1}$ $\phi r_{t-1}$ $\phi \widehat{x}_{t-1}$ $\widehat{x}_{t-1}$ è la tua migliore stima di $X$ dal periodo precedente. Il valore di $\widehat{x}_{t-1}$ include informazioni provenienti da precedenti osservazioni e $r_{t-1}$ . (Per vedere questo, considera una situazione in cui $\sigma_w$ e $\phi$ sono trascurabili, quindi stai effettivamente stimando una media fissa. Dopo molte osservazioni, la tua incertezza $X$ sarà molto più piccolo di $\sigma_{\eta}$ .) Questo all'inizio può essere fonte di confusione, perché si osserva $R$ e non $X$ . Ciò significa solo che hai a che fare con un modello di spazio-stato .
Sì, esiste un quadro molto generale per l'utilizzo di modelli lineari gaussiani con osservazioni rumorose, chiamato filtro Kalman . Questo vale per qualsiasi cosa con una struttura ARIMA e molti altri modelli. Variabili nel tempo $\sigma_{\eta}$ va bene per il filtro Kalman, purché non sia stocastico. I modelli con, ad esempio, la volatilità stocastica richiedono metodi più generali. Per vedere come viene derivato il filtro Kalman, prova Durbin-Koopman o il capitolo 3 di Harvey . Nella notazione di Harvey, il tuo modello ha $Z=1$ , $d=c=0$ , $H_t = \sigma_{\eta,t}^2$ , $T=\phi$ , $R=1$ e $Q=\sigma^2_w$ .

— Jamie Hall
fonte

Ciao Jamie, grazie per il tuo contributo. Un paio di commenti: 1. Non ne sono sicuro. È stato, in realtà, il mio primo tentativo come soluzione, ma sia la mia intuizione che le mie simulazioni non sono d'accordo. Il fatto è che in realtà non osservo

X_{t}

$X_t$ , Osservo

R_{t}

$R_{t}$ ; inoltre, puoi provare (aritmeticamente) che la media condizionale della variabile casuale

R_{t} | R_{t - 1} = r_{t - 1}

$R_{t}|R_{t-1}=r_{t-1}$ (nota che non lo è

R_{t} | X_{t - 1} = x_{t - 1}

$R_{t}|X_{t-1}=x_{t-1}$ ) è effettivamente

ϕ {\hat{x}}_{t - 1}

$\phi \hat{x}_{t-1}$ ? 2. Puoi approfondire l'applicazione del filtro Kalman a questo particolare problema?

— Néstor,

Ciao Nestor, ho modificato la risposta per rispondere ai tuoi commenti. Spero possa aiutare.

— Jamie Hall,

Ciao Jamie: riguardo al secondo punto, va bene, grazie :-)! Tuttavia, non riesco ancora a vedere il tuo primo punto. Puoi indicarmi una derivazione formale? In particolare, vorrei sapere quale parte del mio ragionamento è errata (e perché)!

— Néstor,

Hai saltato un passaggio: la distribuzione di

X_{1}

$X_1$ given

R_{1}

$R_1$ . It's

N (\frac{σ_{x, 1}^{2}}{(σ_{x, 1}^{2} + σ_{η, 1}^{2})} r_{1}, σ_{x, 2}^{2})

$N(\frac{\sigma^2_{x,1}}{(\sigma^2_{x,1}+\sigma^2_{\eta,1})} r_1, \sigma^2_{x,2})$ , where

σ_{x, 1}^{2}

$\sigma_{x,1}^2$ is the variance you calculated in the first step, and

σ_{x, 2}^{2}

$\sigma_{x,2}^2$ is twice the harmonic mean of

σ_{x, 1}^{2}

$\sigma_{x,1}^2$ and

σ_{η, 1}^{2}

$\sigma_{\eta,1}^2$ . (This is just like Bayesian updating with two Gaussian pdfs.) Your equation (3) is formally correct, but you're throwing away information by using that instead of

p (X_{t - 1} | R_{1 : t - 1})

$p(X_{t-1} | R_{1:t-1})$ .

— Jamie Hall

-1

Honestly, you should code this in BUGs or STAN and not worry about it from there. Unless this is a theoretical question.

— DavidShor
fonte

(-1) To this response; this is clearly a theoretical question ;-). Consider improving why you think I should code it in BUGs or STAN and what it does have to do with the original question?

— Néstor