Interpretazione del modello ARIMA

Ho una domanda sui modelli ARIMA. Diciamo che ho una serie temporale che vorrei prevedere e un modello sembra un buon modo per condurre l'esercizio di previsione. Ora la ritardo implica che la mia serie oggi è influenzata da eventi precedenti. Questo ha senso. Ma qual è l'interpretazione degli errori? Il mio residuo precedente (quanto stavo nel mio calcolo) sta influenzando il valore della mia serie oggi? Come vengono calcolati i residui ritardati in questa regressione in quanto è il prodotto / resto della regressione?$Y_t$$\text{ARIMA}(2,2)$

$$\Delta Y_t = \alpha_1 \Delta Y_{t-1} + \alpha_2 \Delta Y_{t-2} + \nu_{t} + \theta_1 \nu_{t-1} + \theta_2 \nu_{t-2}$$ $Y$

Penso che sia necessario ricordare che i modelli ARIMA sono modelli ateoretici , quindi il solito approccio all'interpretazione dei coefficienti di regressione stimati non si ripercuote davvero sulla modellazione ARIMA.

Al fine di interpretare (o comprendere) i modelli ARIMA stimati, si farebbe bene a conoscere le diverse caratteristiche visualizzate da un numero di modelli ARIMA comuni.

Possiamo esplorare alcune di queste funzionalità esaminando i tipi di previsioni prodotte da diversi modelli ARIMA. Questo è l'approccio principale che ho adottato di seguito, ma una buona alternativa sarebbe quella di esaminare le funzioni di risposta all'impulso o i percorsi temporali dinamici associati a diversi modelli ARIMA (o equazioni di differenza stocastica). Ne parlerò alla fine.

Modelli AR (1)

Consideriamo un modello AR (1) per un momento. In questo modello, possiamo dire che più basso è il valore di più veloce è il tasso di convergenza (rispetto alla media). Possiamo provare a comprendere questo aspetto dei modelli AR (1) studiando la natura delle previsioni per un piccolo set di modelli AR (1) simulati con valori diversi per α 1 .$\alpha_{1}$$\alpha_{1}$

L'insieme di quattro modelli AR (1) di cui discuteremo può essere scritto in notazione algebrica come: dove C è una costante e il resto della notazione segue dall'OP. Come si può vedere, ogni modello differisce solo rispetto al valore di α 1 .

$$\begin{equation} Y_{t} = C + 0.95 Y_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (1)\\ Y_{t} = C + 0.8 Y_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (2)\\ Y_{t} = C + 0.5 Y_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (3)\\ Y_{t} = C + 0.4 Y_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (4) \end{equation}$$ $C$$\alpha_{1}$

Nel grafico seguente, ho tracciato delle previsioni fuori campione per questi quattro modelli AR (1). Si può vedere che le previsioni per il modello AR (1) con convergono a un ritmo più lento rispetto agli altri modelli. Le previsioni per il modello AR (1) con α 1 = 0,4 convergono a un ritmo più rapido rispetto agli altri.$\alpha_{1} = 0.95$$\alpha_{1} = 0.4$

Nota: quando la linea rossa è orizzontale, ha raggiunto la media delle serie simulate.

Modelli MA (1)

Consideriamo ora quattro modelli MA (1) con valori diversi per . I quattro modelli che discuteremo possono essere scritti come: Y t = C + 0,95 ν t - 1 + ν t ( 5 $\theta_{1}$

$$\begin{equation} Y_{t} = C + 0.95 \nu_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (5)\\ Y_{t} = C + 0.8 \nu_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (6)\\ Y_{t} = C + 0.5 \nu_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (7)\\ Y_{t} = C + 0.4 \nu_{t-1} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (8) \end{equation}$$

Nel grafico seguente, ho tracciato delle previsioni fuori campione per questi quattro diversi modelli MA (1). Come mostra il grafico, il comportamento delle previsioni in tutti e quattro i casi è marcatamente simile; convergenza rapida (lineare) alla media. Si noti che esiste una minore varietà nelle dinamiche di queste previsioni rispetto a quelle dei modelli AR (1).

Nota: quando la linea rossa è orizzontale, ha raggiunto la media delle serie simulate.

Modelli AR (2)

Le cose diventano molto più interessanti quando iniziamo a considerare modelli ARIMA più complessi. Prendiamo ad esempio i modelli AR (2). Questi sono solo un piccolo passo avanti rispetto al modello AR (1), giusto? Bene, ci si potrebbe pensare, ma la dinamica dei modelli AR (2) è piuttosto ricca di varietà, come vedremo tra un momento.

Esploriamo quattro diversi modelli AR (2):

$$\begin{equation} Y_{t} = C + 1.7 Y_{t-1} -0.8 Y_{t-2} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (9)\\ Y_{t} = C + 0.9 Y_{t-1} -0.2 Y_{t-2} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (10)\\ Y_{t} = C + 0.5 Y_{t-1} -0.2 Y_{t-2} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (11)\\ Y_{t} = C + 0.1 Y_{t-1} -0.7 Y_{t-2} + \nu_{t} ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (12) \end{equation}$$

The out-of-sample forecasts associated with each of these models is shown in the graph below. It is quite clear that they each differ significantly and they are also quite a varied bunch in comparison to the forecasts that we've seen above - except for model 2's forecasts (top right plot) which behave similar to those for an AR(1) model.

Note: when the red line is horizontal, it has reached the mean of the simulated series.

The key point here is that not all AR(2) models have the same dynamics! For example, if the condition,

$$\begin{equation} \alpha_{1}^{2}+4\alpha_{2} < 0, \end{equation}$$ is satisfied then the AR(2) model displays pseudo periodic behaviour and as a result its forecasts will appear as stochastic cycles. On the other hand, if this condition is not satisfied, stochastic cycles will not be present in the forecasts; instead, the forecasts will be more similar to those for an AR(1) model.

It's worth noting that the above condition comes from the general solution to the homogeneous form of the linear, autonomous, second-order difference equation (with complex roots). If this if foreign to you, I recommend both Chapter 1 of Hamilton (1994) and Chapter 20 of Hoy et al. (2001).

Testing the above condition for the four AR(2) models results in the following:

$$\begin{equation} (1.7)^{2} + 4 (-0.8) = -0.31 < 0 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (13)\\ (0.9)^{2} + 4 (-0.2) = 0.01 > 0 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (14)\\ (0.5)^{2} + 4 (-0.2) = -0.55 < 0 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (15)\\ (0.1)^{2} + 4 (-0.7) = -2.54 < 0 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (16) \end{equation}$$

As expected by the appearance of the plotted forecasts, the condition is satisfied for each of the four models except for model 2. Recall from the graph, model 2's forecasts behave ("normally") similar to an AR(1) model's forecasts. The forecasts associated with the other models contain cycles.

Application - Modelling Inflation

Now that we have some background under our feet, let's try to interpret an AR(2) model in an application. Consider the following model for the inflation rate ($\pi_{t}$):

$$\begin{equation} \pi_{t} = C + \alpha_{1} \pi_{t-1} + \alpha_{2} \pi_{t-2} + \nu_{t}. \end{equation}$$ A natural expression to associate with such a model would be something like: "inflation today depends on the level of inflation yesterday and on the level of inflation on the day before yesterday". Now, I wouldn't argue against such an interpretation, but I'd suggest that some caution be drawn and that we ought to dig a bit deeper to devise a proper interpretation. In this case we could ask, in which way is inflation related to previous levels of inflation? Are there cycles? If so, how many cycles are there? Can we say something about the peak and trough? How quickly do the forecasts converge to the mean? And so on.

These are the sorts of questions we can ask when trying to interpret an AR(2) model and as you can see, it's not as straightforward as taking an estimated coefficient and saying "a 1 unit increase in this variable is associated with a so-many unit increase in the dependent variable" - making sure to attach the ceteris paribus condition to that statement, of course.

Bear in mind that in our discussion so far, we have only explored a selection of AR(1), MA(1), and AR(2) models. We haven't even looked at the dynamics of mixed ARMA models and ARIMA models involving higher lags.

To show how difficult it would be to interpret models that fall into that category, imagine another inflation model - an ARMA(3,1) with $\alpha_{2}$ constrained to zero:

$$\begin{equation} \pi_{t} = C + \alpha_{1} \pi_{t-1} + \alpha_{3} \pi_{t-3} + \theta_{1}\nu_{t-1} + \nu_{t}. \end{equation}$$

Say what you'd like, but here it's better to try to understand the dynamics of the system itself. As before, we can look and see what sort of forecasts the model produces, but the alternative approach that I mentioned at the beginning of this answer was to look at the impulse response function or time path associated with the system.

This brings me to next part of my answer where we'll discuss impulse response functions.

Impulse Response Functions

Those who are familiar with vector autoregressions (VARs) will be aware that one usually tries to understand the estimated VAR model by interpreting the impulse response functions; rather than trying to interpret the estimated coefficients which are often too difficult to interpret anyway.

The same approach can be taken when trying to understand ARIMA models. That is, rather than try to make sense of (complicated) statements like "today's inflation depends on yesterday's inflation and on inflation from two months ago, but not on last week's inflation!", we instead plot the impulse response function and try to make sense of that.

Application - Four Macro Variables

For this example (based on Leamer(2010)), let's consider four ARIMA models based on four macroeconomic variables; GDP growth, inflation, the unemployment rate, and the short-term interest rate. The four models have been estimated and can be written as:

$$\begin{eqnarray} Y_{t} &=& 3.20 + 0.22 Y_{t-1} + 0.15 Y_{t-2} + \nu_{t}\\ \pi_{t} &=& 4.10 + 0.46 \pi_{t-1} + 0.31\pi_{t-2} + 0.16\pi_{t-3} + 0.01\pi_{t-4} + \nu_{t}\\ u_{t} &=& 6.2+ 1.58 u_{t-1} - 0.64 u_{t-2} + \nu_{t}\\ r_{t} &=& 6.0 + 1.18 r_{t-1} - 0.23 r_{t-2} + \nu_{t} \end{eqnarray}$$ where $Y_{t}$ denotes GDP growth at time $t$, $\pi$ denotes inflation, $u$ denotes the unemployment rate, and $r$ denotes the short-term interest rate (3-month treasury).

The equations show that GDP growth, the unemployment rate, and the short-term interest rate are modeled as AR(2) processes while inflation is modeled as an AR(4) process.

Rather than try to interpret the coefficients in each equation, let's plot the impulse response functions (IRFs) and interpret them instead. The graph below shows the impulse response functions associated with each of these models.

Don't take this as a masterclass in interpreting IRFs - think of it more like a basic introduction - but anyway, to help us interpret the IRFs we'll need to accustom ourselves with two concepts; momentum and persistence.

These two concepts are defined in Leamer (2010) as follows:

Momentum: Momentum is the tendency to continue moving in the same direction. The momentum effect can offset the force of regression (convergence) toward the mean and can allow a variable to move away from its historical mean, for some time, but not indefinitely.

Persistence: A persistence variable will hang around where it is and converge slowly only to the historical mean.

Equipped with this knowledge, we now ask the question: suppose a variable is at its historical mean and it receives a temporary one unit shock in a single period, how will the variable respond in future periods? This is akin to asking those questions we asked before, such as, do the forecasts contains cycles?, how quickly do the forecasts converge to the mean?, etc.

At last, we can now attempt to interpret the IRFs.

Following a one unit shock, the unemployment rate and short-term interest rate (3-month treasury) are carried further from their historical mean. This is the momentum effect. The IRFs also show that the unemployment rate overshoots to a greater extent than does the short-term interest rate.

Vediamo anche che tutte le variabili ritornano ai loro mezzi storici (nessuna di esse "esplode"), sebbene ognuna lo faccia a ritmi diversi. Ad esempio, la crescita del PIL ritorna alla sua media storica dopo circa 6 periodi a seguito di uno shock, il tasso di disoccupazione ritorna alla sua media storica dopo circa 18 periodi, ma l'inflazione e gli interessi a breve termine impiegano più di 20 periodi a ritornare alle proprie medie storiche. In questo senso, la crescita del PIL è la meno persistente delle quattro variabili, mentre si può dire che l'inflazione è altamente persistente.

Penso che sia una buona conclusione affermare che siamo riusciti (almeno in parte) a dare un senso a ciò che i quattro modelli ARIMA ci dicono su ciascuna delle quattro macro variabili.

Conclusione

Invece di cercare di interpretare i coefficienti stimati nei modelli ARIMA (difficile per molti modelli), prova invece a comprendere le dinamiche del sistema. Possiamo tentare esplorando le previsioni prodotte dal nostro modello e disegnando la funzione di risposta all'impulso.

[Sono abbastanza felice di condividere il mio codice R se qualcuno lo desidera.]

Riferimenti

• Hamilton, JD (1994). Analisi delle serie storiche (Vol. 2). Princeton: Stampa dell'università di Princeton.
• Leamer, E. (2010). Modelli e storie macroeconomici - Una guida per MBA, Springer.
• Stengos, T., M. Hoy, J. Livernois, C. McKenna e R. Rees (2001). Mathematics for Economics, 2nd edition, MIT Press: Cambridge, MA.

Nota che a causa del teorema di decomposizione di Wold puoi riscrivere qualsiasi modello ARMA stazionario come a$MA(\infty)$ modello, ovvero:

$$\Delta Y_t=\sum_{j=0}^{\infty} \psi_j\nu_{t-j}$$

In this form there are no lagged variables, so any interpretation involving notion of a lagged variable is not very convincing. However looking at the $MA(1)$ and the $AR(1)$ models separately:

$$Y_t=\nu_t+\theta_{1}\nu_{t-1}$$

$$Y_t=\rho Y_{t-1}+\nu_{t}=\nu_t+\rho \nu_{t-1}+ \rho^2 \nu_{t-1}+...$$

puoi dire che i termini di errore nei modelli ARMA spiegano l'influenza "a breve termine" del passato, e i termini in ritardo spiegano l'influenza "a lungo termine". Detto questo, non credo che questo aiuti molto e di solito nessuno si preoccupa dell'interpretazione precisa dei coefficienti ARMA. L'obiettivo di solito è ottenere un modello adeguato e utilizzarlo per le previsioni.

Sono totalmente d'accordo con il sentimento dei commentatori precedenti. Vorrei aggiungere che tutto il modello ARIMA può anche essere rappresentato come un modello AR puro. Questi pesi sono indicati come pesi Pi rispetto alla forma MA pura (pesi Psi). In questo modo è possibile visualizzare (interpretare) un modello ARIMA come una media ponderata ottimizzata dei valori passati. In altre parole, anziché assumere una lunghezza e valori predefiniti per una media ponderata, un modello ARIMA fornisce sia la lunghezza ($n$) dei pesi e dei pesi effettivi ($c_1,c_2,...,c_n$).

$$Y(t) =c_1 Y(t−1) + c_2 Y(t-2) + c_3 Y(t-3)+ ... + c_n Y(t-n) + a(t)$$

In questo modo un modello ARIMA può essere spiegato come la risposta alla domanda

1. Quanti valori storici dovrei usare per calcolare una somma ponderata del passato?
2. Quali sono esattamente questi valori?