Sono a conoscenza del tipo di regolarizzazione LASSO, cresta e rete elastica nei modelli di regressione lineare.

Domanda:

1. Questo (o un simile) tipo di stima penalizzata può essere applicato alla modellazione ARIMA (con una parte MA non vuota)?

Nella costruzione di modelli ARIMA, sembra consueto considerare un ordine di ritardo massimo preselezionato ( , ) e quindi scegliere un ordine ottimale e q \ leqslant q_ {max} ad es. minimizzando AIC o AICc. Ma si potrebbe usare invece la regolarizzazione?$p_{max}$$q_{max}$$p \leqslant p_{max}$$q \leqslant q_{max}$

Le mie ulteriori domande sono:

2. Potremmo includere tutti i termini fino a ( $p_{max}$ , $q_{max}$ ) ma penalizzare la dimensione dei coefficienti (potenzialmente fino a zero)? Avrebbe senso?
3. Se lo fosse, è stato implementato in R o altro software? In caso contrario, qual è stato il problema?

Un post in qualche modo correlato può essere trovato qui .

Risposta alla domanda 1.

Chen & Chan "Sottoinsieme di selezione ARMA tramite il lazo adattivo" (2011) * usa una soluzione alternativa per evitare la stima della massima verosimiglianza esigente dal punto di vista computazionale. Citando il giornale, loro

proporre di trovare un modello ARMA di sottoinsieme ottimale inserendo una regressione adattiva del lasso delle serie sui propri ritardi e quelle dei residui che si ottengono una lunga autoregressione a s. <...> [U] in condizioni di regolarità lievi, il metodo proposto raggiunge le proprietà dell'oracolo, ovvero identifica il modello ARMA del sottoinsieme corretto con probabilità che tende a uno quando le dimensioni del campione aumentano all'infinito e <...> il gli stimatori dei coefficienti diversi da zero sono asintoticamente normali con la distribuzione limitante la stessa di quella quando i coefficienti zero sono noti a priori.$y_t$$y_t$

Facoltativamente, suggeriscono la stima della massima verosimiglianza e la diagnostica del modello per i modelli ARMA del sottoinsieme selezionato.

Wilms et al. "Identificazione e stima sparse di medie mobili auto-regressive vettoriali ad alta dimensione" (2017) fanno ancora di più di quanto mi chiedessi. Invece di un modello ARIMA univariato, prendono un ARMA vettoriale (VARMA) in dimensioni elevate e usano una penalità per la stima e la selezione dell'ordine di ritardo. Presentano l'algoritmo di stima e sviluppano alcuni risultati asintotici.$L_1$

In particolare, impiegano una procedura in due fasi. Considera un modello VARMA che deve essere stimato, ma il ritardo ordini e sono uknown.

• Nella fase 1, approssimano il modello VARMA con un modello VAR di alto ordine e lo stimano utilizzando uno stimatore VAR gerarchico che posiziona una penalità di lazo di gruppo gerarchica basata su ritardo sui parametri autoregressivi.
  (L'ordine di ritardo è impostato su . Le equazioni del modello sono stimate congiuntamente e la norma Frobenius degli errori è minimizzata con un gruppo gerarchico -lasso penalità sui coefficienti di regressione.) Ottenono i residui da utilizzare come proxy per i veri errori nella Fase 2.$\lfloor 1.5\sqrt{T} \rfloor$$||y-\hat y||_2^F$
  $\hat\varepsilon := y - \hat y$

• Nella fase 2, stimano un modello VARX in cui X rappresenta i residui ritardati della fase 1. Cioè, minicono un modello VARMA ma usano i residui stimati al posto degli errori veri, che consente di applicare nuovamente lo stesso stimatore (gruppo gerarchico-lasso) proprio come nello stage 1. ( e sono impostati su .)

  $$y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$$
  $\hat p$$\hat q$$\lfloor 1.5\sqrt{T} \rfloor$

L'approccio di Wilms et al. è implementato nel pacchetto R "bigtime" .

Riferimenti

• Chen, K., & Chan, KS (2011). Sottoinsieme Selezione ARMA tramite il Lazo adattivo. Statistica e sua interfaccia , 4 (2), 197-205.
• Wilms, I., Basu, S., Bien, J., & Matteson, DS (2017). Identificazione e stima sparse di medie mobili auto-regressive vettoriali ad alta dimensione. arXiv prestampa arXiv: 1707.09208.

^{* Grazie a @hejseb per il link.}