AIC contro validazione incrociata in serie temporali: il piccolo caso campione

Sono interessato alla selezione del modello in un'impostazione di serie storiche. Per concretezza, supponiamo che io voglia selezionare un modello ARMA da un pool di modelli ARMA con diversi ordini di ritardo. L' intento finale è la previsione .

La selezione del modello può essere effettuata da

1. convalida incrociata,
2. utilizzo di criteri informativi (AIC, BIC),

tra gli altri metodi.

Rob J. Hyndman fornisce un modo per eseguire la convalida incrociata per le serie storiche . Per campioni relativamente piccoli, la dimensione del campione utilizzata nella validazione incrociata può essere qualitativamente diversa dalla dimensione del campione originale. Ad esempio, se la dimensione del campione originale è di 200 osservazioni, si potrebbe pensare di iniziare la convalida incrociata prendendo le prime 101 osservazioni ed espandendo la finestra a 102, 103, ..., 200 osservazioni per ottenere 100 risultati di convalida incrociata. Chiaramente, un modello ragionevolmente parsimonioso per 200 osservazioni potrebbe essere troppo grande per 100 osservazioni e quindi il suo errore di validazione sarà grande. Pertanto la convalida incrociata probabilmente favorirà sistematicamente modelli troppo parsimoniosi. Questo è un effetto indesiderato a causa della discrepanza nelle dimensioni del campione .

Un'alternativa alla validazione incrociata sta usando i criteri di informazione per la selezione del modello. Dato che mi interessa la previsione, utilizzerei AIC. Anche se AIC è asintoticamente equivalente a ridurre al minimo il MSE di previsione a un passo fuori campione per i modelli di serie storiche (secondo questo post di Rob J. Hyndman), dubito che questo sia rilevante qui dal momento che il campione le taglie a cui tengo non sono così grandi ...

Domanda: dovrei scegliere la validazione incrociata delle serie temporali AIC per campioni medio / piccoli?

Alcune domande correlate possono essere trovate qui , qui e qui .

Prendendo da parte le considerazioni teoriche, l'Akaike Information Criterion è solo una probabilità penalizzata dai gradi di libertà. Ciò che segue, AIC tiene conto dell'incertezza nei dati ( -2LL ) e ipotizza che più parametri comportino un rischio maggiore di overfitting ( 2k ). La convalida incrociata esamina solo le prestazioni del set di test del modello, senza ulteriori ipotesi.

Se ti preoccupi principalmente di fare previsioni e puoi presumere che i set di test siano ragionevolmente simili ai dati del mondo reale, dovresti andare per la convalida incrociata. Il possibile problema è che quando i tuoi dati sono piccoli, quindi suddividendoli, finisci con piccoli training e set di test. Meno dati per l'allenamento sono negativi e meno dati per il set di test rendono più incerti i risultati della convalida incrociata (vedi Varoquaux, 2018 ). Se il tuo campione di prova è insufficiente, potresti essere costretto a usare l'AIC, ma tieni a mente cosa misura e cosa può fare ipotesi.

D'altra parte, come già accennato nei commenti, AIC offre garanzie asintomatiche, e non è il caso di piccoli campioni. Piccoli campioni possono essere fuorvianti anche riguardo all'incertezza nei dati.

Hm - se il tuo obiettivo finale è prevedere, perché intendi fare la selezione del modello? Per quanto ne so, è ben noto sia nella letteratura statistica "tradizionale" che nella letteratura sull'apprendimento automatico che la media dei modelli è superiore quando si tratta di previsione. In parole povere, la media dei modelli significa che si stimano tutti i modelli plausibili, si lasciano prevedere tutti e si fa una media delle previsioni ponderate in base alle prove relative dei modelli.

Un utile riferimento per iniziare è https://journals.sagepub.com/doi/10.1177/0049124104268644

Lo spiegano abbastanza semplicemente e si riferiscono alla letteratura pertinente.

Spero che sia di aiuto.

La mia idea è, fare entrambe le cose e vedere. È diretto utilizzare AIC. Più piccolo l'AIC, migliore il modello. Ma non si può dipendere da AIC e dire che tale modello è il migliore. Pertanto, se si dispone di un pool di modelli ARIMA, prendere ciascuno di essi e verificare la previsione per i valori esistenti e vedere quale modello prevede il più vicino ai dati delle serie temporali esistenti. In secondo luogo, controlla anche l'AIC e, considerando entrambi, arriva a una buona scelta. Non ci sono regole rigide e veloci. Scegli il modello che predice il meglio.