Come combinare le previsioni quando la variabile di risposta nei modelli di previsione era diversa?

introduzione

Nella combinazione di previsioni una delle soluzioni più diffuse si basa sull'applicazione di alcuni criteri informativi. Prendendo ad esempio il criterio Akaike stimato per il modello , si potrebbero calcolare le differenze di da e quindi potrebbe essere interpretato come la probabilità relativa del modello di essere quella vera. I pesi vengono quindi definiti come $AIC_j$ $j$ $AIC_j$ $AIC^* = \min_j{AIC_j}$ $RP_j = e^{(AIC^*-AIC_j)/2}$ $j$

w_{j} = \frac{R P_{j}}{\sum_{j} R P_{j}}

$w_j = \frac{RP_j}{\sum_j RP_j}$

Problema

Una difficoltà che cerco di superare è che i modelli sono stimati sulle variabili di risposta (endogena) diversamente trasformate. Ad esempio, alcuni modelli si basano su tassi di crescita annuali, un altro sui tassi di crescita da un trimestre all'altro. Pertanto i valori estratti $AIC_j$ non sono direttamente comparabili.

Ho provato la soluzione

Poiché tutto ciò che conta è la differenza di $AIC$ , si potrebbe prendere l' del modello base $AIC$ (per esempio, ho cercato di estrarre lm(y~-1)il modello senza parametri) che è invariante rispetto alle trasformazioni della variabile di risposta e quindi confrontare le differenze tra il $j$ modello e il modello base $AIC$ . Qui tuttavia sembra che il punto debole rimanga: la differenza è influenzata dalla trasformazione della variabile di risposta.

Osservazioni conclusive

Nota, l'opzione come "stima tutti i modelli sulle stesse variabili di risposta" è possibile, ma richiede molto tempo. Vorrei cercare la "cura" rapida prima di prendere la decisione dolorosa se non c'è altro modo per risolvere il problema.

— Dmitrij Celov
fonte

Penso che uno dei metodi più affidabili per confrontare i modelli sia la convalida incrociata dell'errore fuori campione (ad es. MAE). Sarà necessario non trasformare la variabile esogena per ciascun modello per confrontare direttamente le mele con le mele.

— Zach
fonte

Un modo alternativo che mi è rimasto per un approccio ancora più dispendioso in termini di tempo è quello di utilizzare gli errori a coltello per stimare i pesi simili a Bates e Granger (1969) e le opere correlate come le combinazioni e le previsioni di Clements e Harvey (2007). Il punto debole dell'approccio basato sugli errori di previsione è che è mediamente inferiore agli approcci basati sull'informazione (modello). Dato che la media bayesiana è complicata, ho cercato di applicare un metodo più semplice che si potesse pensare di essere BMA con priori informativi.

— Dmitrij Celov,

Si noti che non voglio né confrontare né selezionare il modello migliore, né sto cercando il metodo di combinazione delle migliori previsioni. Ho semplicemente problemi a confrontare gli AIC dai modelli basati su variabili di risposta trasformate diversamente .

— Dmitrij Celov,

@Dmitrij Celov: Allora perché stai confrontando gli AIC? Tieni presente che l'AIC è asintoticamente equivalente alla validazione incrociata univoca, quindi sospetto che i confronti di entrambe le metriche sarebbero simili. stats.stackexchange.com/a/587/2817

— Zach

@DmitrijCelov: "Il punto debole dell'approccio basato sugli errori di previsione è che è mediamente inferiore agli approcci basati sull'informazione (modello)". Inferiore in che senso? Hai qualche citazione o spiegazione per questo? L'intuizione mi dice che questa affermazione è sbagliata, ma l'intuizione è spesso sbagliata ...

— Zach,

Probabilmente ho fatto una rapida conclusione dopo l'osservazione nel documento di lavoro G.Kapitanious et al. Combinazioni di previsioni e la suite di metodi di previsione statistica della Banca d'Inghilterra dove a p. 23 è scritto che "... la combinazione delle previsioni non fornirà in generale la previsione ottimale, mentre la combinazione delle informazioni lo farà". L'equivalenza asintotica non è ciò che vorrei avere in piccoli campioni di dati macroeconomici, ma i metodi semplici possono essere più complessi. La validazione incrociata è la seconda migliore soluzione, i coltelli a serramanico vengono prodotti entro una settimana, gli AIC in un'ora. (Potremmo andare a chattare)

— Dmitrij Celov il