Quando devo smettere di cercare un modello?

Sto cercando un modello tra i prezzi dell'energia e il tempo. Ho il prezzo del MWatt acquistato tra i paesi d'Europa e molti valori sul tempo (file Grib). Ogni ora per un periodo di 5 anni (2011-2015).

Prezzo / giorno

Questo è al giorno per un anno. Ho questo per ore per 5 anni.

Esempio di tempo

3Dscatterplot, in kelvin, per un'ora. Ho 1000 valori all'ora e 200 dati, come klevin, wind, geopential ecc.

Sto cercando di prevedere il prezzo medio all'ora del Mwatt.

I miei dati sul tempo sono molto densi, oltre 10000 valori / ora e quindi con un'alta correlazione. È un problema di dati brevi e di grandi dimensioni.

Ho provato i metodi Lasso, Ridge e SVR con il prezzo medio del MWatt come risultato e i miei dati meteorologici come reddito. Ho preso il 70% come dati di allenamento e il 30% come test. Se i dati del mio test non prevedono previsioni (da qualche parte all'interno dei miei dati di allenamento), ho una buona previsione (R² = 0,89). Ma voglio fare previsioni sui miei dati.

Quindi, se i dati del test sono cronologicamente successivi ai miei dati di allenamento, non prevedono nulla (R² = 0,05). Penso che sia normale perché è una serie temporale. E c'è molta autocorrelazione.

Pensavo di dover usare un modello di serie temporale come ARIMA. Ho calcolato l'ordine del metodo (la serie è stazionaria) e l'ho provato. Ma non funziona Voglio dire che la previsione ha un valore di 0,05. La mia previsione sui dati di test non è affatto sui miei dati di test. Ho provato il metodo ARIMAX con il mio tempo come regressore. Metti che non aggiunge alcuna informazione.

ACF / PCF, Dati test / treno

Quindi ho fatto un taglio stagionale al giorno e alla settimana

Giorno

Settimana sull'andamento del primo

E posso avere questo se posso predire l'andamento dell'andamento del mio prezzo delle azioni:

Il blu è la mia previsione e il rosso il valore reale.

Farò una regressione con una media mobile del tempo come reddito e la tendenza della tendenza del prezzo delle azioni come risultato. Ma per ora, non ho trovato alcuna relazione.

Ma se non c'è interazione, come posso sapere che non c'è nulla? forse è solo che non l'ho trovato.

Potresti essere interessato a un dominio scientifico formale chiamato "meccanica computazionale". In un articolo di James Crutchfield e David Feldman, definiscono il programma della meccanica computazionale - per quanto io capisco - analizzando i confini tra (1) incertezza deterministica e il costo delle informazioni per inferire relazioni deterministiche, (2) stocastico incertezza e costo delle informazioni derivante dalla deduzione delle distribuzioni di probabilità e (3) incertezza entropica e conseguenze della scarsa informazione.

Per rispondere direttamente alla tua domanda (anche se in modo abbastanza ampio, dal momento che hai posto una domanda ampia), come sappiamo quando abbiamo imparato "abbastanza" o "tutto ciò che possiamo" dai dati è un dominio aperto di ricerca. Il primo dipenderà necessariamente dalle proprie esigenze di ricercatore e attore nel mondo (ad esempio, dato quanto tempo? Quanta potenza di elaborazione? Quanta memoria, quanta urgenza, ecc.).

Non sono in questo campo, e nemmeno in profondità con questo articolo in particolare, ma sono dei fantastici pensatori. :)

Crutchfield, JP e Feldman, DP (2003). Regolarità non osservate, casualità osservata: livelli di convergenza entropica . Caos , 13 (1): 25–54.