Analisi esplorativa di errori di previsione spazio-temporali

13

I dati: ho lavorato di recente sull'analisi delle proprietà stocastiche di un campo spazio-temporale degli errori di previsione della produzione di energia eolica. Formalmente, si può dire che sia un processo indicizzato due volte nel tempo (cone) e una volta nello spazio () concome numero di volte di previsione (uguale a circa, regolarmente campionato),come numero di "tempi di previsione" (cioè tempi in cui viene emessa la previsione, circa 30000 nel mio caso, regolarmente campionati), eun numero di posizioni spaziali (non grigliate, circa 300 nel mio caso). Poiché si tratta di un processo legato al tempo, ho anche molte previsioni meteorologiche, analisi, misurazioni meteorologiche che possono essere utilizzate.

{(ε_{t + h | t}^{p})}_{t = 1 ..., T; h = 1, ..., H, p = p_{1}, ..., p_{n}}

$\left (\epsilon^p_{t+h|t} \right )_{t=1\dots,T;\; h=1,\dots,H,\;p=p_1,\dots,p_n}$

t

$t$

h

$h$

p

$p$

H

$H$

24

$24$

T

$T$

n

$n$

Domanda: puoi descrivermi l'analisi esplorativa che eseguiresti su questo tipo di dati per comprendere la natura della struttura di interdipendenza (che potrebbe non essere lineare) del processo al fine di proporne una modellazione fine.

— pettirosso
fonte

questa è una domanda molto interessante È possibile giocare almeno con un sottoinsieme di dati anonimi? E come sono state generate le previsioni, che tipo di modello è stato utilizzato?

— mpiktas,

1

@mpiktas grazie, puoi ammettere che è stato generato con un modello AR adatto (uno per ogni parco eolico), non cambierà molto il problema. Siamo spiacenti, ci sono troppi problemi di confidenzialità con questi dati, non posso fornirti nulla, nemmeno anonimizzato ...

— Robin Girard

6

Mi sembra che tu abbia abbastanza dati per modellare la dipendenza dallo spazio-tempo e le influenze meteorologiche sia della distorsione degli errori di previsione (cioè della tendenza a sovrastimare / sottovalutare sistematicamente [primo momento]) sia della loro varianza [secondo momento].

Per l'esplorazione del bias, farei solo un sacco di grafici a dispersione, mappe di calore o diagrammi hexbin. Per l'esplorazione della variabilità, vorrei solo quadrare gli errori originali e poi di nuovo fare un sacco di grafici a dispersione, mappe di calore o diagrammi hexbin. Questo ovviamente non è del tutto privo di problemi se si hanno molti pregiudizi, ma può comunque aiutare a vedere i modelli di eteroschedasticità influenzata dalla covariata.

Rmboost $t$ $h$ , spline di prodotti tensoriali per effetti tempo-spaziali o interazioni fluide di effetti meteorologici ecc.) per i diversi momenti ed eseguire la selezione dei termini allo stesso tempo al fine di ottenere un modello parsimonioso e interpretabile. La speranza sarebbe che i termini in questo modello siano sufficienti per tenere conto della struttura di autocorrelazione spazio-temporale degli errori di previsione, ma probabilmente dovresti controllare i residui di questi modelli per l'autocorrelazione (cioè guarda alcuni varigrammi e ACF).

— fabiani
fonte

+1 Grazie Fabians, hai perfettamente ragione, il problema non è che non ho abbastanza dati. Nota che la mia domanda riguarda soprattutto la struttura dell'interdipendenza. I grafici a dispersione, le mappe di calore e il diagramma hexbin sono buoni strumenti se vengono usati per il buon fine. Penso che anche il modello di additivo generale possa essere molto potente, c'è un meraviglioso documento di Brillinger che fornisce buoni suggerimenti su come usare GAM.

— Robin Girard,

5

Noi (un collega e io) abbiamo finalmente scritto un articolo su quello. Per riassumere le cose, abbiamo proposto due soluzioni per quantificare e fornire un riassunto statistico della propagazione (spazio-temporale) degli errori lungo la Danimarca e lungo i tempi.

Nel primo calcoliamo la correlazione tra tutte le coppie di parchi eolici e per tutte le coppie di tempi di previsione (questa è una funzione di 4 variabili). Quando una coppia è fissa, abbiamo mostrato che la funzione di correlazione ha un massimo locale lungo i tempi di previsione, abbiamo detto che questa è propagazione! La scala temporale associata a una data coppia di parchi eolici è data dal ritardo temporale per il quale si ottiene questo massimo locale. Tracciare, per tutte le coppie di parchi eolici i massimi locali di correlazione, il ritardo temporale che consente di ottenerlo e il vettore spaziale che unisce i parchi eolici dà il lato destro della Figura 1.

Figura 1

Questo può essere usato per calcolare un vettore di propagazione globale, cioè una sorta di media spaziale delle velocità di propagazione tra coppie. Parte di questo è mostrato nella parte sinistra della Figura 1, e indovina quale propagazione degli errori è il West East a Denamrk (ok, non è stata una grande sorpresa :)). Abbiamo anche analizzato questo condizionatamente a diverse situazioni meteorologiche al fine di mostrare la relazione tra propagazione e vento (velocità, direzione).

$t$ $t$ $R^2$ misurazione della qualità dell'adattamento ottenuto dal modello di onda planare). Quindi è possibile calcolare le statistiche su tali velocità, limitando infine i casi in cui l'adattamento dell'onda planare è buono. I risultati sono mostrati nella Figura 2.

figura 2

Nel secondo caso, abbiamo osservato che la velocità di propagazione media temporale ha un magnitute simile a quello ottenuto con la media spaziale nel primo caso. Se vuoi guardare questo lavoro più seriamente, il documento è qui .

— pettirosso
fonte

+1 Grazie per aver condiviso. (Mi dispiace di aver perso la domanda quando è apparso originariamente.) Hai preso in considerazione la possibilità di tracciare diagrammi incrociati in base al tempo di previsione? Le più efficaci non sarebbero le tradizionali nuvole di variogramma direzionali levigate; utilizzare invece grafici bidimensionali delle densità delle nuvole del variogramma. È quindi possibile costruire diversi crocegrammi di quelli per esplorare le relazioni temporali. I risultati della propagazione dovrebbero uscire automaticamente da tale analisi.

— whuber

@whuber Grazie per il commento, difficilmente credo che tu abbia perso più di 2 o 3 domande su questo sito :). La tua idea con il variogramm sembra connessa (non uso molto il variogram, credo spesso che tutto ciò che può essere formulato con il variogram abbia un equivalente pratico con le covarianze ...), ci penserò.

— Robin Girard,

Hai ragione nel dire che in molte applicazioni le covarianze sono equivalenti a variogrammi. Tuttavia, la nuvola di variogram fornisce un supplemento sia visivo che concettuale che non sembra offrire il lavoro puramente con le funzioni di covarianza - è un po 'come guardare diagrammi a dispersione anziché solo matrici di correlazione: a volte puoi vedere modelli che i numeri non rivelano chiaramente .

— whuber