La correlazione presuppone la stazionarietà dei dati?

L'analisi tra mercati è un metodo per modellare il comportamento del mercato attraverso la ricerca di relazioni tra mercati diversi. Spesso, viene calcolata una correlazione tra due mercati, affermano S&P 500 e titoli del tesoro statunitensi trentennali. Questi calcoli sono spesso basati sui dati sui prezzi, il che è ovvio per tutti che non si adatta alla definizione di serie temporali fisse.

Possibili soluzioni a parte (utilizzando invece i rendimenti), il calcolo della correlazione i cui dati non stazionari è anche un calcolo statistico valido?

Diresti che un tale calcolo di correlazione è in qualche modo inaffidabile o semplicemente assurdità?

correlation stationarity

— Milktrader
fonte

cosa intendi con "calcolo statistico valido" dovresti dire un calcolo statistico (stima) valido di qualcosa. Qui qualcosa è molto importante. La correlazione è un calcolo valido della relazione lineare tra due serie di dati. Non capisco perché hai bisogno di stazionarietà, intendevi auto-correlazione?

— Robin Girard,

esiste un nuovo sito che potrebbe essere più adatto alla tua domanda: quant.stackexchange.com . Ora stai chiaramente confondendo il calcolo con l'interpretazione.

— mpiktas,

@mpiktas, la comunità quantistica si basa sull'utilizzo dei rendimenti rispetto ai prezzi a causa della stazionarietà dei rendimenti e della non stazionarietà dei prezzi. Sto chiedendo qui qualcosa di più di una spiegazione intuitiva del perché questo dovrebbe essere così.

— Milktrader,

@robin, ci sono diverse cose che potrebbero farti mettere in dubbio un'analisi statistica. Mi viene in mente la dimensione del campione, così come le cose più ovvie come i dati manipolati. La non stazionarietà dei dati mette in discussione un calcolo di correlazione?

— Milktrader,

non il calcolo, forse l'interpretazione se la correlazione non è elevata. Se è alto significa alta correlazione (cioè alta relazione lineare), due serie temporali non stazionarie dicono e possono essere potenzialmente altamente correlate (ad esempio quando .

(X_{t})

$(X_t)$

(Y_{t})

$(Y_t)$

X_{t} = Y_{t}

$X_t=Y_t$

— robin girard

Risposte:

La correlazione misura la relazione lineare. Nel contesto informale la relazione significa qualcosa di stabile. Quando calcoliamo la correlazione del campione per le variabili stazionarie e aumentiamo il numero di punti dati disponibili, questa correlazione del campione tende alla vera correlazione.

Si può dimostrare che per i prezzi, che di solito sono passeggiate casuali, la correlazione del campione tende a una variabile casuale. Ciò significa che, indipendentemente da quanti dati abbiamo, il risultato sarà sempre diverso.

Nota che ho provato ad esprimere l'intuizione matematica senza la matematica. Dal punto di vista matematico la spiegazione è molto chiara: i momenti di esempio di processi stazionari convergono in probabilità in costanti. I momenti di esempio di camminate casuali convergono in integrali di moto browniano che sono variabili casuali. Poiché la relazione viene solitamente espressa come un numero e non come una variabile casuale, diventa evidente la ragione per cui non si calcola la correlazione per variabili non stazionarie.

Aggiornamento Poiché siamo interessati alla correlazione tra due variabili, assumiamo innanzitutto che provengano dal processo stazionario . La stazionarietà implica che e non dipendono da . Quindi correlazione $Z_t=(X_t,Y_t)$ $EZ_t$ $cov(Z_t,Z_{t-h})$ $t$

c o r r (X_{t}, Y_{t}) = \frac{c o v (X_{t}, Y_{t})}{\sqrt{D X_{t} D Y_{t}}}

$corr(X_t,Y_t)=\frac{cov(X_t,Y_t)}{\sqrt{DX_tDY_t}}$

inoltre non dipende da , poiché tutte le quantità nella formula provengono da matrice , che non dipende da . Quindi il calcolo della correlazione del campione $t$ $cov(Z_t)$ $t$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (X_{t} - \bar{X}) (Y_{t} - \bar{Y})}{\sqrt{\frac{1}{T^{2}} \sum_{t = 1}^{T} (X_{t} - \bar{X})^{2} \sum_{t = 1}^{T} (Y_{t} - \bar{Y})^{2}}}

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^T(X_t-\bar{X})(Y_t-\bar{Y})}{\sqrt{\frac{1}{T^2}\sum_{t=1}^T(X_t-\bar{X})^2\sum_{t=1}^T(Y_t-\bar{Y})^2}}$ ha senso, dal momento che potremmo avere ragionevoli speranze che la correlazione del campione . Si scopre che questa speranza non è infondata, poiché per i processi stazionari che soddisfano determinate condizioni abbiamo che , come in probabilità. Inoltre nella distribuzione, in modo da poter testare le ipotesi su .

ρ = c o r r (X_{t}, Y_{t})

$\rho=corr(X_t,Y_t)$

\hat{ρ} \to ρ

$\hat{\rho}\to\rho$

T \to \infty

$T\to\infty$

\sqrt{T} (\hat{ρ} - ρ) \to N (0, σ_{ρ}^{2})

$\sqrt{T}(\hat{\rho}-\rho)\to N(0,\sigma_{\rho}^2)$

ρ

$\rho$

Supponiamo ora che non sia fermo. Quindi può dipendere da . Quindi, quando osserviamo un campione di dimensione potremmo possibilmente stimare correlazioni diverse . Questo è ovviamente impossibile, quindi nel migliore dei casi possiamo solo stimare alcune funzionalità di come media o varianza. Ma il risultato potrebbe non avere un'interpretazione sensata. $Z_t$ $corr(X_t,Y_t)$ $t$ $T$ $T$ $\rho_t$ $\rho_t$

Esaminiamo ora cosa succede con la correlazione della camminata casuale di processo non stazionario probabilmente più studiata. Chiamiamo il processo una camminata casuale se , dove è un processo stazionario. Per semplicità supponiamo che . Poi $Z_t=(X_t,Y_t)$ $Z_t=\sum_{s=1}^t(U_t,V_t)$ $C_t=(U_t,V_t)$ $EC_t=0$

\begin{aligned} c o r r (X_{t} Y_{t}) = \frac{E X_{t} Y_{t}}{\sqrt{D X_{t} D Y_{t}}} = \frac{E \sum_{s = 1}^{t} U_{t} \sum_{s = 1}^{t} V_{t}}{\sqrt{D \sum_{s = 1}^{t} U_{t} D \sum_{s = 1}^{t} V_{t}}} \end{aligned}

$\begin{align} corr(X_tY_t)=\frac{EX_tY_t}{\sqrt{DX_tDY_t}}=\frac{E\sum_{s=1}^tU_t\sum_{s=1}^tV_t}{\sqrt{D\sum_{s=1}^tU_tD\sum_{s=1}^tV_t}} \end{align}$

Per semplificare ulteriormente le cose, supponiamo che sia un rumore bianco. Ciò significa che tutte le correlazioni sono zero per . Si noti che ciò non limita a zero. $C_t=(U_t,V_t)$ $E(C_tC_{t+h})$ $h>0$ $corr(U_t,V_t)$

Quindi

\begin{aligned} c o r r (X_{t}, Y_{t}) = \frac{t E U_{t} V_{t}}{\sqrt{t^{2} D U_{t} D V_{t}}} = c o r r (U_{0}, V_{0}) . \end{aligned}

$\begin{align} corr(X_t,Y_t)=\frac{tEU_tV_t}{\sqrt{t^2DU_tDV_t}}=corr(U_0,V_0). \end{align}$

Fin qui tutto bene, sebbene il processo non sia stazionario, la correlazione ha un senso, anche se abbiamo dovuto fare le stesse ipotesi restrittive.

Ora, per vedere cosa succede alla correlazione campionaria, dovremo usare il fatto seguente sulle passeggiate casuali, chiamato teorema del limite centrale funzionale:

\begin{aligned} \frac{1}{\sqrt{T}} Z_{[T s]} = \frac{1}{\sqrt{T}} \sum_{t = 1}^{[T s]} C_{t} \to (c o v (C_{0}))^{- 1 / 2} W_{s}, \end{aligned}

$\begin{align} \frac{1}{\sqrt{T}}Z_{[Ts]}=\frac{1}{\sqrt{T}}\sum_{t=1}^{[Ts]}C_t\to (cov(C_0))^{-1/2}W_s, \end{align}$ nella distribuzione, dove e è bivariato Moto browniano (processo di salciccia bidimensionale). Per comodità introdurre la definizione .

s \in [0, 1]

$s\in[0,1]$

W_{s} = (W_{1 s}, W_{2 s})

$W_s=(W_{1s},W_{2s})$

M_{s} = (M_{1 s}, M_{2 s}) = (c o v (C_{0}))^{- 1 / 2} W_{s}

$M_s=(M_{1s},M_{2s})=(cov(C_0))^{-1/2}W_s$

Ancora una volta, per semplicità, definiamo la correlazione del campione come

\begin{aligned} \hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} X_{t} Y_{t}}{\sqrt{\frac{1}{T} \sum_{t = 1}^{T} X_{t}^{2} \frac{1}{T} \sum_{t = 1}^{T} Y_{t}^{2}}} \end{aligned}

$\begin{align} \hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^TX_{t}Y_t}{\sqrt{\frac{1}{T}\sum_{t=1}^TX_t^2\frac{1}{T}\sum_{t=1}^TY_t^2}} \end{align}$

Cominciamo con le variazioni. abbiamo

\begin{aligned} E \frac{1}{T} \sum_{t = 1}^{T} X_{t}^{2} = \frac{1}{T} E \sum_{t = 1}^{T} {(\sum_{s = 1}^{t} U_{t})}^{2} = \frac{1}{T} \sum_{t = 1}^{T} t σ_{U}^{2} = σ_{U} \frac{T + 1}{2} . \end{aligned}

$\begin{align} E\frac{1}{T}\sum_{t=1}^TX_t^2=\frac{1}{T}E\sum_{t=1}^T\left(\sum_{s=1}^tU_t\right)^2=\frac{1}{T}\sum_{t=1}^Tt\sigma_U^2=\sigma_U\frac{T+1}{2}. \end{align}$

Questo va all'infinito all'aumentare di , quindi si incontra il primo problema, la varianza del campione non converge. D'altra parte, il teorema della mappatura continua in combinazione con il teorema del limite centrale funzionale ci dà $T$

\begin{aligned} \frac{1}{T^{2}} \sum_{t = 1}^{T} X_{t}^{2} = \sum_{t = 1}^{T} \frac{1}{T} {(\frac{1}{\sqrt{T}} \sum_{s = 1}^{t} U_{t})}^{2} \to \int_{0}^{1} M_{1 s}^{2} d s \end{aligned}

$\begin{align} \frac{1}{T^2}\sum_{t=1}^TX_t^2=\sum_{t=1}^T\frac{1}{T}\left(\frac{1}{\sqrt{T}}\sum_{s=1}^tU_t\right)^2\to \int_0^1M_{1s}^2ds \end{align}$ dove la convergenza è convergenza nella distribuzione, come .

T \to \infty

$T\to \infty$

Allo stesso modo otteniamo

\begin{aligned} \frac{1}{T^{2}} \sum_{t = 1}^{T} Y_{t}^{2} \to \int_{0}^{1} M_{2 s}^{2} d s \end{aligned}

$\begin{align} \frac{1}{T^2}\sum_{t=1}^TY_t^2\to \int_0^1M_{2s}^2ds \end{align}$ e

\begin{aligned} \frac{1}{T^{2}} \sum_{t = 1}^{T} X_{t} Y_{t} \to \int_{0}^{1} M_{1 s} M_{2 s} d s \end{aligned}

$\begin{align} \frac{1}{T^2}\sum_{t=1}^TX_tY_t\to \int_0^1M_{1s}M_{2s}ds \end{align}$

Quindi finalmente per la correlazione campionaria della nostra camminata casuale otteniamo

\begin{aligned} \hat{ρ} \to \frac{\int_{0}^{1} M_{1 s} M_{2 s} d s}{\sqrt{\int_{0}^{1} M_{1 s}^{2} d s \int_{0}^{1} M_{2 s}^{2} d s}} \end{aligned}

$\begin{align} \hat{\rho}\to \frac{\int_0^1M_{1s}M_{2s}ds}{\sqrt{\int_0^1M_{1s}^2ds\int_0^1M_{2s}^2ds}} \end{align}$ nella distribuzione come .

T \to \infty

$T\to \infty$

Quindi, sebbene la correlazione sia ben definita, la correlazione del campione non converge verso di essa, come nel caso del processo stazionario. Invece converge in una certa variabile casuale.

— mpiktas
fonte

La spiegazione matematica del punto di vista è ciò che stavo cercando. Mi dà qualcosa da contemplare ed esplorare ulteriormente. Grazie.

— Milktrader,

Questa risposta sembra eludere la domanda originale: non stai semplicemente dicendo che sì, il calcolo della correlazione ha senso per i processi stazionari?

— whuber

@whuber, stavo rispondendo alla domanda tenendo presente il commento, ma rileggo di nuovo la domanda e per quanto ho capito l'OP chiede informazioni sul calcolo della correlazione per i dati non stazionari. Il calcolo della correlazione per i processi fissi ha senso, tutta l'analisi macroeconometrica (VAR, VECM) si basa su questo.

— mpiktas,

Proverò a chiarire la mia domanda con una risposta.

— whuber

@whuber il mio allontanamento dalla risposta è che una correlazione basata su dati non stazionari produce una variabile casuale, che può essere utile o meno. La correlazione basata su dati stazionari converge in una costante. Questo potrebbe spiegare perché i trader siano attratti dalla "correlazione rolling x-day" perché il comportamento correlato è fugace e spurio. Se la "correlazione rolling x-day" è valida o utile è per un'altra domanda.

— Milktrader,

... è il calcolo della correlazione i cui dati non stazionari è anche un valido calcolo statistico?

Lascia che sia una passeggiata casuale discreta. Scegli un numero positivo . Definire i processi e con , se , e in caso contrario ; e . In altre parole, inizia identico a ma ogni volta che sale sopra , cambia segno (altrimenti emula sotto tutti gli aspetti). $W$ $h$ $P$ $V$ $P(0) = 1$ $P(t+1) = -P(t)$ $V(t) > h$ $P(t+1) = P(t)$ $V(t) = P(t)W(t)$ $V$ $W$ $V$ $h$ $W$

inserisci qui la descrizione dell'immagine

(In questa figura (per ) è blu e è rosso. Ci sono quattro interruttori nel segno.) $h=5$ $W$ $V$

In effetti, per brevi periodi di tempo tende ad essere perfettamente correlato con o perfettamente correlato con esso; tuttavia, utilizzare una funzione di correlazione per descrivere la relazione tra e non sarebbe utile (una parola che forse cattura più appropriatamente il problema di "inaffidabile" o "nonsenso"). $V$ $W$ $V$ $W$

Codice Mathematica per produrre la figura:

With[{h=5},
pv[{p_, v_}, w_] := With[{q=If[v > h, -p, p]}, {q, q w}];
w = Accumulate[RandomInteger[{-1,1}, 25 h^2]];
{p,v} = FoldList[pv, {1,0}, w] // Transpose;
ListPlot[{w,v}, Joined->True]]

— whuber
fonte

è positivo che la tua risposta lo sottolinei ma non direi che il processo è correlato, direi che sono dipendenti. Questo è il punto. Il calcolo della correlazione è valido e qui dirà "nessuna correlazione" e sappiamo tutti che questo non significa "nessuna dipendenza".

— Robin Girard,

@robin Questo è un buon punto, ma ho costruito questo esempio in modo specifico in modo che per periodi potenzialmente lunghi questi due processi siano perfettamente correlati. Il problema non riguarda la dipendenza rispetto alla correlazione, ma è intrinsecamente correlato a un fenomeno più sottile: che la relazione tra i processi cambia in periodi casuali. Questo, in poche parole, è esattamente ciò che può accadere nei mercati reali (o almeno dovremmo preoccuparci che ciò accada!).

— whuber

@whubert sì, e questo è un ottimo esempio che mostra che ci sono processi che hanno una correlazione molto alta per periodi di tempo potenzialmente lunghi e che ancora non sono affatto correlati (ma altamente dipendenti) quando si considera la scala temporale più ampia.

— Robin Girard,

@robin girard, penso che la chiave qui sia che per i processi non stazionari la correlazione teorica varia con il tempo, mentre per i processi stazionari la correlazione teorica rimane la stessa. Quindi, con la correlazione del campione che in pratica è un numero, è impossibile catturare la variazione delle correlazioni reali in caso di processi non stazionari.

— mpiktas,