La funzione di autocorrelazione descrive completamente un processo stocastico?

Un processo stocastico è completamente descritto dalla sua funzione di autocorrelazione?

In caso contrario, quali proprietà aggiuntive sarebbero necessarie?

Cosa si intende per descrizione completa di un processo stocastico? Bene, matematicamente, un processo stocastico è una raccolta di variabili casuali, una per ogni istante in un set di indici , dove di solito è l'intera linea reale o la linea reale positiva e una descrizione completa significa che per ogni numero intero e istanti di tempo , conosciamo le distribuzioni (congiunte) di le variabili casuali , ,$\{X(t) : t \in {\mathbb T}\}$$t$ $\mathbb T$$\mathbb T$$n \geq 1$$n$$t_1, t_2, \ldots, t_n \in \mathbb T$$n$$X(t_1)$$X(t_2)$$\ldots, X(t_n)$. Questa è un'enorme quantità di informazioni: dobbiamo conoscere il CDF di per ogni istante , il CDF bidimensionale) di e per tutte le scelte di istanti di tempo e , i CDF (tridimensionali) di , e , ecc. ecc. ecc.$X(t)$$t$$X(t_1)$$X(t_2)$$t_1$$t_2$$X(t_1)$$X(t_2)$$X(t_3)$

Quindi, naturalmente, le persone hanno cercato descrizioni più semplici e modelli più restrittivi. Una semplificazione si verifica quando il processo è invariante a una modifica dell'origine temporale. Ciò significa che

• Tutte le variabili casuali nel processo hanno CDF identici: per tutti .$F_{X(t_1)}(x) = F_{X(t_2)}(x)$$t_1, t_2$
• Qualsiasi due variabili casuali separate da un determinato periodo di tempo hanno lo stesso CDF comune di qualsiasi altra coppia di variabili casuali separate dallo stesso periodo di tempo. Ad esempio, le variabili casuali e sono separate da secondi, così come le variabili casuali e , e quindi$X(t_1)$$X(t_1 + \tau)$$\tau$$X(t_2)$$X(t_2 + \tau)$$F_{X(t_1), X(t_1 + \tau)}(x,y) = F_{X(t_2), X(t_2 + \tau)}(x,y)$
• Ogni tre variabili casuali , , distanziate e hanno lo stesso CDF comune di , , che distanziano anche e ,$X(t_1)$$X(t_1 + \tau_1)$$X(t_1 + \tau_1 + \tau_2)$$\tau_1$$\tau_2$$X(t_2)$$X(t_2 + \tau_1)$$X(t_2 + \tau_1 + \tau_2)$$\tau_1$$\tau_2$
• e così via per tutti i CDF multidimensionali. Vedi, ad esempio, la risposta di Peter K. per i dettagli del caso multidimensionale.

In effetti, le descrizioni probabilistiche del processo casuale non dipendono da ciò che scegliamo di chiamare l'origine sull'asse del tempo: spostando tutti gli istanti temporali di un importo fisso su fornisce la stessa descrizione probabilistica delle variabili casuali. Questa proprietà è chiamata stazionarietà di senso stretto e un processo casuale che gode di questa proprietà è chiamato un processo casuale strettamente stazionario o, più semplicemente, un processo casuale stazionario. $t_1, t_2, \ldots, t_n$$\tau$$t_1 + \tau, t_2 + \tau, \ldots, t_n + \tau$

Si noti che la rigorosa stazionarietà da sola non richiede alcuna forma particolare di CDF. Ad esempio, non dice che tutte le variabili sono gaussiane.

L'aggettivo suggerisce rigorosamente che è possibile definire una forma più libera di stazionarietà. Se la order CDF congiunta di è lo stesso della joint-order CDF di per tutte le scelte di e , quindi si dice che il processo casuale sia stazionario per ordinare e viene definito processo casuale stazionario a ordine . Si noti che un processo casuale stazionario con ordine è anche stazionario per ordinare per ciascun positivo$N^{\text{th}}$$X(t_1), X(t_2), \ldots, X(t_N)$$N^{\text{th}}$$X(t_1+\tau), X(t_2+\tau), \ldots, X(t_N +\tau)$$t_1,t_2, \ldots, t_N$$\tau$$N$$N^{\text{th}}$$N^{\text{th}}$$n$$n < N$ . (Questo perché il CDF con ordine è il limite del CDF con ordine come degli argomenti approccio : una generalizzazione di ). Un processo casuale strettamente stazionario allora è un processo casuale che è stazionario a tutti gli ordini .$n^{\text{th}}$$N^{\text{th}}$$N-n$$\infty$$F_X(x) = \lim_{y\to\infty}F_{X,Y}(x,y)$$N$

Se un processo casuale è fermo (almeno) all'ordine , allora tutte le hanno la stessa distribuzione e quindi, supponendo che la media esista, è uguale per tutti . Allo stesso modo, è lo stesso per tutte le , ed è indicato come il potere del processo. Tutti i processi fisici hanno un potere finito e quindi è comune supporre che nel qual caso, e specialmente nella letteratura ingegneristica precedente, il processo è chiamato processo di secondo ordine . La scelta del nome è sfortunata perché invita alla confusione con il secondo ordine $1$$X(t)$$E[X(t)] = \mu$$t$$E[(X(t))^2]$$t$$E[(X(t))^2] < \infty$stazionarietà (cfr. questa mia risposta su stats.SE ), e quindi qui chiameremo un processo per cui è finito per tutto (indipendentemente dal fatto che è una costante) come processo a potenza finita ed evita questa confusione. Ma notalo ancora$E[(X(t))^2]$$t$$E[(X(t))^2]$

un processo stazionario di primo ordine non deve necessariamente essere un processo a potenza finita.

Prendi in considerazione un processo casuale stazionario per ordinare . Ora, poiché la distribuzione congiunta di e è uguale alla funzione di distribuzione congiunta di e , e il valore dipende solo da . Queste aspettative sono limitate per un processo a potenza finita e il loro valore è chiamato funzione di autocorrelazione del processo: è una funzione di , il tempo separazione delle variabili casuali e e non dipende da$2$$X(t_1)$$X(t_1 + \tau)$$X(t_2)$$X(t_2 + \tau)$$E[X(t_1)X(t_1 + \tau)] = E[X(t_2)X(t_2 + \tau)]$$\tau$$R_X(\tau) = E[X(t)X(t+\tau)]$$\tau$$X(t)$$X(t+\tau)$$t$affatto. Si noti inoltre che quindi la funzione di autocorrelazione è una funzione uniforme del suo argomento.

Un processo casuale stazionario di secondo ordine a potenza finita ha le proprietà che

1. La sua media è una costante$E[X(t)]$
2. La sua funzione di autocorrelazione è una funzione di , la separazione temporale delle variabili casuali e , e lo fa non dipende affatto da .$R_X(\tau) = E[X(t)X(t+\tau)]$$\tau$$X(t)$$X(t+\tau)$$t$

L'assunto della stazionarietà semplifica in qualche modo la descrizione di un processo casuale ma, per ingegneri e statistici interessati a costruire modelli da dati sperimentali, stimare tutti quei CDF è un compito non banale, in particolare quando esiste solo un segmento di un percorso di campionamento (o realizzazione) su cui è possibile effettuare le misurazioni. Due misurazioni relativamente facili da eseguire (poiché l'ingegnere ha già gli strumenti necessari sul suo banco di lavoro (o programmi in MATLAB / Python / Octave / C ++ nella sua libreria software) sono il valore DC di e la funzione di autocorrelazione$x(t)$ $\frac 1T\int_0^T x(t)\,\mathrm dt$$x(t)$$R_x(\tau) = \frac 1T\int_0^T x(t)x(t+\tau)\,\mathrm dt$(o la sua trasformata di Fourier, lo spettro di potenza di ). Prendendo queste misurazioni come stime della media e della funzione di autocorrelazione di un processo a potenza finita si ottiene un modello molto utile che discuteremo in seguito.$x(t)$

Un processo casuale a potenza finita è chiamato processo WSS ( wide-sense-stazionario ) (anche un processo casuale debolmente stazionario che fortunatamente ha anche lo stesso inizialismo WSS) se ha una media costante e la sua funzione di autocorrelazione dipende solo dalla differenza di tempo (o ).$R_X(t_1, t_2) = E[X(t_1)X(t_2)]$$t_1 - t_2$$t_2 - t_1$

Si noti che la definizione non dice nulla sui CDF delle variabili casuali che compongono il processo; è interamente un vincolo ai momenti del primo ordine e del secondo ordine delle variabili casuali. Naturalmente, un processo casuale stazionario di secondo ordine (o tipo stazionario (per ) o rigorosamente stazionario) è un processo WSS, ma non è necessario che sia vero il contrario.$N^{\text{th}}$$N>2$

Un processo WSS non deve necessariamente essere fermo in alcun ordine.

Si consideri, ad esempio, il processo casuale dove assume quattro valori ugualmente probabili e . (Non abbiate paura: i quattro possibili percorsi di campionamento di questo processo casuale sono solo le quattro forme d'onda del segnale di un segnale QPSK). Si noti che ogni è una variabile casuale discreta che, in generale, assume quattro valori ugualmente probabili e , È facile vedere che in generale e$\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$$\Theta$$0, \pi/2, \pi$$3\pi/2$$X(t)$$\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$$\cos(t+3\pi/2)=\sin(t)$$X(t)$$X(s)$hanno distribuzioni diverse, e quindi il processo non è nemmeno stazionario di primo ordine. D'altra parte, per ogni mentre In breve, il processo ha una media zero e la sua funzione di autocorrelazione dipende solo dalla differenza di tempo , e quindi il processo è in senso lato stazionario. Ma non è stazionario di primo ordine e quindi non può neanche essere stazionario di ordini superiori.

Anche per i processi WSS che sono processi casuali stazionari (o strettamente stazionari) di secondo ordine, si può dire poco sulle forme specifiche delle distribuzioni delle variabili casuali. In breve,

Un processo WSS non è necessariamente stazionario (per qualsiasi ordine) e la funzione media e di autocorrelazione di un processo WSS non è sufficiente per fornire una descrizione statistica completa del processo.

Supponiamo infine che un processo stocastico sia assunto come un processo gaussiano ("dimostrarlo" con un ragionevole grado di fiducia non è un compito banale). Ciò significa che per ogni , è una variabile casuale gaussiana e per tutti gli interi positivi e le scelte di istanti , , , le variabili casuali , , sono variabili casuali congiuntamente gaussiane . Ora una funzione di densità gaussiana congiunta è completamente$t$$X(t)$$n \geq 2$$n$$t_1$$t_2$$\ldots, t_n$$N$$X(t_1)$$X(t_2)$$\ldots, X(t_n)$determinato dalla media, dalle varianze e dalle covarianze delle variabili casuali, e in questo caso, conoscendo la funzione media (non è necessario che sia una costante come è richiesto per il wide-sense -stationarity) e la funzione di autocorrelazione per tutti (non è necessario che dipenda solo da come richiesto per la stazionarietà wide-sense) è sufficiente per determinare completamente le statistiche del processo.$\mu_X(t) = E[X(t)]$$R_X(t_1, t_2) = E[X(t_1)X(t_2)]$$t_1, t_2$$t_1-t_2$

Se il processo gaussiano è un processo WSS, allora è anche un processo gaussiano strettamente stazionario . Fortunatamente per ingegneri e processori di segnali, molti processi di rumore fisico possono essere ben modellati come processi gaussiani WSS (e quindi processi strettamente stazionari), in modo che l'osservazione sperimentale della funzione di autocorrelazione fornisca prontamente tutte le distribuzioni articolari. Inoltre, poiché i processi gaussiani mantengono il loro carattere gaussiano mentre attraversano i sistemi lineari e la funzione di autocorrelazione dell'output è correlata alla funzione di autocorrelazione dell'input come