Qual è la distinzione tra ergodico e stazionario?

Ho difficoltà a distinguere tra questi due concetti. Questa è la mia comprensione finora.

Un processo stazionario è un processo stocastico le cui proprietà statistiche non cambiano con il tempo. Per un processo stazionario di senso stretto, ciò significa che la sua distribuzione di probabilità congiunta è costante; per un processo stazionario di ampio senso, ciò significa che il suo primo e il secondo momento sono costanti.

Un processo ergodico è un processo in cui le sue proprietà statistiche, come la varianza, possono essere dedotte da un campione sufficientemente lungo. Ad esempio, la media del campione converge alla media reale del segnale, se la media è abbastanza lunga.

Ora, mi sembra che un segnale dovrebbe essere fermo, per essere ergodico.

• E quali tipi di segnali potrebbero essere stazionari, ma non ergodici?
• Se un segnale ha la stessa varianza per sempre, ad esempio, come potrebbe la varianza media nel tempo non convergere al valore reale?
• Quindi, qual è la vera distinzione tra questi due concetti?
• Puoi darmi un esempio di un processo che è fermo senza essere ergodico o ergodico senza essere fermo?

Un processo casuale è una raccolta di variabili casuali, una per ogni istante in esame. In genere questo può essere un tempo continuo ( $-\infty < t < \infty$ ) o un tempo discreto (tutti gli interi $n$ , o tutti gli istanti di tempo $nT$ dove $T$ è l'intervallo di campionamento).

• La stazionarietà si riferisce alle distribuzioni delle variabili casuali. Nello specifico, in un processo stazionario, tutte le variabili casuali hanno la stessa funzione di distribuzione e, più in generale, per ogni numero intero positivo $n$ e $n$ istanti di tempo $t_1, t_2, \ldots, t_n$ , la distribuzione congiunta delle $n$ variabili casuali $X(t_1), X(t_2), \cdots, X(t_n)$ è uguale alla distribuzione congiunta di$X(t_1+\tau), X(t_2+\tau), \cdots, X(t_n+\tau)$ . Cioè, se spostiamo gli istanti di tutti i tempi di$\tau$ , la descrizione statistica del processo non cambia affatto:il processo è stazionario.
• L'ergodicità, d'altra parte, non esamina le proprietà statistiche delle variabili casuali ma i percorsi di campionamento , cioè ciò che si osserva fisicamente. Facendo riferimento alle variabili casuali, ricordare che le variabili casuali sono mappature da uno spazio campione ai numeri reali; ogni risultato è mappato su un numero reale e diverse variabili casuali in genere mappano qualsiasi risultato dato a numeri diversi. Quindi, immagina che alcuni esseri superiori abbiano eseguito l'esperimento che ha portato a un risultato $\omega$ nello spazio del campione e che questo risultato è stato mappato su numeri reali (tipicamente diversi) da tutte le variabili casuali nel processo: in particolare, la variabile casuale $X(t)$ ha mappato$\omega$ ad un numero reale indicheremo come$x(t)$ . Inumeri $x(t)$ , considerati come una forma d'onda, sono ilpercorsodelcampionecorrispondente a$\omega$ e risultati diversi ci forniranno percorsi del campione diversi. L'ergodicità si occupa quindi delle proprietà dei percorsi del campione e di come queste proprietà si relazionano con le proprietà delle variabili casuali che compongono il processo casuale.

Ora, per un percorso di esempio $x(t)$ da un processo stazionario , possiamo calcolare la media temporale

$$\bar{x} = \frac{1}{2T} \int_{-T}^T x(t) \,\mathrm dt$$ $\bar{x}$$\mu = E[X(t)]$$t$ $$\lim_{T\to \infty}\bar{x} = \lim_{T\to \infty}\frac{1}{2T} \int_{-T}^T x(t) \,\mathrm dt$$ è uguale a Si dice che un processo per cui tale uguaglianza sia medio-ergodico e un processo sia medio-ergodico se la sua funzione di autocovarianza ha la proprietà:
$$\mu = E[X(t)] = \int_{-\infty}^\infty uf_X(u) \,\mathrm du.$$ $C_X(\tau)$ $$\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^T C_X(\tau) \mathrm d\tau = 0.$$

Pertanto, non tutti i processi fissi devono essere media-ergodici. Ma ci sono anche altre forme di ergodicità. Ad esempio, per un autocovarianza ergodica processo, la funzione autocovarianza di un segmento finita (diciamo per del percorso del campione converge alla funzione di autocovarianza del processo come . Un'affermazione generale che un processo è ergodico potrebbe significare una delle varie forme o potrebbe significare una forma specifica; non si può dire,$t\in (-T, T)$$x(t)$$C_X(\tau)$$T\to \infty$

Come esempio della differenza tra i due concetti, supponiamo che per tutte le in esame. Qui è una variabile casuale. Questo è un processo stazionario: ogni ha la stessa distribuzione (vale a dire, la distribuzione di ), stessa media , stessa varianza ecc .; ogni e hanno la stessa distribuzione congiunta (sebbene sia degenerata) e così via. Ma il processo non è ergodico perché ogni percorso del campione è una costante . In particolare, se risulta una prova dell'esperimento (eseguita da te o da un essere superiore)$X(t) = Y$$t$$Y$$X(t)$$Y$$E[X(t)] = E[Y]$$X(t_1)$$X(t_2)$$Y$ con valore , quindi il percorso del campione del processo casuale che corrisponde a questo risultato sperimentale ha valore per tutte le e il valore DC del percorso del campione è , non , indipendentemente da quanto tempo osservi il percorso (piuttosto noioso) del campione. In un universo parallelo, la prova comporterebbe e il percorso di esempio in quell'universo avrebbe valore per tutte le . Non è facile scrivere specifiche matematiche per escludere tali banalità dalla classe dei processi stazionari, e quindi questo è un esempio minimale di un processo casuale stazionario che non è ergodico.$\alpha$$\alpha$$t$$\alpha$$E[X(t)] = E[Y]$$Y = \beta$$\beta$$t$

Può esserci un processo casuale che non è stazionario ma è ergodico? Bene, N0 , non se per ergodico intendiamo ergodico in tutti i modi possibili a cui uno può pensare: per esempio, se misuriamo la frazione di tempo durante la quale un lungo segmento del percorso del campione ha valore al massimo , questa è una buona stima di , il valore del (comune) CDF delle è su se il processo è assunto come essere ergodico rispetto alle funzioni di distribuzione. Ma , siamo in grado di avere processi casuali che sono$x(t)$$\alpha$$P(X(t) \leq \alpha) = F_X(\alpha)$$F_X$$X(t)$$\alpha$non stazionari ma comunque media -ergodici e autocovarianza -ergodici. Ad esempio, considera il processo dove assume quattro valori ugualmente probabili e . Si noti che ogni è una variabile casuale discreta che, in generale, assume quattro valori ugualmente probabili e , È facile vedere che in generale e$\{X(t)\colon X(t)= \cos (t + \Theta), -\infty < t < \infty\}$$\Theta$$0, \pi/2, \pi$$3\pi/2$$X(t)$$\cos(t), \cos(t+\pi/2)=-\sin(t), \cos(t+\pi) = -\cos(t)$$\cos(t+3\pi/2)=\sin(t)$$X(t)$$X(s)$hanno distribuzioni diverse, e quindi il processo non è nemmeno stazionario di primo ordine. D'altra parte, per ogni mentre In breve, il processo ha una media zero e la sua funzione di autocorrelazione (e autocovarianza) dipende solo dalla differenza di tempo , quindi il processo è

$$E[X(t)] = \frac 14\cos(t)+ \frac 14(-\sin(t)) + \frac 14(-\cos(t))+\frac 14 \sin(t) = 0$$ $t$ $$\begin{align} E[X(t)X(s)]&= \left.\left.\frac 14\right[\cos(t)\cos(s) + (-\cos(t))(-\cos(s)) + \sin(t)\sin(s) + (-\sin(t))(-\sin(s))\right]\\ &= \left.\left.\frac 12\right[\cos(t)\cos(s) + \sin(t)\sin(s)\right]\\ &= \frac 12 \cos(t-s). \end{align}$$ $t-s$senso ampio stazionario. Ma non è stazionario di primo ordine e quindi non può nemmeno essere stazionario di ordini superiori. Ora, quando l'esperimento viene eseguito e il valore di è noto, otteniamo la funzione di esempio che chiaramente deve essere una di e che hanno un valore DC che è uguale a e la cui funzione di autocorrelazione è , uguale a , e quindi questo processo è medio-ergodico e autocorrelazione-ergodico anche se non è affatto stazionario. In conclusione, osservo che il processo non è ergodico rispetto alla funzione di distribuzione$\Theta$$\pm \cos(t)$$\pm \sin(t)$$0$$0$$\frac 12 \cos(\tau)$$R_X(\tau)$, cioè, non si può dire che sia ergodico sotto tutti gli aspetti.

Consideriamo un ipotetico processo casuale in cui le funzioni di esempio sono valori DC e sono diverse l'una dall'altra:

X ₁ (t) = costante = media di X ₁ (t)

X ₂ (t) = costante = media di X ₂ (t)

La media temporale di e sono costanti ma non uguali. se il mio processo è fisso e sono uguali e camper (fare riferimento alla risposta di Dilip)$X_1(t)$$X_2(t)$$X(t_1)$$X(t_2)$

Quindi la media dell'ensemble di è costante.$X(t)$

Questa media di ensemble non è certamente uguale alla media temporale di e (essi stessi non sono uguali). Questo può essere chiamato un processo stazionario ma non ergodico.$X_1(t)$$X_2(t)$

Al contrario, dove è un camper è ergodico.$X(t)=Acos(\omega t+\theta)$$\theta$

Spero che questo video (del Florida Institute of Technology. Intitolato "cos'è senso ampio, senso stretto, segnali ergodici" del Dr. Ivica Kostanic nella sua lezione sulla teoria delle comunicazioni) dalle 16:55 possa chiarire i tuoi dubbi

Un processo ergodico è un processo per il quale è possibile sostituire la media ergodica con la media temporale.

La vera media, la varianza, ecc ... sono definite seguendo un processo nel tempo e una media, ecc ... Ad esempio, se vuoi conoscere la media delle mie dimensioni, dovresti fare una media da quando sono nato a quando muoio. Ovviamente l'esempio successivo non è un processo stazionario.

La media ergodica sarebbe se invece di seguire le mie dimensioni nel tempo, congelassi il tempo e prendessi la media su un campione di singoli umani diversi. Non c'è motivo per cui questi due mezzi siano gli stessi, quindi il processo delle mie dimensioni non è ergodico.

Questo è un cattivo esempio, ma diventa più importante se si considera il semplice caso di un gas in equilibrio. Ad esempio, la velocità quadrata media è indicata (media nel tempo), ma è spesso calcolata prendendo la media dell'insieme : la media della velocità quadrata di tutte le molecole di il gas in un istante .$\bar{V^2}$$\left< V^2 \right>$$t$

La maggior parte dei teoremi della termodinamica richiede l'uso di , ma è più facile calcolare e usare . L'ipotesi ergodica è l'ipotesi che afferma che è giusto sostituire l'uno con l'altro. Un processo ergodico è un processo per il quale l'ipotesi ergodica è vera.$\bar{V^2}$$\left< V^2 \right>$

L'ipotesi ergodica è falsa nel caso generale.

Per un esempio del caso opposto (cioè un processo casuale che è ergodico ma non stazionario), si consideri un processo di rumore bianco modulato in ampiezza da un'onda quadra deterministica. La media temporale di ciascuna funzione di campionamento è uguale a zero, così come la media dell'insieme nel tempo. Quindi il processo è ergodico. Tuttavia, la varianza di ogni singola funzione del campione mostra la dipendenza dell'onda quadra originale dal tempo, quindi il processo non è stazionario.

Questo esempio particolare è stazionario ad ampio senso, ma si possono inventare esempi correlati che sono ancora ergodici ma nemmeno stazionari ad ampio senso.

come ho capito, l'esempio che segue mostra un processo ergodico e stazionario

 X1 X2 X3  | mean var ...
 1  2  3   | 2    1
 2  3  1   | 2
 3  1  2   | 2
 ----------

media 2 2 2 var 1

perché la media e la varianza di ogni colonna sono costanti nel tempo e la media e la varianza di ogni riga è costante nel tempo