Quando fallisce la legge dei grandi numeri?

La domanda è semplicemente cosa si afferma nel titolo: quando fallisce la legge dei grandi numeri? Quello che voglio dire è, in quali casi la frequenza di un evento non tenderà alla probabilità teorica?

probability mathematical-statistics law-of-large-numbers

— emanuele
fonte

Esistono due teoremi (di Kolmogorov) ed entrambi richiedono che il valore atteso sia finito. Il primo vale quando le variabili sono IID, il secondo quando il campionamento è indipendente e la varianza di $X_n$ soddisfa

\sum_{n = 1}^{\infty} \frac{V (X_{n})}{n^{2}} < \infty

$\sum_{n=1}^\infty \frac{V(X_n)}{n^2} < \infty$

Di 'tutto abbiano un valore atteso di 0, ma la loro varianza è quindi la condizione ovviamente fallisce. Cosa succede allora? Puoi ancora calcolare una media stimata, ma quella media non tenderà a 0 man mano che campionerai sempre più in profondità. Tenderà a deviare sempre di più man mano che continui il campionamento. $X_n$ $n^2$

Facciamo un esempio. Supponiamo che sia uniforme $X_n$ modo che la condizione sopra non abbia esito negativo. $U(-n2^n , n2^n)$

\sum_{n = 1}^{\infty} \frac{V (X_{n})}{n^{2}} = \sum_{n = 1}^{\infty} \frac{n^{2} 2^{2 n + 2}}{12} \frac{1}{n^{2}} = \frac{1}{3} \sum_{n = 1}^{\infty} 4^{n} = \infty .

$\sum_{n=1}^\infty \frac{V(X_n)}{n^2} = \sum_{n=1}^\infty \frac{n^2 2^{2n+2}}{12}\frac{1}{n^2} = \frac{1}{3} \sum_{n=1}^\infty 4^n = \infty.$

Notandolo

{\bar{X}}_{n} = \frac{X_{n}}{n} + \frac{n - 1}{n} {\bar{X}}_{n - 1},

$\bar{X}_n = \frac{X_n}{n} + \frac{n-1}{n}\bar{X}_{n-1},$

vediamo per induzione che la media calcolata è sempre all'interno dell'intervallo . Utilizzando la stessa formula per , vediamo anche che c'è sempre una possibilità maggiore di che si trova al di fuori . Anzi, $\bar{X}_n$ $(-2^n, 2^n)$ $n+1$ $1/8$ $\bar{X}_{n+1}$ $(-2^n, 2^n)$ è uniformee esulacon probabilità. D'altra parte, $\frac{X_{n+1}}{n+1}$ $U(-2^{n+1},2^{n+1})$ $(-2^n, 2^n)$ $1/4$ è aper induzione, e per simmetria è positiva con probabilità. Da queste osservazioni segue immediatamente cheè maggiore dio inferiore a, ciascuno con una probabilità maggiore di. Poiché la probabilità che $\frac{n}{n+1}\bar{X}_n$ $(-2^n, 2^n)$ $1/2$ $\bar{X}_{n+1}$ $2^n$ $-2^n$ $1/16$ è maggiore di $|\bar{X}_{n+1}| > 2^n$ $1/8$ $n$

Ora, per rispondere in modo specifico alla tua domanda, considera un evento $A$

lim_{n \to \infty} \frac{1}{n} \sum_{k = 1}^{n} 1_{A} (X_{k}) = P (X \in A), [P] a . s .

$\lim_{n \rightarrow \infty} \frac{1}{n}\sum_{k = 1}^{n} 1_A(X_k) = P(X \in A), \; [P]\;a.s.$

$1_A$ $A$ $1_A(X_k) = 1$ $X_k \in A$ $0$ $X_k$ $X$

$X_k$

$X_k$ $X_1$ $k$ $n$ $A$ abbia probabilità 0 o 1 ovviamente). Questo è un esempio falso ed estremo. Non sono a conoscenza di casi pratici in cui non si verificherà la convergenza con la probabilità teorica. Tuttavia, la potenzialità esiste se il campionamento non è indipendente.

— gui11aume
fonte

Un commento. Su Wikipedia (pagina lnl) ho letto che la non finezza della varianza rallenta solo la convergenza del valore medio. È diverso da quello che affermi?

— emanuele,

State discutendo della stessa legge? La domanda si pone sulle frequenze degli eventi mentre questa risposta sembra concentrarsi sulla distribuzione campionaria di una media . Sebbene ci sia una connessione, non è ancora apparso esplicitamente qui per quanto ne so.

— whuber

@whuber True. Mi sono concentrato troppo sul titolo della domanda. Grazie per aver indicato. Ho aggiornato la risposta.

— gui11aume,

@ gui11aume non capisco "Vediamo che la condizione sopra sarà valida, perché la varianza di una funzione dell'indicatore è limitata sopra di 1/4". Cosa significa?

— emanuele,

Se sono distribuiti in modo identico, ma non indipendenti, il limite in questione potrebbe non esistere affatto.

— cardinale