Ci sono esempi di dove il teorema del limite centrale non regge?

32

Wikipedia dice -

Nella teoria della probabilità, il teorema del limite centrale (CLT) stabilisce che, nella maggior parte dei casi , quando vengono aggiunte variabili casuali indipendenti, la loro somma correttamente normalizzata tende verso una distribuzione normale (informalmente una "curva a campana") anche se le variabili originali stesse non lo sono normalmente distribuito ...

Quando dice "nella maggior parte delle situazioni", in quali situazioni il teorema limite centrale non funziona?

— Ryan McCauley
fonte

33

Per capirlo, devi prima dichiarare una versione del Teorema del limite centrale. Ecco la frase "tipica" del teorema del limite centrale:

Lindeberg – Lévy CLT. Supponiamo che sia una sequenza di variabili casuali iid con e . Lascia . Quindi quando avvicina all'infinito, le variabili casuali convergono nella distribuzione in una normale cioè ${X_1, X_2, \dots}$ $E[X_i] = \mu$ $Var[X_i] = \sigma^2 < \infty$ $S_{n}:={\frac {X_{1}+\cdots +X_{n}}{n}}$ $n$ $\sqrt{n}(S_n − \mu)$ $N(0,\sigma^2)$

$\sqrt{n} ((\frac{1}{n} Σ_{io = 1}^{n} X_{io}) - μ) \overset{d}{\to} N (0, σ^{2}) .$ ${\displaystyle {\sqrt {n}}\left(\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i}\right)-\mu \right)\ {\xrightarrow {d}}\ N\left(0,\sigma ^{2}\right).}$

Quindi, in che cosa differisce dalla descrizione informale e quali sono le lacune? Esistono diverse differenze tra la tua descrizione informale e questa descrizione, alcune delle quali sono state discusse in altre risposte, ma non completamente. Quindi, possiamo trasformarlo in tre domande specifiche:

Cosa succede se le variabili non sono distribuite in modo identico?
Cosa succede se le variabili hanno varianza infinita o media infinita?
Quanto è importante l'indipendenza?

Prendendoli uno alla volta,

Non distribuiti in modo identico , i migliori risultati generali sono le versioni di Lindeberg e Lyaponov del teorema del limite centrale. Fondamentalmente, fino a quando le deviazioni standard non crescono troppo selvaggiamente, puoi ottenere un teorema del limite centrale decente da esso.

Lyapunov CLT. [5] Supponiamo che sia una sequenza di variabili casuali indipendenti, ognuna con valore atteso finito e varianza Definisci: ${X_1, X_2, \dots}$ $\mu_i$ $\sigma^2$ $s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}$

Se per alcuni , la condizione di Lyapunov è soddisfatto, quindi una somma di converge in distribuzione in una normale variabile casuale standard, mentre n va all'infinito: $\delta > 0$ $\lim _{n\to \infty }{\frac {1}{s_{n}^{2+\delta }}}\sum_{i=1}^{n}\operatorname {E} \left[|X_{i}-\mu _{i}|^{2+\delta }\right]=0$ $X_i − \mu_i / s_n$

${{\frac {1}{s_{n}}}\sum _{i=1}^{n}\left(X_{i}-\mu_{i}\right)\ {\xrightarrow {d}}\ N(0,1).}$

Teoremi di varianza infinita simili al teorema del limite centrale esistono per variabili con varianza infinita, ma le condizioni sono significativamente più ristrette rispetto al solito teorema del limite centrale. Essenzialmente la coda della distribuzione di probabilità deve essere asintotica a per . In questo caso, i riepiloghi in scala appropriati convergono in una distribuzione stabile Levy-Alpha . $|x|^{-\alpha-1}$ $0 < \alpha < 2$

Importanza dell'indipendenza Esistono molti diversi teoremi del limite centrale per sequenze non indipendenti di . Sono tutti altamente contestuali. Come Batman sottolinea, ce n'è uno per Martingales. Questa domanda è un'area di ricerca in corso, con molte, molte varianti diverse a seconda del contesto specifico di interesse. Questa domanda su Math Exchange è un altro post correlato a questa domanda. $X_i$

— John
fonte

2

Ho rimosso un ">" randagio da una formula che penso si sia insinuata a causa del sistema di quotazione - sentiti libero di annullare la mia modifica se fosse intenzionale!

— Silverfish,

Un CLT a matrice triangolare è probabilmente un CLT più rappresentativo di quello dichiarato. Per quanto riguarda non indipendenti, i martingala CLT sono casi ragionevolmente comunemente usati.

— Batman,

@ Batman, qual è un esempio di un array CLT triangolare? Sentiti libero di modificare la mia risposta, per aggiungerla. Non ho familiarità con quello.

— Giovanni,

Qualcosa come sec. 4.2.3 in personal.psu.edu/drh20/asymp/lectures/p93to100.pdf

— Batman

1

"purché le deviazioni standard non crescano troppo selvaggiamente" O si restringono (ad esempio:

σ_{i}^{2} = σ_{i - 1}^{2} / 2

$\sigma_i^2 = \sigma_{i-1}^2/2$

— 2/2

21

Anche se sono abbastanza sicuro che abbia già ricevuto una risposta, eccone un altro:

Esistono diverse versioni del teorema del limite centrale, la più generale delle quali è data da arbitrarie funzioni di densità di probabilità, la somma delle variabili sarà distribuita normalmente con un valore medio pari alla somma dei valori medi, e la varianza è la somma delle singole varianze.

Un vincolo molto importante e rilevante è che la media e la varianza dei file PDF devono esistere e devono essere limitate.

Quindi, prendi qualsiasi pdf senza valore medio o varianza - e il teorema del limite centrale non regge più. Quindi prendiamo ad esempio una distribuzione lorentziana.

— cherubino
fonte

+1 O prendi una distribuzione con una varianza infinita, come la distribuzione di una passeggiata casuale.

— Alexis,

2

@Alexis - supponendo che tu stia guardando una passeggiata casuale in un punto finito nel tempo, avrei pensato che avrebbe avuto una varianza finita, essendo la somma di iid passi ciascuno con varianza finita

n

$n$

— Henry,

1

@Henry: No, non sto assumendo in un dato momento, ma la varianza della distribuzione di tutte le possibili passeggiate casuali di lunghezze infinite.

— Alexis,

1

@Alexis Se ogni passaggio della camminata casuale è o iid con uguale probabilità e le posizioni sono il Teorema del limite centrale implica correttamente che come hai la distribuzione di convergendo nella distribuzione in

X_{i}

$X_i$

+ 1

$+1$

- 1

$-1$

Y_{n} = \sum_{1}^{n} X_{i}

$Y_n =\sum_1^n X_i$

n \to \infty

$n \to \infty$

\sqrt{n} (\frac{1}{n} Y_{n}) = \frac{Y_{n}}{\sqrt{n}}

$\sqrt{n}\left(\frac1n Y_n\right) = \frac{Y_n}{\sqrt{n}}$

N (0, 1)

$\mathcal N(0,1)$

— Henry,

1

@Alexis Non importa per il CLT, perché ogni singola distribuzione ha ancora una varianza finita.

— Cubico

15

No, CLT vale sempre quando le sue ipotesi valgono. Qualifiche come "nella maggior parte delle situazioni" sono riferimenti informali alle condizioni alle quali dovrebbe essere applicato il CLT.

Ad esempio, una combinazione lineare di variabili indipendenti dalla distribuzione di Cauchy non si sommerà alla variabile distribuita normale . Uno dei motivi è che la varianza non è definita per la distribuzione di Cauchy , mentre CLT pone determinate condizioni sulla varianza, ad esempio che deve essere limitata. Una conseguenza interessante è che poiché le simulazioni Monte Carlo sono motivate da CLT, devi fare attenzione alle simulazioni Monte Carlo quando hai a che fare con distribuzioni dalla coda grassa, come Cauchy.

Si noti che esiste una versione generalizzata di CLT. Funziona per variazioni infinite o indefinite, come la distribuzione di Cauchy. A differenza di molte distribuzioni ben comportanti, la somma correttamente normalizzata dei numeri di Cauchy rimane Cauchy. Non converge in gaussiano.

A proposito, non solo gaussiano ma molte altre distribuzioni hanno PDF a forma di campana, ad esempio Student t. Ecco perché la descrizione che hai citato è abbastanza liberale e imprecisa, forse apposta.

— Aksakal
fonte

7

Ecco un'illustrazione della risposta di cherubino, un istogramma di 1e5 attinge dalle medie campionarie ridimensionate (di ) delle distribuzioni t con due gradi di libertà, in modo tale che la varianza non esista . $\sqrt{n}$

Se si applicava il CLT, l'istogramma per grande quanto dovrebbe assomigliare alla densità di una distribuzione normale standard (che, ad esempio, ha densità al suo apice), che evidentemente non lo fa. $n$ $n=1000$ $1/\sqrt{2\pi}\approx0.4$

library(MASS)
n <- 1000
samples.from.t <- replicate(1e5, sqrt(n)*mean(rt(n, df = 2)))
truehist(samples.from.t, xlim = c(-10,10), col="salmon")

— Christoph Hanck
fonte

3

Devi stare un po 'attento qui come se avessi fatto questo con una distribuzione con gradi di libertà, allora si applicherà il teorema del limite centrale ma il tuo grafico non avrebbe una densità di picco intorno a ma invece intorno a perché la varianza originale non sarebbe

t

$t$

3

$3$

0.4

$0.4$

\frac{1}{\sqrt{6 π}} \approx 0.23

$\frac1{\sqrt{6\pi}}\approx 0.23$

1

$1$

— Henry,

Questo è un buon punto, si potrebbe standardizzare la media sd(x)ottenendo qualcosa che, se il CLT funziona, converge dal teorema di Slutzky, in una variabile N (0,1). Volevo mantenere l'esempio semplice, ma ovviamente hai ragione.

— Christoph Hanck,

6

Un semplice caso in cui il CLT non può valere per ragioni molto pratiche, è quando la sequenza di variabili casuali si avvicina al suo limite di probabilità rigorosamente da un lato . Ciò si verifica ad esempio negli stimatori che stimano qualcosa che si trova su un confine.

L'esempio standard qui forse è la stima di in un campione di iid Uniforms . Lo stimatore della massima verosimiglianza sarà la statistica dell'ordine massimo e si avvicinerà a necessariamente solo dal basso: pensando ingenuamente, poiché il suo limite di probabilità sarà , lo stimatore non può avere una distribuzione "intorno" - e il CLT è andato. $\theta$ $U(0,\theta)$ $\theta$ $\theta$ $\theta$

Lo stimatore correttamente ridimensionato ha una distribuzione limitante, ma non della "varietà CLT".

— Alecos Papadopoulos
fonte

3

Puoi trovare una soluzione rapida qui.

Si presentano eccezioni al teorema del limite centrale

Quando ci sono più massimi della stessa altezza e
Dove la seconda derivata svanisce al massimo.

Ci sono alcune altre eccezioni che sono descritte nella risposta di @cherub.

La stessa domanda è già stata posta su math.stackexchange . Puoi controllare le risposte lì.

— Ferdi
fonte

5

Per "maxima" intendi le modalità? Essere bimodali non ha nulla a che fare con il non riuscire a soddisfare CLT.

— Accumulo

@Accumulazione: la formulazione qui è confusa perché in realtà si riferisce al PGF di un discreto camper

M (z) = \sum_{n = - \infty}^{\infty} P (X = n) z^{n}

$M(z)=\sum_{n=-\infty}^\infty P(X=n)z^n$

@AlexR. La risposta non ha alcun senso senza leggere il link ed è tutt'altro che chiara anche con il link. Mi sto orientando verso il downvoting come peggio di una risposta solo link.

— Accumulo