Perché il Teorema del limite centrale si interrompe nella mia simulazione?

Diciamo che ho i seguenti numeri:

4,3,5,6,5,3,4,2,5,4,3,6,5

Ne campiono alcuni, diciamo 5, e calcolo la somma di 5 campioni. Quindi lo ripeto più volte per ottenere molte somme e tracciamo i valori delle somme in un istogramma, che sarà gaussiano a causa del Teorema del limite centrale.

Ma quando seguono i numeri, ho appena sostituito 4 con alcuni numeri grandi:

4,3,5,6,5,3,10000000,2,5,4,3,6,5

Somme campionarie di 5 campioni di questi non diventano mai gaussiane in istogramma, ma più come una divisione e diventano due gaussiane. Perché?

Ricordiamo, precisamente, cosa dice il teorema del limite centrale.

Se sono variabili casuali indipendenti e distribuite in modo identico con media (condivisa) e deviazione standard , quindi converge nella distribuzione in una distribuzione normale standard (*).$X_1, X_2, \cdots, X_k$$\mu$$\sigma$$\frac{X_1 + X_2 + \cdots + X_k}{k\frac{\sigma}{\sqrt{k}}}$$N(0, 1)$

Questo è spesso usato nel modulo "informale":

Se sono variabili casuali indipendenti e distribuite in modo identico con media (condivisa) e deviazione standard , allora converte "in distribuzione" in una distribuzione normale standard .$X_1, X_2, \cdots, X_k$$\mu$$\sigma$$X_1 + X_2 + \cdots + X_k$$N(k \mu, \sqrt{k} \sigma)$

Non c'è un buon modo per rendere matematicamente precisa quella forma del CLT, dal momento che il "limite" cambia, ma è utile nelle pratiche.

Quando abbiamo un elenco statico di numeri come

4,3,5,6,5,3,10000000,2,5,4,3,6,5

e stiamo campionando prendendo un numero a caso da questo elenco, per applicare il teorema del limite centrale dobbiamo essere sicuri che il nostro schema di campionamento soddisfi queste due condizioni di indipendenza e distribuito in modo identico.

• La distribuzione identica non è un problema: ogni numero nell'elenco è ugualmente probabile che sia scelto.
• L'indipendente è più sottile e dipende dal nostro schema di campionamento. Se eseguiamo il campionamento senza sostituzione , violiamo l'indipendenza. È solo quando campioniamo con la sostituzione che è applicabile il teorema del limite centrale.

Pertanto, se utilizziamo il campionamento sostitutivo nel tuo schema, dovremmo essere in grado di applicare il teorema del limite centrale. Allo stesso tempo, hai ragione, se il nostro campione è di dimensione 5, vedremo un comportamento molto diverso a seconda che venga scelto il numero molto grande o non scelto nel nostro campione.

Allora, qual è il problema? Bene, il tasso di convergenza a una distribuzione normale dipende molto dalla forma della popolazione da cui stiamo campionando, in particolare, se la nostra popolazione è molto distorta, prevediamo che ci vorrà molto tempo per convergere alla normalità. Questo è il caso nel nostro esempio, quindi non dovremmo aspettarci che un campione di dimensione 5 sia sufficiente per mostrare la struttura normale.

Sopra ho ripetuto il tuo esperimento (con campionamento sostitutivo) per campioni di dimensioni 5, 100 e 1000. Puoi vedere che la struttura normale è emergente per campioni molto grandi.

(*) Nota: qui ci sono alcune condizioni tecniche necessarie, come media finita e varianza. Sono facilmente verificabili come veri nel nostro campionamento da un esempio di elenco.

In generale, la dimensione di ciascun campione dovrebbe essere superiore a affinché l'approssimazione CLT sia buona. Una regola empirica è un campione di dimensioni o più. Ma, con la popolazione del tuo primo esempio, è OK.$5$$30$$5$

pop <- c(4, 3, 5, 6, 5, 3, 4, 2, 5, 4, 3, 6, 5)
N <- 10^5
n <- 5
x <- matrix(sample(pop, size = N*n, replace = TRUE), nrow = N)
x_bar <- rowMeans(x)
hist(x_bar, freq = FALSE, col = "cyan")
f <- function(t) dnorm(t, mean = mean(pop), sd = sd(pop)/sqrt(n))
curve(f, add = TRUE, lwd = 2, col = "red")

Nel tuo secondo esempio, a causa della forma della distribuzione della popolazione (per prima cosa, è troppo inclinata; leggi i commenti di guy e Glen_b qui sotto), anche campioni di dimensioni non ti daranno una buona approssimazione per la distribuzione di la media del campione usando il CLT.$30$

pop <- c(4, 3, 5, 6, 5, 3, 10000000, 2, 5, 4, 3, 6, 5)
N <- 10^5
n <- 30
x <- matrix(sample(pop, size = N*n, replace = TRUE), nrow = N)
x_bar <- rowMeans(x)
hist(x_bar, freq = FALSE, col = "cyan")
f <- function(t) dnorm(t, mean = mean(pop), sd = sd(pop)/sqrt(n))
curve(f, add = TRUE, lwd = 2, col = "red")

Ma, con questa seconda popolazione, campioni di, diciamo, dimensioni vanno bene.$100$

pop <- c(4, 3, 5, 6, 5, 3, 10000000, 2, 5, 4, 3, 6, 5)
N <- 10^5
n <- 100
x <- matrix(sample(pop, size = N*n, replace = TRUE), nrow = N)
x_bar <- rowMeans(x)
hist(x_bar, freq = FALSE, col = "cyan")
f <- function(t) dnorm(t, mean = mean(pop), sd = sd(pop)/sqrt(n))
curve(f, add = TRUE, lwd = 2, col = "red")

Vorrei solo spiegare, usando complesse funzioni di generazione cumulativa , perché tutti continuano a dare la colpa a questo errore.

Scriviamo la variabile casuale che stai campionando come , dove è la media e la deviazione standard, quindi ha media e varianza . La funzione di generazione cumulativa di è . Qui indica l'inclinazione di ; potremmo scriverlo in termini di skew della variabile originale , vale a dire. .$\mu+\sigma Z$$\mu$$\sigma$$Z$$0$$1$$Z$$-\frac{1}{2}t^2-\frac{i\gamma_1}{6}t^3+o(t^3)$$\gamma_1$$Z$$\kappa_3$$\mu+\sigma Z$$\gamma_1=\sigma^{-3}\kappa_3$

Se dividiamo la somma di campioni della distribuzione di per , il risultato ha cgfAffinché un'approssimazione normale sia valida a abbastanza grande da consentire al grafico di apparire a destra, abbiamo bisogno di sufficientemente grande . Questo calcolo motiva . I due campioni considerati hanno valori molto diversi di .$n$$Z$$\sqrt{n}$

La risposta breve è che non hai un campione abbastanza grande da applicare il teorema del limite centrale.