Teorema del limite centrale contro la legge di grandi numeri

14

Il teorema del limite centrale afferma che la media delle variabili iid, come $N$ va all'infinito, viene normalmente distribuita.

Ciò solleva due domande:

Possiamo dedurre da ciò la legge dei grandi numeri? Se la legge dei grandi numeri dice che la media di un campione dei valori di una variabile casuale è uguale alla media vera $\mu$ quando $N$ va all'infinito, allora sembra ancora più forte affermare che (come dice il limite centrale) che il valore diventa $\mathcal N(\mu, \sigma)$ dove $\sigma$ è la deviazione standard. È giusto quindi dire che il limite centrale implica la legge di grandi numeri?
Il teorema del limite centrale si applica alla combinazione lineare di variabili?

probability central-limit-theorem law-of-large-numbers

— user9097
fonte

5

La tua affermazione che "il teorema del limite centrale afferma che la media delle variabili iid, quando

va all'infinito, viene normalmente distribuita" non è corretta. Vedi la mia risposta a questa recente domanda che solleva problemi simili. Un'altra risposta a questa domanda è stata pubblicata, ma è stata cancellata subito dopo, e la discussione successiva a quella risposta, ora scomparsa, ha discusso anche di questi problemi.

N

$N$

— Dilip Sarwate,

1

Perché la media del campione converge alla media della popolazione

un risultato più debole della media del campione converge in un campione da una distribuzione

?

μ

$\mu$

N (μ, σ)

$\mathcal N(\mu, \sigma)$

— Dilip Sarwate,

@DilipSarwate Grazie per la bandiera, ma il tuo commento è abbastanza IMO rivelare idee sbagliate nella domanda e sono comparse risposte ragionevoli.

10

L'OP dice

Il teorema del limite centrale afferma che la media delle variabili iid, quando N va all'infinito, viene normalmente distribuita.

Prenderò questo per dire che è la convinzione dell'OP che per iid variabili casuali con media e deviazione standard , la funzione di distribuzione cumulativa di $X_i$ $\mu$ $\sigma$ $F_{Z_n}(a)$ converge alla funzione di distribuzione cumulativa di, una normale variabile casuale con mediae deviazione standard. Oppure, l'OP ritiene lievi riorganizzazioni di questa formula, ad esempio la distribuzione diconverge alla distribuzione dio alla distribuzione di

Z_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}

$Z_n = \frac{1}{n} \sum_{i=1}^n X_i$

N (μ, σ)

$\mathcal N(\mu,\sigma)$

μ

$\mu$

σ

$\sigma$

Z_{n} - μ

$Z_n - \mu$

N (0, σ)

$\mathcal N(0,\sigma)$

(Z_{n} - μ) / σ

$(Z_n - \mu)/\sigma$ converge alla distribuzione di

, la normale variabile casuale standard. Si noti come esempio che queste affermazioni implicano che

N (0, 1)

$\mathcal N(0,1)$

P {| Z_{n} - μ | > σ} = 1 - F_{Z_{n}} (μ + σ) + F_{Z_{n}} ((μ + σ)^{-}) \to 1 - Φ (1) + Φ (- 1) \approx 0,32

$P\{|Z_n - \mu| > \sigma\} = 1 - F_{Z_n}(\mu + \sigma) + F_{Z_n}((\mu + \sigma)^-) \to 1-\Phi(1)+\Phi(-1) \approx 0.32$ come

n \to \infty

$n \to \infty$ .

L'OP continua a dire

Ciò solleva due domande:

Possiamo dedurre da ciò la legge dei grandi numeri? Se la legge dei grandi numeri dice che la media di un campione dei valori di una variabile casuale è uguale alla media vera μ quando N va all'infinito, allora sembra ancora più forte affermare che (come dice il limite centrale) che il valore diventa N ( μ, σ) dove σ è la deviazione standard.

La legge debole di grandi numeri dice che per iid variabili casuali con media finita , dato qualsiasi , $X_i$ $\mu$ $\epsilon > 0$

P {| Z_{n} - μ | > ε} \to 0 come n \to \infty .

$P\{|Z_n - \mu| > \epsilon\} \to 0 ~~ \text{as}~ n \to \infty.$ Si noti che non è necessario supporre che la deviazione standard sia limitata.

Quindi, per rispondere alla domanda del PO,

$n \to \infty$ $P\{|Z_n-\mu| > \sigma\} \to 0.317\cdots$ $P\{|Z_n-\mu| > \sigma\} \to 0$
Da una corretta affermazione del teorema del limite centrale, nella migliore delle ipotesi si può dedurre solo una forma ristretta della legge debole di grandi numeri che si applica a variabili casuali con media finita e deviazione standard. Ma la legge debole di grandi numeri vale anche per variabili casuali come le variabili casuali di Pareto con mezzi finiti ma deviazione standard infinita.
Non capisco perché affermare che la media del campione converge in una normale variabile casuale con deviazione standard diversa da zero è un'affermazione più forte del dire che la media del campione converge in media della popolazione, che è una costante (o una variabile casuale con zero deviazione standard se ti piace).

— Dilip Sarwate
fonte

Mi chiedo cosa abbia trovato discutibile o errato ciò che ho detto.

— Dilip Sarwate,

7

Per la legge di grandi numeri, è necessario disporre di tutte le variabili da definire sullo stesso spazio di probabilità (poiché la legge di grandi numeri è una dichiarazione sulla probabilità di un evento determinata da $\bar X_n$ $n$ $\bar X_n$ $\bar X_{n+1}$ , diciamo. Quindi no, la convergenza nella distribuzione non implica la legge di grandi numeri, a meno che tu non abbia uno spazio di probabilità comune per tutte le variabili.

— Stask
fonte

(+1) Quello che dici è vero e un punto molto importante. L'array triangolare consente alle variabili di ciascuna "riga" di vivere su spazi di probabilità diversi rispetto alle righe precedenti. D'altra parte, se diciamo a priori che stiamo prendendo in considerazione una sequenza di variabili casuali, allora, implicitamente, devono esistere su uno spazio comune sottostante affinché la nozione di indipendenza abbia molto senso.

— cardinale il

@cardinale: quindi se capisco correttamente, nel caso "semplice" in cui tutti sono definiti nello stesso spazio, è il caso che la centralità implichi la legge di grandi numeri? o no?

— user9097,

@ user9097 Dal momento che stiamo entrando nel regno di dettagli precisi, di quale legge di grandi numeri viene chiesta? La legge debole o la legge forte?

— Dilip Sarwate,

Questo punto è vero solo per la legge forte dei grandi numeri , non per la legge debole

— kjetil b halvorsen

4

$\sqrt{n}(\bar{X}_n-EX)$ $\mathcal N(0, Var(X))$ $\bar{X}$ $n$ $X$ .

$X$ $Y$

\sqrt{n} (\frac{1}{n} Σ_{j = 1}^{n} (un' X_{j} + Y_{j}) - E (un' X + Y)) \to N (0, V un' r (un' X + Y))

$\sqrt{n}(\frac{1}{n}\sum_{j=1}^n(aX_j+Y_j) - E(aX+Y)) \to \mathcal N(0, Var(aX+Y))$ o

\sqrt{n} un' ({\bar{X}}_{n} - E X) + \sqrt{n} ({\bar{Y}}_{n} - E Y) \to N (0, {un'}^{2} V un' r (X) + V un' r (Y)) .

$\sqrt{n}a(\bar{X}_n- EX)+\sqrt{n}(\bar{Y}_n -EY) \to \mathcal N(0, a^2Var(X)+Var(Y)).$

In altre parole, una combinazione lineare di variabili casuali non converge in una combinazione lineare di normali sotto il CLT, solo una normale. Questo ha senso perché una combinazione lineare di variabili casuali è solo una diversa variabile casuale a cui CLT può essere applicato direttamente.

— Daniel Johnson
fonte

1

This is a good start to an answer. Here are some comments: A linear combination of (joint) normals is normal, soo, I'm not sure what your comment in that regard was intended to mean. At any rate, I suspect the OP was not thinking about linear combinations of the form you consider. Observing that

{\bar{X}}_{n} = \sum_{i = 1}^{n} w_{n i} X_{i}

$\bar X_n = \sum_{i=1}^n w_{ni} X_i$ where

w_{n i} = 1 / n

$w_{ni} = 1/n$ for each

i = 1, \dots, n

$i = 1,\ldots,n$ , a natural question one might ask is what happens when we replace these "uniform" weights with some other (more arbitrary) ones. When do we still get a CLT? Lindeberg's CLT can be used to get at this question.

— cardinal

I think with strict conditions my result will still say something about

\sum_{j = 1}^{n} w_{n j} X_{j}

$\sum^n_{j=1}w_{nj}X_j$ . Lets first define these conditions and then consider how to weaken them. Lets take

w_{n j} = w_{j} / n

$w_{nj} = w_{j}/n$ and

w_{j}

$w_j$ to be a single, infinite sequence of non-negative reals. If the number of distinct

w_{j}

$w_{j}$ is finite and each appears infinitely often in the sequence, my result should hold as each

w_{j} X

$w_jX$ defines a random variable and this fits into the 'linear combination' framework I gave above. Then a good question would be if we could allow the number of distinct

w

$w$ scale with

n

$n$ .

— Daniel Johnson

1

This is a good comment, and a nice idea, however I believe it would need some modification to work. Assume wlog that

E X = 0

$\mathbb E X = 0$ . Construct your

w_{j}

$w_j$ as follows. Let

w_{1} = 1

$w_1 = 1$ ,

w_{2} = 0

$w_2 = 0$ . Now, define

w_{j}

$w_j$ inductively as follows: Set

w_{j} = 0

$w_j = 0$ until

\sum_{i = 1}^{j} w_{i} / j \leq 1 / 4

$\sum_{i=1}^j w_i /j \leq 1/4$ . Then append ones until

\sum_{i = 1}^{j} w_{i} / j \geq 1 / 2

$\sum_{i=1}^j w_i /j \geq 1/2$ . Append zeros again, then ones. Repeat ad infinitum. Now,

0

$0$ and

1

$1$ both occur an infinite number of times, but the variance of the rescaled mean oscillates between

1 / 2

$1/2$ and

1 / 4

$1/4$ (roughly). So, your stated sequence cannot converge in distribution.

— cardinal

(Note: There is nothing special about the choice of

0

$0$ and

1

$1$ , here. Also, strictly speaking the procedure you describe in the comment does not really fit within the linear-combination framework of your answer.)

— cardinal