Quando il teorema del limite centrale e la legge dei grandi numeri non sono d'accordo


19

Questa è essenzialmente una replica di una domanda che ho trovato su math.se , che non ha ottenuto le risposte che speravo.

Sia una sequenza di variabili casuali indipendenti, distribuite in modo identico, con e .{Xi}iNE[Xi]=1V[Xi]=1

Considera la valutazione di

limnP(1ni=1nXin)

Questa espressione deve essere manipolata poiché, così com'è, entrambi i lati dell'evento di disuguaglianza tendono all'infinito.

A) PROVA SOTTRAZIONE

Prima di considerare la dichiarazione limitante, sottrarre n da entrambi i lati:

limnP(1ni=1nXinnn)=limnP(1ni=1n(Xi1)0)=Φ(0)=12

l'ultima uguaglianza del CLT, dove Φ() è la normale funzione di distribuzione normale.

B) PROVA LA MOLTIPLICAZIONE

Moltiplica entrambe le parti per lim n P ( 11/n

limnP(1n1ni=1nXi1nn)=limnP(1ni=1nXi1)

=limnP(X¯n1)=limnFX¯n(1)=1

dove FX¯n() è la funzione di distribuzione della media di esempio X¯n , che per LLN converge in probabilità (e quindi anche in distribuzione) nella costante 1 , quindi nell'ultima uguaglianza.

Quindi otteniamo risultati contrastanti. Qual è quello giusto? E perché l'altro ha torto?


1
@JuhoKokkala Certo, eccolo qui, math.stackexchange.com/q/2830304/87400 Basta ignorare l'errore del PO lì.
Alecos Papadopoulos,

2
Penso che il problema sia nella seconda affermazione che invoca il LLN
Glen_b -Reinstate Monica

3
Ti ho seguito fino all'uguaglianza finale. È chiaramente sbagliato, perché ci aspetteremmo che approssimasse per grande e quindi il suo limite non dovrebbe essere uguale a Qual è la giustificazione prevista di esso? Non è la dichiarazione di nessuna versione di una legge di grandi numeri che conosco. P(X¯n1)n 1.1/2n1.
whuber

1
@whuber Presumibilmente, tutte le probabilità per la media del campione si concentrano sul valore . Se questo è sbagliato, credo che sia importante che l'errore sia dettagliato in una risposta, questo è lo scopo di questa domanda. 1
Alecos Papadopoulos,

2
Alecos, la mia preoccupazione non è se il passaggio finale sia sbagliato: riguarda le tue ragioni per farlo. Dopotutto non si tratta della domanda? Non ho ancora letto nulla da te che mi dia queste ragioni e esiterei persino a indovinare quali potrebbero essere. Sebbene tu faccia riferimento a un "LLN", credo che la risoluzione del tuo problema risieda probabilmente nel descrivere esattamente ciò che intendi "LLN" da affermare.
whuber

Risposte:


15

L'errore qui è probabilmente nel seguente fatto: la convergenza nella distribuzione presuppone implicitamente che converge a nei punti di continuità di . Poiché la distribuzione limite è di una variabile casuale costante, ha una discontinuità di salto a , quindi non è corretto concludere che il CDF converge in . F ( x )Fn(x)F(x) x = 1 F ( x ) = 1F(x)x=1F(x)=1


1
Il modo in cui definiamo la convergenza nella distribuzione non esclude la possibilità di convergenza nei punti di discontinuità - semplicemente non la richiede .
Alecos Papadopoulos,

1
Ma se la convergenza nella distribuzione non richiede che converga in , su cosa si basa l'ultima uguaglianza nella domanda? F ( 1 )Fn(1)F(1)
Juho Kokkala,

1
@Juho Non si basa su nulla: questo è il nocciolo della questione. Non esiste un teorema che permetta di fare l'ultima equazione nella domanda.
whuber

1
@AlecosPapadopoulos: non ho mai detto che non escluda la possibilità. Sto implicitamente dicendo che devi giustificare l'ultima uguaglianza oltre ciò che ti viene dato dalla convergenza nella distribuzione. Ad esempio, se è Bernoulli, sarebbe vero. Xn
Alex R.

11

Per le variabili casuali con definisci Ora, il CLT dice che per ogni numero reale fisso , . L'OP applica il CLT per valutare E [ X i ] = var ( X i ) = 1 Z nXiE[Xi]=var(Xi)=1zlimnFZn(z)=Φ(z-1)limnP(Zn1

Zn=1ni=1nXi,Yn=1ni=1nXi.
zlimnFZn(z)=Φ(z1)
limnP(Zn1n)=Φ(0)=12.

Come hanno sottolineato le altre risposte e alcuni dei commenti sulla domanda del PO, è sospetta la valutazione del PO di . Considera il caso speciale in cui iid sono variabili casuali discrete che assumono valori e con uguale probabilità . Ora, può assumere tutti i valori interi pari in e quindi quando è dispari, non può assumere il valore e quindi non può assumere il valoreX i 0 2 1limnP(Yn1)Xi02 n i = 1 Xi[0,2n]n n i = 1 XinYn=112i=1nXi[0,2n]ni=1nXin1Yn1P(Yn1)=FYn(1)1Yn=1ni=1nXi 1. Inoltre, poiché la distribuzione di è simmetrica su , abbiamo che ha valore ogni volta che è dispari. Così, la sequenza di numeri contiene la sottosequenza in cui tutti i termini hanno valore . D'altra parte, la sottosequenza è convergendo a . Quindi,Yn1P(Yn1)=FYn(1) nP(Y11),P(Y21),,P(Yn1),P(Y11),P(Y31),,P(Y2k-11),112n

P(Y11),P(Y21),,P(Yn1),
P(Y11),P(Y31),,P(Y2k11),
P(Y21),P(Y41),,P(Y2k1),1limnP(Yn1)P(Yn1)12
P(Y21),P(Y41),,P(Y2k1),
1limnP(Yn1) non esiste e le affermazioni sulla convergenza di a 1 devono essere considerate con grande sospetto.P(Yn1)

8

Il tuo primo risultato è quello corretto. Il tuo errore si verifica nella seconda parte, nella seguente dichiarazione errata:

limnFX¯n(1)=1.

Questa affermazione è falsa (il lato destro dovrebbe essere ) e non segue la legge dei grandi numeri come affermato. La legge debole di grandi numeri (che invochi) dice che:12

limnP(|X¯n1|ε)=1for all ε>0.

Per tutti la condizione comprende alcuni valori in cui e alcuni valori in cui . Quindi, dalla LLN non segue che .| ˉ X n - 1 | ε ˉ X n1 ˉ X nε>0|X¯n1|εX¯n1lim n P ( ˉ X n1 ) = 1X¯n>1limnP(X¯n1)=1


1
Il risultato (erroneamente) deriva dall'implicazione "la convergenza nella probabilità implica la convergenza nella distribuzione". La domanda non afferma che l'affermazione provenga direttamente dalla LLN.
Alecos Papadopoulos,

@AlecosPapadopoulos: Convergenza in probabilità non implica convergenza in distribuzione. Ancora una volta, la convergenza nella distribuzione è richiesta solo nei punti di continuità. Ma forse intendevi la convergenza in probabilità non implica una convergenza puntuale della distribuzione.
Alex R.,

@AlexR. Non sono sicuro di dove si trovi la tua obiezione. Credo che questo problema sia trattato nella mia risposta.
Alecos Papadopoulos,

3

La convergenza nella probabilità implica la convergenza nella distribuzione. Ma ... quale distribuzione? Se la distribuzione limitante ha una discontinuità di salto, i limiti diventano ambigui (poiché alla discontinuità sono possibili più valori).

dove è la funzione di distribuzione della media di esempio , che dalla LLN converge in probabilità (e quindi anche in distribuzione) alla costante ,ˉ X n 1FX¯n()X¯n1

Questo non è giusto ed è anche facile dimostrare che non può essere giusto (diverso dal disaccordo tra CLT e LLN). La distribuzione limitante (che può essere vista come il limite di una sequenza di normali variabili distribuite) dovrebbe essere:

FX¯(x)={0for x<10.5for x=11for x>1

per questa funzione hai che, per qualsiasi e ogni , la differenza per sufficientemente grande . Ciò fallirebbe se anzichéϵ>0x|FX¯n(x)FX¯(x)|<ϵnFX¯(1)=1FX¯(1)=0.5


Limite di una distribuzione normale

Può essere utile scrivere esplicitamente la somma utilizzata per invocare la legge di grandi numeri.

X¯n=1ni=1nXiN(1,1n)

Il limite per è effettivamente equivalente alla funzione Dirac Delta quando è rappresentato come limite della distribuzione normale con la varianza che va a zero.nX^n

Usando quell'espressione è più facile vedere cosa sta succedendo sotto il cofano, piuttosto che usare le leggi preconfezionate del CLT e una LLN che oscurano il ragionamento dietro le leggi.


Convergenza in probabilità

La legge dei grandi numeri ti dà "convergenza in probabilità"

limnP(|X¯n-1|>ε)=0

conε>0

Una dichiarazione equivalente potrebbe essere fatta per il teorema del limite centrale con limnP(|1nΣ(Xio-1)|>εn)=0

È sbagliato affermare che ciò implica

limnP(|X¯n-1|>0)=0

È meno bello che questa domanda venga inviata in modo incrociato così presto (confuso, ma interessante vedere le diverse discussioni / approcci matematici contro statistiche, quindi non è poi così male). La risposta di Michael Hardy sullo stackexchange matematico si occupa in modo molto efficace in termini di legge forte di grandi numeri (lo stesso principio della risposta accettata da Drhab nella domanda a corrispondenza incrociata e Dilip qui). Siamo quasi certi che una sequenza converge in 1, ma ciò non significa cheX¯1,X¯2,X¯3,...X¯nlimnP(X¯n=1)sarà uguale a 1 (o potrebbe non esistere nemmeno come mostra Dilip). L'esempio dei dadi nei commenti di Tomasz lo mostra molto bene da un'angolazione diversa (invece che il limite non esiste, il limite va a zero). La media di una sequenza di lanci di dadi converge alla media dei dadi, ma la probabilità di essere uguale a questa va a zero.


Funzione step Heaviside e funzione delta Dirac

Il CDF di è il seguente:X¯n

FX¯n(X)=12(1+erfX-12/n)

con, se vuoi, (correlato alla funzione step di Heaviside , l'integrale della funzione delta di Dirac se visto come il limite di distribuzione normale).limnFX¯n(1)=0.5


Credo che questo punto di vista risolva intuitivamente la tua domanda riguardante "mostra che è sbagliato" o almeno mostra che la domanda sulla comprensione della causa di questo disaccordo tra CLT e LLN è equivalente alla questione della comprensione dell'integrale della funzione delta di Dirac o una sequenza di distribuzioni normali con varianza decrescente a zero.


2
La tua distribuzione limitante in realtà non è affatto una distribuzione. Un CDF deve essere proprio continuo, mentre chiaramente non è . X=1/2
Alex R.,

La giusta continuità sembra essere necessaria in modo tale che per ogni abbiamo come gli eventi sono nidificati dovremmo avere ma è vero per il nostro caso e dov'è il problema? Questa giusta continuità è necessaria sulla base di assiomi probabilistici o è solo una convenzione tale che il CDF funziona per i casi più comuni? un'limnFX(un'+1n)=FX(un')Xun'+1n
limnFX(un'+1n)=limnP(Xun'+1n)=P(limnXun'+1n)=P(Xun')=FX(un')
Sesto Empirico

@Martin Weterings: questo è esattamente da dove proviene. Qualsiasi misura valida deve soddisfare questi risultati di monotonicità. Sono una conseguenza del limite di insieme alla additività numerabile. Più in generale, una funzione è un CDF (cioè corrisponde a una distribuzione via se è continuo continuo, oltre ad essere monotonico , e avendo lasciato il limite 0, il limite destro 1.PPF(X)PF(b)F(a)=P(a<Xb)F
Alex R.

2

Credo che ormai dovrebbe essere chiaro che "l'approccio CLT" dà la risposta giusta.

Individuiamo esattamente dove "l'approccio LLN" va storto.

A partire dalle affermazioni finite, è chiaro quindi che possiamo equivalentemente sottrarre da entrambi i lati o multiplicare entrambi i lati di . Noi abbiamon1/n

P(1ni=1nXin)=P(1ni=1n(Xi1)0)=P(1ni=1nXi1)

Quindi, se il limite esiste, sarà identico. Impostando , abbiamo, usando le funzioni di distribuzioneZn=1ni=1n(Xi1)

P(1ni=1nXin)=FZn(0)=FX¯n(1)

... ed è vero che .limnFZn(0)=Φ(0)=1/2

Il pensiero nell'approccio "LLN" è il seguente: "Sappiamo dall'LLN che converge in probabilità in una costante. E sappiamo anche che" la convergenza in probabilità implica la convergenza in distribuzione ". Quindi, converge in distribuzione a una costante ". Fino a qui abbiamo ragione. Quindi affermiamo: "pertanto, le probabilità limitanti per sono date dalla funzione di distribuzione della costante con variabile casuale",X¯nX¯n
X¯n1

F1(x)={1x10x<1F1(1)=1

... so ...limnFX¯n(1)=F1(1)=1

... e abbiamo appena fatto il nostro errore . Perché? Perché, come @AlexR. risposta nota , "convergenza nella distribuzione" copre solo i punti di continuità della funzione di distribuzione limitante. E è un punto di discontinuità per . Ciò significa che può essere uguale a ma potrebbe non esserlo , senza negare l'implicazione "convergenza nella distribuzione a una costante" della LLN .1F1limnFX¯n(1) F1(1)

E poiché dall'approccio CLT sappiamo quale deve essere il valore del limite ( ). Non conosco un modo per dimostrare direttamente che .1/2limnFX¯n(1)=1/2

Abbiamo imparato qualcosa di nuovo?

L'ho fatto. LLN afferma questo

limnP(|X¯n1|ε)=1for all ε>0

limn[P(1ε<X¯n1)+P(1<X¯n1+ε)]=1

limn[P(X¯n1)+P(1<X¯n1+ε)]=1

Il LLN non dice come viene allocata la probabilità nell'intervallo . Ciò che ho imparato è che, in questa classe di risultati di convergenza, la probabilità è al limite allocata equamente sui due lati del punto centrale dell'intervallo di collasso. (1-ε,1+ε)

La dichiarazione generale qui è, supponiamo

Xnpθ,h(n)(Xn-θ)dD(0,V)

dove è un con la funzione di distribuzione . PoiDFD

limnP[Xnθ]=limnP[h(n)(Xn-θ)0]=FD(0)

... che potrebbe non essere uguale a (la funzione di distribuzione della costante rv).Fθ(0)

Inoltre, questo è un forte esempio che, quando la funzione di distribuzione della variabile casuale limitante ha discontinuità, allora "la convergenza nella distribuzione a una variabile casuale" può descrivere una situazione in cui "la distribuzione limitante" potrebbe non essere d'accordo con la "distribuzione della limitazione variabile casuale "nei punti di discontinuità. A rigor di termini, la distribuzione limitante per i punti di continuità è quella della variabile casuale costante. Per i punti di discontinuità potremmo essere in grado di calcolare la probabilità limite, come entità "separate".


La prospettiva della "lezione appresa" è interessante e questo è un buon esempio, non troppo difficile, di applicazione didattica. Anche se mi chiedo che tipo di applicazione (diretta) pratica abbia questo pensiero sull'infinito, perché alla fine in pratican
Sisto Empirico

@MartijnWeterings Martijn, la motivazione qui era certamente educativa, a) come allarme per le discontinuità anche in una situazione "piatta" come la convergenza verso una costante, e quindi anche in generale (distruggono la convergenza uniforme per esempio), e b) un risultato su come viene allocata la massa di probabilità diventa interessante quando la sequenza che converge in probabilità a una costante ha ancora una varianza diversa da zero.
Alecos Papadopoulos,

Potremmo dire che CLT diciamo qualcosa sulla convergenza a una variabile distribuita normale limitante (potendo così esprimere cose come ), ma LLN ci permette solo di dire che, aumentando la dimensione del campione, ci avviciniamo alla media vera, ma ciò non significa che otteniamo, con maggiore probabilità, "esattamente uguale alla media campionaria". LLN significa che la media del campione si avvicina sempre più a un valore limite ma non (con maggiore probabilità) uguale ad esso. LLN non dice nulla suF ( x )F(X)F(X)
Sextus Empiricus il

I pensieri originali intorno alla LLN erano in realtà opposti (vedi il ragionamento di Arbuthnot stats.stackexchange.com/questions/343268 ). "È visibile da quanto è stato detto, che con un numero molto elevato di dadi, il lotto di A diventerebbe molto piccolo ... ci sarebbe solo una piccola parte di tutte le possibili possibilità, perché si verifichi in qualsiasi momento assegnabile, che dovrebbe nascere un numero uguale di maschi e femmine. "
Sesto Empirico
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.