Spiegazione intuitiva della convergenza nella distribuzione e convergenza nella probabilità

Qual è la differenza intuitiva tra una variabile casuale che converge in probabilità rispetto a una variabile casuale che converge in distribuzione?

Ho letto numerose definizioni ed equazioni matematiche, ma questo non aiuta molto. (Tieni presente che sono uno studente universitario che studia economia.)

Come può una variabile casuale convergere in un singolo numero, ma anche convergere in una distribuzione?

Come può un numero casuale convergere in una costante?

Supponiamo che tu abbia palline nella scatola. Puoi sceglierli uno per uno. Dopo aver scelto palle, ti chiedo: qual è il peso medio delle palle nella scatola? La tua migliore risposta sarebbe . Ti rendi conto che stesso è il valore casuale? Dipende da quali palle hai scelto per primo.N k ˉ x k = $N$$k$k ∑ k i = 1 xi ˉ x k$\bar x_k=\frac{1}{k}\sum_{i=1}^kx_i$$\bar x_k$$k$

Ora, se continui a tirare le palline, ad un certo punto non ci saranno più palline nella scatola e otterrai .$\bar x_N\equiv\mu$

Quindi, ciò che abbiamo è la sequenza casuale che converge alla costante . Quindi, la chiave per comprendere il tuo problema con la convergenza in probabilità è rendersi conto che stiamo parlando di una sequenza di variabili casuali, costruita in un certo modo .ˉ x 1,…, ˉ x k,…, ˉ x N, ˉ x N, ˉ x N,… ˉ x N=

Quindi, otteniamo numeri casuali uniformi , dove . Diamo un'occhiata alla sequenza casuale , dove . Il è un valore casuale, in quanto tutti i suoi termini sono valori casuali. Non possiamo prevedere cosa sarà . Tuttavia, si scopre che possiamo affermare che le distribuzioni di probabilità di saranno sempre più simili allo standard normale . Ecco come convergono le distribuzioni.e 1 , e 2 , … e i ∈ [ 0 , 1 ] ξ 1 , ξ 2 , … ξ k = $e_1,e_2,\dots$$e_i\in [0,1]$$\xi_1,\xi_2,\dots$√K12 ∑ki=1(ei-12 )ξkξkξkN(0,1$\xi_k=\frac{1}{\sqrt{\frac{k}{12}}}\sum_{i=1}^k \left(e_i- \frac{1}{2} \right)$$\xi_k$$\xi_k$$\xi_k$$\mathcal{N}(0,1)$

Non è chiaro quanta intuizione potrebbe avere un lettore di questa domanda sulla convergenza di qualcosa, per non parlare delle variabili casuali, quindi scriverò come se la risposta fosse "molto piccola". Qualcosa che potrebbe aiutare: piuttosto che pensare "come può convergere una variabile casuale", chiedi come può convergere una sequenza di variabili casuali. In altre parole, non è solo una singola variabile, ma un elenco (infinitamente lungo!) Di variabili, e quelle più avanti nell'elenco si stanno avvicinando sempre di più a ... qualcosa. Forse un singolo numero, forse un'intera distribuzione. Per sviluppare un'intuizione, dobbiamo capire cosa significa "sempre più vicino". Il motivo per cui esistono così tante modalità di convergenza per variabili casuali è che esistono diversi tipi di "

Ricapitoliamo innanzitutto la convergenza delle sequenze di numeri reali. In possiamo usare la distanza euclideaper misurare quanto vicino è . Considera . Quindi la sequenza inizia e io affermiamo che converge in . Chiaramente si avvicina a , ma è anche vero che si avvicina aR | x - y | x y x n = n + $\mathbb{R}$ $|x-y|$$x$$y$n =1+1n x1$x_n = \frac{n+1}{n} = 1 + \frac{1}{n}$x 2 ,x 3 , … 2 , $x_1, \, x_2, \, x_3, \dots$2 ,43 ,54 ,65 ,…xn1xn1xn0,90,50,910,9$2, \frac{3}{2}, \frac{4}{3}, \frac{5}{4}, \frac{6}{5}, \dots$$x_n$$1$$x_n$$1$$x_n$$0.9$. Ad esempio, dal terzo termine in poi, i termini nella sequenza sono una distanza di o inferiore a . Ciò che conta è che si avvicinino arbitrariamente a , ma non a . Nessun termine nella sequenza arriva mai entro di , per non parlare di rimanere così vicino per i termini successivi. Al contrario quindi è da e tutti i termini successivi sono entro di , come mostrato di seguito.$0.5$$0.9$$1$$0.9$$0.05$ 0,9 x 20 = 1,05 0,05 1 0,05 $0.9$$x_{20}=1.05$$0.05$$1$$0.05$$1$

Potrei essere più rigoroso e richiedere che i termini ottengano e rimangano entro su , e in questo esempio trovo che ciò sia vero per i termini e successivi. Inoltre potrei scegliere qualsiasi soglia fissa di vicinanza , non importa quanto severa (tranne per , ovvero il termine in realtà è ), e infine la condizione sarà soddisfatto per tutti i termini oltre un certo termine (simbolicamente: per , dove il valore di dipende da quanto rigoroso un0,001 1 N = 1000 ϵ ϵ = 0 1 | x n - x | < $0.001$$1$$N=1000$$\epsilon$$\epsilon = 0$$1$$|x_n - x| \lt \epsilon$ n > N N ϵ x n = 1 + sin ( n $n \gt N$$N$$\epsilon$Ho scelto). Per esempi più sofisticati, nota che non sono necessariamente interessato alla prima volta che la condizione è soddisfatta: il termine successivo potrebbe non obbedire alla condizione e va bene, purché riesca a trovare un termine più lungo lungo la sequenza per la quale la condizione è soddisfatta e rimane soddisfatta per tutti i termini successivi. Lo per , che converge anche in , con nuovamente ombreggiato.n 1ϵ=$x_n = 1 + \frac{\sin(n)}{n}$$1$$\epsilon=0.05$

Consideriamo ora e la sequenza di variabili aleatorie . Questa è una sequenza di camper con , , e così via. In che senso possiamo dire che questo si sta avvicinando alla stessa?X ∼ U ( 0 , 1 ) X n = ( 1 + $X \sim U(0,1)$n )XX1=2XX2=$X_n = \left(1 + \frac{1}{n}\right) X$$X_1 = 2X$2 XX3=$X_2 = \frac{3}{2} X$3 X$X_3 = \frac{4}{3} X$$X$

Poiché e sono distribuzioni, non solo numeri singoli, la condizione ora è un evento : anche per un e fisso questo potrebbe o non potrebbe accadere . Considerando la probabilità che venga raggiunto, si genera convergenza nella probabilità . Per vogliamo la probabilità complementare - intuitivamente, la probabilità che sia leggermente diversa (almeno da ) a - a diventare arbitrariamente piccolo, per sufficientemente grandeX n X | X n - X | < ϵ n ϵ X n p → X P ( | X n - X | ≥ ϵ ) X n ϵ X n ϵ P ( | X 1 - X | ≥ ϵ ) P ( | X 2 - X | ≥ ϵ ) P ( | $X_n$$X$$|X_n - X| \lt \epsilon$$n$$\epsilon$$X_n \overset{p}{\to} X$$P(|X_n - X| \ge \epsilon)$$X_n$$\epsilon$$X$$n$ . Per un fisso questo dà origine a un'intera sequenza di probabilità , , , , , e se questa sequenza di probabilità converge a zero (come accade nel nostro esempio) allora diciamo converge in probabilità a . Si noti che i limiti di probabilità sono spesso costanti: ad esempio nelle regressioni in econometria, vediamo quando aumentiamo la dimensione del campione . Ma qui$\epsilon$$P(|X_1 - X| \ge \epsilon)$$P(|X_2 - X| \ge \epsilon)$ X - X | ≥ ε ) ... X n X plim ( β ) = $P(|X_3 - X| \ge \epsilon)$$\dots$$X_n$$X$$\text{plim}(\hat \beta) = \beta$n plim ( X n ) = X ∼ U ( 0 , 1 $n$$\text{plim}(X_n) = X \sim U(0,1)$. In effetti, la convergenza in probabilità significa che è improbabile che e differiscano di molto in una particolare realizzazione - e posso rendere la probabilità che e siano più lontani di parte quanto mi piace, purché scelga un sufficientemente grande . X n X X n X ε $X_n$$X$$X_n$$X$$\epsilon$$n$

Un senso diverso in cui si avvicina a è che le loro distribuzioni sembrano sempre più simili. Posso misurarlo confrontando i loro CDF. In particolare, scegli alcune in cui è continuo (nel nostro esempio quindi il suo CDF è continuo ovunque e qualsiasi lo farà) e valuta il CDF della sequenza di s lì. Questo produce un'altra sequenza di probabilità, , , , e questa sequenza converge in . I CDF valutati aX n X x F X ( x ) = P ( X ≤ x ) X ∼ U ( 0 , 1 ) x X n P ( X 1 ≤ x ) P ( X 2 ≤ x ) P ( X 3 ≤ x ) … P $X_n$$X$$x$$F_X(x) = P(X \leq x)$$X \sim U(0,1)$$x$$X_n$$P(X_1 \leq x)$$P(X_2 \leq x)$$P(X_3 \leq x)$$\dots$ X ≤ x ) x X n X x $P(X \leq x)$$x$ per ciascuno degli diventa arbitrariamente vicino al CDF di valutato in . Se questo risultato è valido indipendentemente da quale abbiamo scelto, allora converge in nella distribuzione . Si scopre questo accade qui, e non dovremmo essere sorpresi dal momento che la convergenza in probabilità di implica convergenza in distribuzione a . Si noti che non può essere il caso in cui converga in probabilità in una particolare distribuzione non degenerata, ma converge in distribuzione in una costante.$X_n$$X$$x$$x$X n X X X X n$X_n$$X$ $X$$X$$X_n$ (Qual è stato forse il punto di confusione nella domanda originale? Ma nota un chiarimento in seguito.)

Per un esempio diverso, lascia . Ora abbiamo una sequenza di camper, , , , ed è chiaro che la distribuzione di probabilità sta degenerando in un picco in . Consideriamo ora la distribuzione degenerata , con cui intendo . È facile vedere che per ogni , la sequenza converge a zero in modo che converga a in probabilità. Di conseguenza,Y n ∼ U ( 1 , n + 1n )Y1∼U(1,2)Y2∼U(1,$Y_n \sim U(1, \frac{n+1}{n})$$Y_1 \sim U(1,2)$2 )Y3∼U(1,$Y_2 \sim U(1,\frac{3}{2})$3 )…y=1Y=1P(Y=1)=1ϵ>0P(|Yn-Y|≥ϵ)YnYYnYFY(y)Yy=1yP(Y1≤y)P(Y2≤y$Y_3 \sim U(1,\frac{4}{3})$$\dots$$y=1$$Y=1$$P(Y=1)=1$$\epsilon \gt 0$$P(|Y_n - Y| \ge \epsilon)$$Y_n$$Y$$Y_n$deve anche convergere in nella distribuzione, cosa che possiamo confermare considerando i CDF. Poiché il CDF di è discontinuo in non è necessario considerare i CDF valutati a quel valore, ma per i CDF valutati in qualsiasi altro possiamo vedere che la sequenza , , , converge in che è zero per e uno per . Questa volta, poiché la sequenza di camper converte in probabilità in una costante, converge anche in distribuzione in una costante.$Y$$F_Y(y)$$Y$$y=1$$y$$P(Y_1 \leq y)$$P(Y_2 \leq y)$ P ( Y 3 ≤ y ) … P ( $P(Y_3 \leq y)$$\dots$ ≤ y ) y < 1 y > $P(Y \leq y)$$y \lt 1$$y \gt 1$

Alcuni chiarimenti finali:

• Sebbene la convergenza nella probabilità implichi la convergenza nella distribuzione, il contrario è falso in generale. Solo perché due variabili hanno la stessa distribuzione, non significa che debbano essere probabilmente vicine l'una all'altra. Per un esempio banale, prendi e . Quindi e hanno entrambi esattamente la stessa distribuzione (una probabilità del 50% ciascuno di essere zero o uno) e la sequenza cioè la sequenza che va converge banalmente nella distribuzione in (il CDF in qualsiasi posizione nella sequenza è uguale al CDF di ). Ma eX ∼ Bernouilli ( 0,5 ) Y = 1 - X X Y X n = X X , X , X , X , … Y Y Y X P ( | X n - Y | ≥ 0,5 ) = 1 X n$X\sim\text{Bernouilli}(0.5)$$Y=1-X$$X$$Y$$X_n=X$$X,X,X,X,\dots$$Y$$Y$$Y$$X$sono sempre uno a parte, quindi quindi non tende a zero, quindi non converge in in probabilità. Tuttavia, se c'è una convergenza nella distribuzione a una costante , ciò implica una convergenza in probabilità a quella costante (intuitivamente, più avanti nella sequenza diventerà improbabile che sia lontano da quella costante).$P(|X_n - Y| \ge 0.5)=1$$X_n$$Y$
• Come i miei esempi chiariscono, la convergenza in probabilità può essere una costante ma non deve esserlo; la convergenza nella distribuzione potrebbe anche essere una costante. Non è possibile convergere in probabilità in una costante ma convergere nella distribuzione in una particolare distribuzione non degenerata, o viceversa.
• È possibile che tu abbia visto un esempio in cui, ad esempio, ti è stato detto che una sequenza converge un'altra sequenza ? Potresti non aver capito che si trattava di una sequenza, ma il regalo sarebbe stato se fosse una distribuzione che dipendeva anche da . È possibile che entrambe le sequenze convergano in una costante (ovvero distribuzione degenerata). La tua domanda suggerisce che ti stai chiedendo come una particolare sequenza di camper potrebbe convergere sia in una costante che in una distribuzione; Mi chiedo se questo è lo scenario che stai descrivendo.X n Y n$X_n$ $Y_n$$n$
• La mia attuale spiegazione non è molto "intuitiva" - avevo intenzione di rendere grafica l'intuizione, ma non ho ancora avuto il tempo di aggiungere i grafici per i camper.

Nella mia mente, le risposte esistenti trasmettono tutti punti utili, ma non chiariscono un'importante distinzione tra i due modi di convergenza.

Consenti a , e essere variabili casuali. Per intuizione, immagina che a vengano assegnati i loro valori da qualche esperimento casuale che cambia un po 'per ogni , dando una sequenza infinita di variabili casuali, e supponiamo che ottenga il suo valore assegnato da qualche altro esperimento casuale.X n n = 1 , 2 , … Y X n n $X_n$$n=1,2,\dots$$Y$$X_n$$n$$Y$

Se , abbiamo, per definizione, che la probabilità che e differiscano l'una dall'altra di una quantità arbitrariamente piccola si avvicina a zero come , per una quantità minima quanto te piace. A grandi linee, nella sequenza di , siamo sicuri che e prenderanno valori molto vicini tra loro.X n p → Y Y X n n → ∞ X n X n$X_n\overset{p}{\to}Y$$Y$$X_n$$n\to\infty$$X_n$$X_n$$Y$

D'altra parte, se abbiamo solo convergenza nella distribuzione e non convergenza nella probabilità, allora sappiamo che per grande , è quasi uguale a , per quasi ogni . Si noti che questo non dice nulla su come chiudere i valori di e sono gli uni agli altri. Ad esempio, se , e quindi è anche distribuito in questo modo per grande , allora sembra intuitivamente probabile che i valori di en P ( X n ≤ x ) P ( Y ≤ x ) x X n Y Y ∼ N ( 0 , 10 10 ) X $n$$P(X_n\leq x)$$P(Y\leq x)$$x$$X_n$$Y$$Y\sim N(0, 10^{10})$$X_n$ n X n Y N ( 0 , 10 10$n$$X_n$$Y$differirà di molto in una data osservazione. Dopotutto, se non vi sono restrizioni diverse dalla convergenza nella distribuzione, possono benissimo per tutte le ragioni pratiche essere variabili .$N(0,10^{10})$

(In alcuni casi potrebbe non avere nemmeno senso confrontare e , forse non sono nemmeno definiti sullo stesso spazio di probabilità. Questa è una nota più tecnica, però.)X n$X_n$$Y$

Quello che non capisco è come può una variabile casuale convergere in un singolo numero ma anche convergere in una distribuzione?

Se stai imparando l'econometria, probabilmente ti stai chiedendo questo nel contesto di un modello di regressione. Converge in una distribuzione degenerata, in una costante. Ma qualcos'altro ha una distribuzione limitante non degenerata.

Β nβN β nn$\hat{\beta}_n$ converge in probabilità a se vengono soddisfatti i presupposti necessari. Ciò significa che scegliendo una dimensione del campione abbastanza grande , lo stimatore sarà il più vicino possibile al parametro vero, con la probabilità che sia più lontano quanto piccolo. Se pensi di tracciare l'istogramma di per vari , alla fine sarà solo un picco centrato su .$\beta$$N$$\hat{\beta}_n$$n$$\beta$

In che senso converge nella distribuzione? Converge anche in una costante. Non a una variabile casuale normalmente distribuita. Se calcoli la varianza di vedi che si restringe con . Quindi alla fine andrà a zero in abbastanza grande , motivo per cui lo stimatore va su una costante. Ciò che converge in una variabile casuale normalmente distribuita èΒ n β nn$\hat{\beta}_n$$\hat{\beta}_n$$n$$n$

$\sqrt{n}(\hat{\beta}_n - \beta)$ . Se ne prendi la varianza vedrai che non si restringe (né cresce) con . In campioni molto grandi, questo sarà approssimativamente sotto ipotesi standard. Possiamo quindi usare questa approssimazione per approssimare la distribuzione di in quel grande campione.n N ( 0 , σ $n$$N(0, \sigma^2)$$\hat{\beta}_n$

Ma hai ragione sul fatto che anche la distribuzione limitante di è una costante.$\hat{\beta}_n$

Vorrei provare a dare una risposta molto breve, usando alcuni esempi molto semplici.

Convergenza nella distribuzione

Consenti a , per tutti n, quindi converge in nella distribuzione. Tuttavia, la casualità nella realizzazione di non cambia nel tempo. Se dobbiamo prevedere il valore di , l'aspettativa del nostro errore non cambia nel tempo.$X_n \sim N\left(\frac{1}{n}, 1 \right)$$X_n$$X \sim N(0, 1)$$X_n$$X_n$

Convergenza in probabilità

Ora, considera la variabile casuale che assume valore con probabilità e altrimenti. Dato che va all'infinito, siamo sempre più sicuri che sarà uguale a . Quindi, diciamo che converge in probabilità a . Si noti che ciò implica anche che converge nella distribuzione su .$Y_n$$0$$1-\frac{1}{n}$$1$$n$$Y_n$$0$$Y_n$$0$$Y_n$$0$