Teorema limite centrale per mediane campione

Se calcolo la mediana di un numero sufficientemente ampio di osservazioni tratte dalla stessa distribuzione, il teorema del limite centrale afferma che la distribuzione delle mediane si avvicinerà a una distribuzione normale? La mia comprensione è che questo è vero con i mezzi di un gran numero di campioni, ma lo è anche con le mediane?

In caso contrario, qual è la distribuzione di base delle mediane campione?

Se lavori in termini di variabili indicatore (cioè $Z_i = 1$ se $X_i \leq x$ e $0$ altrimenti), puoi applicare direttamente il teorema del limite centrale a una media di $Z$ e, usando il metodo Delta , trasformalo in una distribuzione normale asintotica per $F_X^{-1}(\bar{Z})$ , che a sua volta significa che si ottiene la normalità asintotica per quantili fissi di $X$ .

Quindi non solo la mediana, ma i quartili, il 90 ° percentile, ... ecc.

Liberamente, se stiamo parlando del $q$ quantile di campione in campioni sufficientemente grandi, otteniamo che avrà approssimativamente una distribuzione normale con la media del $q$ quantile di popolazione $x_q$ e la varianza $q(1-q)/(nf_X(x_q)^2)$ .

Quindi, per la mediana ( $q = 1/2$ ), la varianza sufficientemente grandi campioni sarà circa $1/(4nf_X(\tilde{\mu})^2)$ .

Ovviamente, hai bisogno di tutte le condizioni per mantenere, quindi non funziona in tutte le situazioni, ma per distribuzioni continue in cui la densità nel quantile della popolazione è positiva e differenziabile, ecc., ...

Inoltre, non vale per quantili estremi, perché il CLT non entra in gioco (la media delle Z non sarà asintoticamente normale). Hai bisogno di una teoria diversa per valori estremi.

---

Modifica: la critica di Whuber è corretta; questo funzionerebbe se $x$ fosse una mediana della popolazione piuttosto che una mediana del campione. L'argomento deve essere modificato per funzionare davvero correttamente.

L'idea chiave è che la distribuzione campionaria della mediana è semplice da esprimere in termini di funzione di distribuzione ma più complicata da esprimere in termini di valore mediano. Una volta compreso come la funzione di distribuzione può riesprimere i valori come probabilità e viceversa, è facile ricavare l' esatta distribuzione campionaria della mediana. È necessaria una piccola analisi del comportamento della funzione di distribuzione vicino alla sua mediana per dimostrare che questo è asintoticamente normale.

(La stessa analisi funziona per la distribuzione campionaria di qualsiasi quantile, non solo della mediana.)

Non cercherò di essere rigoroso in questa esposizione, ma lo realizzo in passaggi che sono prontamente giustificati in modo rigoroso se hai una mente per farlo.

---

Intuizione

Queste sono istantanee di una scatola contenente 70 atomi di un gas atomico caldo:

In ogni immagine ho trovato una posizione, mostrata come una linea verticale rossa, che divide gli atomi in due gruppi uguali tra sinistra (disegnata come punti neri) e destra (punti bianchi). Questa è una mediana delle posizioni: 35 degli atomi si trovano alla sua sinistra e 35 alla sua destra. Le mediane cambiano perché gli atomi si muovono casualmente attorno alla scatola.

Siamo interessati alla distribuzione di questa posizione intermedia. A tale domanda si risponde invertendo la mia procedura: prima disegniamo una linea verticale da qualche parte, diciamo nella posizione . Qual è la probabilità che metà degli atomi sia a sinistra di xe metà a destra? Gli atomi a sinistra avevano singolarmente la possibilità di essere x a sinistra. Gli atomi a destra individualmente avevano probabilità di 1 - x di essere a destra. Supponendo che le loro posizioni siano statisticamente indipendenti, le probabilità si moltiplicano, dando x 35 ( 1 - x ) $x$$x$$x$$1-x$$x^{35}(1-x)^{35}$per la possibilità di questa particolare configurazione. Una configurazione equivalente potrebbe essere raggiunta per una diversa divisione dei atomi in due pezzi da 35 elementi. L'aggiunta di questi numeri per tutte le possibili suddette divisioni dà una possibilità$70$$35$

$${\Pr}(x\text{ is a median}) = C x^{n/2} (1-x)^{n/2}$$

dove è il numero totale di atomi e è proporzionale al numero di divisioni di atomi in due sottogruppi uguali.C $n$$C$$n$

Questa formula identifica la distribuzione della mediana come Beta di distribuzione$(n/2+1, n/2+1)$ .

Ora considera una scatola con una forma più complicata:

Ancora una volta le mediane variano. Poiché la scatola è bassa vicino al centro, non c'è molto del suo volume lì: un piccolo cambiamento nel volume occupato dalla metà sinistra degli atomi (ancora una volta quelli neri) - o, potremmo anche ammettere, l' area a sinistra, come mostrato in queste figure, corrisponde a un cambiamento relativamente grande nella posizione orizzontale della mediana. Infatti, poiché l'area sottostata da una piccola sezione orizzontale della scatola è proporzionale all'altezza lì, i cambiamenti nelle mediane sono divisi per l'altezza della scatola. Questo fa sì che la mediana sia più variabile per questa casella che per la casella quadrata, perché questa è molto più bassa nel mezzo.

In breve, quando misuriamo la posizione della mediana in termini di area (a sinistra ea destra), l'analisi originale (per una casella quadrata) rimane invariata. La forma della scatola complica la distribuzione solo se insistiamo nel misurare la mediana in termini di posizione orizzontale. Quando lo facciamo, la relazione tra l'area e la rappresentazione della posizione è inversamente proporzionale all'altezza del riquadro.

C'è altro da imparare da queste immagini. È chiaro che quando pochi atomi si trovano nella (una) casella, vi è una maggiore possibilità che metà di essi possa finire accidentalmente raggruppata su entrambi i lati. Con l'aumentare del numero di atomi, il potenziale per uno squilibrio così estremo diminuisce. Per tracciare questo, ho preso "film" - una lunga serie di 5000 fotogrammi - per la scatola curva riempita con , quindi con , quindi e infine con atomi, e ho notato le mediane. Ecco gli istogrammi delle posizioni mediane:15 75 $3$$15$$75$$375$

Chiaramente, per un numero sufficientemente ampio di atomi, la distribuzione della loro posizione mediana inizia ad apparire a forma di campana e si restringe: sembra un risultato del Teorema del limite centrale, no?

---

Risultati quantitativi

Il "riquadro", ovviamente, raffigura la densità di probabilità di una certa distribuzione: la parte superiore è il grafico della funzione di densità (PDF). Pertanto le aree rappresentano le probabilità. Posizionare punti casualmente e indipendentemente all'interno di una scatola e osservare le loro posizioni orizzontali è un modo per estrarre un campione dalla distribuzione. (Questa è l'idea alla base del campionamento del rifiuto. )$n$

La figura successiva collega queste idee.

Sembra complicato, ma è davvero abbastanza semplice. Ci sono quattro grafici correlati qui:

1. La trama in alto mostra il PDF di una distribuzione insieme a un campione casuale di dimensione . I valori maggiori della mediana sono mostrati come punti bianchi; valori inferiori alla mediana come punti neri. Non ha bisogno di una scala verticale perché sappiamo che l'area totale è l'unità.$n$

2. Il diagramma centrale è la funzione di distribuzione cumulativa per la stessa distribuzione: utilizza l' altezza per indicare la probabilità. Condivide il suo asse orizzontale con il primo diagramma. Il suo asse verticale deve andare da a perché rappresenta le probabilità.$0$$1$

3. La trama di sinistra deve essere letta lateralmente: è il PDF della distribuzione Beta . Mostra come varierà la mediana nel riquadro, quando la mediana viene misurata in termini di aree a sinistra e a destra del centro (anziché misurata dalla sua posizione orizzontale). Ho disegnato punti casuali da questo PDF, come mostrato, e li ho collegati con linee tratteggiate orizzontali alle posizioni corrispondenti sul CDF originale: ecco come i volumi (misurati a sinistra) vengono convertiti in posizioni (misurati in alto, al centro e grafica in basso). Uno di questi punti corrisponde effettivamente alla mediana mostrata nella trama in alto; Ho disegnato una solida linea verticale per dimostrarlo.$(n/2+1, n/2+1)$$16$

4. Il grafico inferiore è la densità di campionamento della mediana, misurata dalla sua posizione orizzontale. Si ottiene convertendo l'area (nel grafico a sinistra) in posizione. La formula di conversione è data dall'inverso del CDF originale: questa è semplicemente la definizione del CDF inverso! (In altre parole, il CDF converte la posizione in area a sinistra; il CDF inverso converte indietro da un'area in posizione.) Ho tracciato delle linee tratteggiate verticali che mostrano come i punti casuali dal diagramma sinistro vengono convertiti in punti casuali all'interno del diagramma inferiore . Questo processo di lettura attraverso e poi giù ci dice come andare da un'area alla posizione.

Sia il CDF della distribuzione originale (diagramma centrale) e il CDF della distribuzione Beta. Per trovare la possibilità che la mediana si trovi a sinistra di una posizione , per prima cosa usa per ottenere l' area a sinistra di nella casella: questa è stessa. La distribuzione Beta a sinistra ci dice la possibilità che metà degli atomi si trovino all'interno di questo volume, dando : questo è il CDF della posizione mediana . Per trovare il suo PDF (come mostrato nella trama in basso), prendi la derivata:$F$$G$$x$$F$$x$$F(x)$$G(F(x))$

$$\frac{d}{dx}G(F(x)) = G'(F(x))F'(x) = g(F(x))f(x)$$

dove è il PDF (trama in alto) e è il PDF beta (trama a sinistra).$f$$g$

Questa è una formula esatta per la distribuzione della mediana per qualsiasi distribuzione continua. (Con una certa cura nell'interpretazione può essere applicato a qualsiasi distribuzione, sia continua che no.)

---

Risultati asintotici

Quando è molto grande e non ha un salto alla sua mediana, la mediana del campione deve variare da vicino attorno alla vera mediana della distribuzione. Supponendo anche che il PDF sia continuo vicino a , nella formula precedente non cambierà molto dal suo valore in dato da Inoltre, anche non cambierà molto dal suo valore: al primo ordine,$n$$F$$\mu$$f$$\mu$ $f(x)$$\mu,$$f(\mu).$$F$

$$F(x) = F\left(\mu + (x-\mu)\right) \approx F(\mu) + F^\prime(\mu)(x-\mu) = 1/2 + f(\mu)(x-\mu).$$

Pertanto, con un'approssimazione in costante miglioramento man mano che cresce,$n$

$$g(F(x))f(x) \approx g\left(1/2 + f(\mu)(x-\mu)\right) f(\mu).$$

Questo è semplicemente uno spostamento della posizione e della scala della distribuzione Beta. Il riscalamento di dividerà la sua varianza per (che sarebbe meglio essere diverso da zero!). Per inciso, la varianza di Beta è molto vicina a .$f(\mu)$$f(\mu)^2$$(n/2+1, n/2+1)$$n/4$

Questa analisi può essere vista come un'applicazione del Metodo Delta .

Infine, Beta è approssimativamente normale per grande . Ci sono molti modi per vederlo; forse il più semplice è guardare il logaritmo del suo PDF vicino a :$(n/2+1, n/2+1)$$n$$1/2$

$$\log\left(C(1/2 + x)^{n/2}(1/2-x)^{n/2}\right) = \frac{n}{2}\log\left(1-4x^2\right) + C' = C'-2nx^2 +O(x^4).$$

(Le costanti e limitano a normalizzare l'area totale in unità.) Attraverso il terzo ordine in quindi, questo è lo stesso del registro del PDF normale con varianza (Questo argomento è reso rigoroso utilizzando funzioni di generazione caratteristiche o cumulative anziché il registro del PDF.)$C$$C'$$x,$$1/(4n).$

Mettendo tutto questo, lo concludiamo

• La distribuzione della mediana del campione ha una varianza di circa ,$1/(4 n f(\mu)^2)$

• ed è approssimativamente normale per grande ,$n$

• tutto a condizione che il PDF sia continuo e diverso da zero alla mediana$f$$\mu.$

La risposta illuminante di @EngrStudent ci dice che dovremmo aspettarci risultati diversi quando la distribuzione è continua e quando è discreta (i grafici "rossi", in cui la distribuzione asintotica della mediana del campione non riesce in modo spettacolare a sembrare normale, corrispondono alle distribuzioni binomiali (3), Geometrico (11), Ipergeometrico (12), Binomiale negativo (14), Poisson (18), Uniforme discreta (22).

E davvero questo è il caso. Quando la distribuzione è discreta, le cose si complicano. Fornirò la prova per il caso assolutamente continuo, essenzialmente facendo altro che dettagliare la risposta già fornita da @Glen_b, e poi discuterò un po 'cosa succede quando la distribuzione è discreta, fornendo anche un riferimento recente per chiunque sia interessato all'immersione nel.

DISTRIBUZIONE ASSOLUTAMENTE CONTINUA
Considera una raccolta di variabili casuali assolutamente continue con funzione di distribuzione (cdf) e funzione di densità . Definire dove è la funzione indicatore. Pertanto è un Bernoulli rv, con $\{X_1,...X_n\}$$F_X(x) = P(X_i\le x)$$F'_X(x)=f_X(x)$$Z_i\equiv I\{X_i\le x\}$$I\{\}$$Z_i$

$$E(Z_i) = E\left(I\{X_i\le x\}\right) = P(X_i\le x)=F_X(x),\;\; \text{Var}(Z_i) = F_X(x)[1-F_X(x)],\;\; \forall i$$

Sia la media di esempio di questi iid Bernoullis, definito per fisso come che significa che Si applica il teorema del limite centrale e abbiamo$Y_n(x)$$x$

$$Y_n(x) = \frac 1n\sum_{i=1}^nZ_i$$ $$E[Y_n(x)] = F_X(x),\;\; \text{Var}(Y_n(x)) = (1/n)F_X(x)[1-F_X(x)]$$

$$\sqrt n\Big(Y_n(x) - F_X(x)\Big) \rightarrow_d \mathbb N\left(0,F_X(x)[1-F_X(x)]\right)$$

Si noti che cioè non diverso dalla funzione di distribuzione empirica. Applicando il "Metodo Delta" abbiamo che per una funzione continua e differenziabile con derivata diversa da zero nel punto di interesse, otteniamo$Y_n(x) = \hat F_n(x)$$g(t)$$g'(t)$

$$\sqrt n\Big(g[\hat F_n(x)] - g[F_X(x)]\Big) \rightarrow_d \mathbb N\left(0,F_X(x)[1-F_X(x)]\cdot\left(g'[F_X(x)]\right)^2\right)$$

Ora, scegli dove indica la funzione inversa. Questa è una funzione continua e differenziabile (poiché è), e dal Teorema della funzione inversa abbiamo$g(t) \equiv F^{-1}_X(t),\;\; t\in (0,1)$$^{-1}$$F_X(x)$

$$g'(t)=\frac {d}{dt}F^{-1}_X(t) = \frac 1{f_x\left(F^{-1}_X(t)\right)}$$

Inserendo questi risultati su nel risultato asintotico derivato dal metodo delta che abbiamo$g$

$$\sqrt n\Big(F^{-1}_X(\hat F_n(x)) - F^{-1}_X(F_X(x))\Big) \rightarrow_d \mathbb N\left(0,\frac {F_X(x)[1-F_X(x)]}{\left[f_x\left(F^{-1}_X(F_X(x))\right)\right]^2} \right)$$

e semplificando,

$$\sqrt n\Big(F^{-1}_X(\hat F_n(x)) - x\Big) \rightarrow_d \mathbb N\left(0,\frac {F_X(x)[1-F_X(x)]}{\left[f_x(x)\right]^2} \right)$$

.. per qualsiasi fisso . Ora imposta , la (vera) mediana della popolazione. Quindi abbiamo e il risultato generale sopra diventa, per il nostro caso di interesse,$x$$x=m$$F_X(m) = 1/2$

$$\sqrt n\Big(F^{-1}_X(\hat F_n(m)) - m\Big) \rightarrow_d \mathbb N\left(0,\frac {1}{\left[2f_x(m)\right]^2} \right)$$

Ma converge alla mediana di esempio . Questo è perché$F^{-1}_X(\hat F_n(m))$$\hat m$

$$F^{-1}_X(\hat F_n(m)) = \inf\{x : F_X(x) \geq \hat F_n(m)\} = \inf\{x : F_X(x) \geq \frac 1n \sum_{i=1}^n I\{X_i\leq m\}\}$$

Il lato destro della disuguaglianza converge in e la più piccola per la quale alla fine è la mediana del campione.$1/2$$x$$F_X \geq 1/2$

Quindi otteniamo

$$\sqrt n\Big(\hat m - m\Big) \rightarrow_d \mathbb N\left(0,\frac {1}{\left[2f_x(m)\right]^2} \right)$$ che è la centrale Teorema limite per la mediana del campione per distribuzioni assolutamente continue.

DISTRIBUZIONI DISCRETE
Quando la distribuzione è discreta (o quando il campione contiene legami) è stato sostenuto che la definizione "classica" dei quantili del campione, e quindi anche della mediana, può essere fuorviante in primo luogo , poiché il concetto teorico deve essere usato per misurare ciò che si tenta di misurare con i quantili.
In ogni caso è stato simulato che secondo questa definizione classica (quella che tutti conosciamo), la distribuzione asintotica della mediana del campione è non normale e una distribuzione discreta.

Una definizione alternativa di quantili campione è usando il concetto della funzione "distribuzione media", che è definita come

$$F_{mid}(x) = P(X\le x) - \frac 12P(X=x)$$

La definizione di quantili campione attraverso il concetto di funzione di distribuzione media può essere vista come una generalizzazione che può coprire come casi speciali le distribuzioni continue, ma anche quelle non così continue.

Nel caso delle distribuzioni discrete, tra gli altri risultati, è stato riscontrato che la mediana del campione definita attraverso questo concetto ha una distribuzione asintoticamente normale con una varianza dall'aspetto elaborato.

La maggior parte di questi sono risultati recenti. Il riferimento è Ma, Y., Genton, MG e Parzen, E. (2011). Proprietà asintotiche dei quantili campione di distribuzioni discrete. Annali dell'Istituto di matematica statistica, 63 (2), 227-243. , dove è possibile trovare una discussione e collegamenti alla letteratura pertinente precedente.

Sì, lo è, non solo per la mediana, ma per qualsiasi quantile di esempio. Copiando da questo articolo , scritto da TS Ferguson, un professore dell'UCLA (la sua pagina è qui ), che si occupa in modo interessante della distribuzione congiunta della media campionaria e dei quantili campione, abbiamo:

Lascia che essere iid con funzione di distribuzione , densità , media e varianza finita . Lasciare e lasciare indicare la quantile -esimo , in modo che . Supponiamo che la densità sia continua e positiva su . Sia denota il campione -esimo quantile. Poi F $X_1, . . . ,X_n$$F(x)$$f(x)$$\mu$$\sigma^2$$0 < p < 1$$x_p$$p$$F$$F(x_p) = p$$f(x)$$x_p$$Y_n = X_{(n:\lceil np\rceil)}$$p$

$$\sqrt n(Y_n − x_p) \xrightarrow{d} N(0, p(1 − p)/(f(x_p))^2)$$

Per (mediana) e hai il CLT per mediane,$p=1/2 \Rightarrow x_p=m$

$$\sqrt n(Y_n − m) \xrightarrow{d} N\left(0, [2f(m)]^{-2}\right)$$

Mi piace la risposta analitica fornita da Glen_b. È una buona risposta

Ha bisogno di una foto. Mi piacciono le foto.

Ecco alcune aree di elasticità in una risposta alla domanda:

• Ci sono molte distribuzioni nel mondo. Il chilometraggio può variare.
• Sufficiente ha significati diversi. Per un contro-esempio di una teoria, a volte è necessario un singolo contro-esempio per soddisfare "sufficiente". Per la dimostrazione di basse percentuali di difetto usando incertezza binomiale potrebbero essere necessarie centinaia o migliaia di campioni.

Per un normale standard ho usato il seguente codice MatLab:

mysamples=1000;

loops=10000;

y1=median(normrnd(0,1,mysamples,loops));

cdfplot(y1)

e ho ottenuto la seguente trama come output:

Quindi, perché non farlo per le altre 22 distribuzioni "incorporate", ad eccezione dell'uso di prob-plot (dove la linea retta significa molto normale)?

Ed ecco il codice sorgente per questo:

mysamples=1000;

loops=600;

y=zeros(loops,23);

y(:,1)=median(random('Normal', 0,1,mysamples,loops));

y(:,2)=median(random('beta', 5,0.2,mysamples,loops));
y(:,3)=median(random('bino', 10,0.5,mysamples,loops));
y(:,4)=median(random('chi2', 10,mysamples,loops));
y(:,5)=median(random('exp', 700,mysamples,loops));

y(:,6)=median(random('ev', 700,mysamples,loops));
y(:,7)=median(random('f', 5,3,mysamples,loops));
y(:,8)=median(random('gam', 10,5,mysamples,loops));
y(:,9)=median(random('gev', 0.24, 1.17, 5.8,mysamples,loops));
y(:,10)=median(random('gp', 0.12, 0.81,mysamples,loops));

y(:,11)=median(random('geo', 0.03,mysamples,loops));
y(:,12)=median(random('hyge', 1000,50,20,mysamples,loops));
y(:,13)=median(random('logn', log(20000),1.0,mysamples,loops));
y(:,14)=median(random('nbin', 2,0.11,mysamples,loops));
y(:,15)=median(random('ncf', 5,20,10,mysamples,loops));

y(:,16)=median(random('nct', 10,1,mysamples,loops));
y(:,17)=median(random('ncx2', 4,2,mysamples,loops));
y(:,18)=median(random('poiss', 5,mysamples,loops));
y(:,19)=median(random('rayl', 0.5,mysamples,loops));
y(:,20)=median(random('t', 5,mysamples,loops));

y(:,21)=median(random('unif',0,1,mysamples,loops));
y(:,22)=median(random('unid', 5,mysamples,loops));
y(:,23)=median(random('wbl', 0.5,2,mysamples,loops));


figure(1); clf
hold on

for i=2:23
    subplot(4,6,i-1)

    probplot(y(:,i))
    title(['Probplot of ' num2str(i)])
    axis tight

    if not(isempty(find(i==[3,11,12,14,18,22])))
        set(gca,'Color','r')
    end

end

Quando vedo la prova analitica potrei pensare "in teoria potrebbero andare bene tutti" ma quando lo provo posso temperare che con "ci sono un certo numero di modi in cui questo non funziona così bene, spesso implicando discreti o fortemente vincolati valori "e questo potrebbe farmi desiderare di stare più attento all'applicazione della teoria a tutto ciò che costa denaro.

In bocca al lupo.