Come si calcola la funzione di densità di probabilità del massimo di un campione di variabili casuali uniformi IID?

45

Data la variabile casuale

Y = max (X_{1}, X_{2}, \dots, X_{n})

$Y = \max(X_1, X_2, \ldots, X_n)$

dove $X_i$ sono variabili uniformi IID, come posso calcolare il PDF di $Y$ ?

pdf maximum

— mascarpone
fonte

4

Se si tratta di compiti a casa, leggi le FAQ e aggiorna la tua domanda di conseguenza.

— cardinale il

Si può usare l'identità di Vandermonde per mostrare la funzione congiunta delle statistiche del 2 ordine dire F_y (r) * G_y (r)?

— Larry Mintz,

Per interesse, quale corso copre questo tipo di problema? Non è qualcosa che ho incontrato nel mio corso di probabilità di ingegneria.

— Alex,

@Alex Che ne pensi di un corso di statistica che copre il ricampionamento?

— SOFe

65

È possibile che questa domanda sia un compito da svolgere, ma ho sentito che questa domanda di probabilità elementare classica mancava ancora di una risposta completa dopo diversi mesi, quindi ne darò una qui.

Dalla dichiarazione del problema, vogliamo la distribuzione di

Y = max {X_{1}, . . ., X_{n}}

$Y = \max \{ X_1, ..., X_n \}$

dove sono iid . Sappiamo che se e solo se ogni elemento del campione è inferiore a . Quindi questo, come indicato nel suggerimento di @ varty, combinato con il fatto che gli sono indipendenti, ci consente di dedurre $X_1, ..., X_n$ ${\rm Uniform}(a,b)$ $Y < x$ $x$ $X_i$

P (Y \leq x) = P (X_{1} \leq x, . . ., X_{n} \leq x) = \prod_{i = 1}^{n} P (X_{i} \leq x) = F_{X} (x)^{n}

$P(Y \leq x) = P(X_1 \leq x, ..., X_n \leq x) = \prod_{i=1}^{n} P(X_i \leq x) = F_{X}(x)^n$

dove è il CDF della distribuzione uniforme . Pertanto il CDF di è $F_{X}(x)$ $Y$

F_{Y} (y) = P (Y \leq y) = {\begin{cases} 0 & y \leq a \\ {[(y - a) / (b - a)]}^{n} & y \in (a, b) \\ 1 & y \geq b \end{cases}

$F_{Y}(y) = P(Y \leq y) = \begin{cases} 0 & y \leq a \\ \phantom{} \left[ (y-a)/(b-a) \right]^n & y\in(a,b) \\ 1 & y \geq b \\ \end{cases}$

Poiché ha una distribuzione assolutamente continua , possiamo derivarne la densità differenziando il CDF . Quindi la densità di è $Y$ $Y$

p_{Y} (y) = \frac{n (y - a)^{n - 1}}{(b - a)^{n}}

$p_{Y}(y) = \frac{n(y-a)^{n-1}}{(b-a)^{n}}$

Nel caso speciale in cui , abbiamo che , che è la densità di una distribuzione Beta con e , poiché . $a=0,b=1$ $p_{Y}(y)=ny^{n-1}$ $\alpha=n$ $\beta=1$ ${\rm Beta}(n,1) = \frac{\Gamma(n+1)}{\Gamma(n)\Gamma(1)}=\frac{n!}{(n-1)!} = n$

Come nota, la sequenza che si ottiene se si dovesse ordinare il campione in ordine crescente - - sono chiamate statistiche dell'ordine . Una generalizzazione di questa risposta è che tutte le statistiche dell'ordine di un campione distribuito hanno una distribuzione Beta , come indicato nella risposta di @ bnaul. $X_{(1)}, ..., X_{(n)}$ ${\rm Uniform}(0,1)$

— macro
fonte

Questa in realtà era una domanda per me. Grazie per la spiegazione.

— Paul PM,

Sento che dovrei essere in grado di prendere le tue opinioni qui e rispondere a questa domanda , ma non vedo come farlo. Puoi aiutarmi? puoi consigliare un libro di testo o un capitolo che parla di questo problema generale?

@PaulPM Per interesse, quale corso copre questo tipo di problema? Non è qualcosa che ho incontrato nel mio corso di probabilità di ingegneria.

— Alex,

6

Il massimo di un campione è una delle statistiche dell'ordine , in particolare la statistica del ° ordine del campione . In generale, calcolare la distribuzione delle statistiche sugli ordini è difficile, come descritto dall'articolo di Wikipedia; per alcune distribuzioni speciali, le statistiche sugli ordini sono ben note (ad esempio per la distribuzione uniforme, che ha statistiche sugli ordini distribuiti in beta). $n$ $X_1,\dots,X_n$

EDIT: l'articolo di Wikipedia sul massimo e minimo di esempio è anche utile e più specifico per il tuo problema.

— bnaul
fonte

5

Per le distribuzioni con densità, calcolare la distribuzione marginale di una statistica di un ordine particolare è abbastanza semplice. È ancora più facile per statistiche di ordini "speciali" come il minimo e il massimo.

— cardinale il

Immagino che dipenda da cosa si intende per "calcolare" nella domanda originale. Certamente farlo numericamente è semplice; Ho interpretato la domanda come chiedere come trovare una soluzione a forma chiusa, che in generale non è facile.

— bnaul

8

@bnaul: Sia essere arbitraria funzione di distribuzione e lasciare essere un campione iid da . Consenti a essere la statistica del ° ordine. QuindiQED .

F (x) = P (X \leq x)

$F(x) = \mathbb P(X \leq x)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

F

$F$

X_{(k)}

$\newcommand{Xk}{X_{(k)}}\Xk$

k

$k$

P (X_{(k)} \leq x) = \sum_{m = k}^{n} P (| {i : X_{i} \leq x} | = m) = \sum_{m = k}^{n} (\binom{n}{m}) F (x)^{m} (1 - F (x))^{n - m} .

$\mathbb P(\Xk \leq x) = \sum_{m=k}^n \mathbb P( |\{i: X_i \leq x\}| = m) = \sum_{m=k}^n {n \choose m} F(x)^m (1-F(x))^{n-m} \>.$

— cardinale il

1

Forse un modo per capire la risposta dei cardinali (dato che si capisce la statistica degli ordini per l'uniforme) è che, poiché i cdf sono trasformazioni monotoniche da 1 a 1 di un cdf uniforme, possiamo sempre esprimere l'evento {X <a} in termini di uniforme variabile casuale (ecco perché funziona monte carlo). Quindi qualsiasi risultato basato su una distribuzione uniforme si generalizzerà facilmente ad altre variabili casuali - basta applicare la trasformazione .

U = F_{X} (X)

$U=F_{X}(X)$

— probabilityislogic

2

@probabilityislogic: l'intuizione è buona, anche se sembra che tu abbia in mente variabili casuali continue nel tuo commento. (Il risultato nel mio secondo commento sopra, ad esempio, funziona per una funzione di distribuzione arbitraria.)

— Cardinale

1

Se è il CDF di , allora È quindi possibile utilizzare la proprietà iid e il cdf di una variabile uniforme per calcolare . $F_{Y}(y)$ $Y$

F_{Y} (y) = Prob (y > X_{1}, y > X_{2}, . . ., y > X_{n})

$F_Y(y)=\text{Prob}(y>X_1,y>X_2,...,y>X_n)$

F_{Y} (y)

$F_Y(y)$

— Varty
fonte

-3

Il massimo di un set di variabili casuali IID quando opportunamente normalizzato converge generalmente in uno dei tre tipi di valori estremi. Questo è il teorema di Gnedenko, l'equivalenza del teorema limite centrale per gli estremi. Il tipo particolare dipende dal comportamento della coda della distribuzione della popolazione. Sapendo questo puoi usare la distribuzione limitante per approssimare la distribuzione al massimo.

Poiché la distribuzione uniforme su [a, b] è l'oggetto di questa domanda, Macro ha dato la distribuzione esatta per ogni n e una risposta molto bella. Il risultato è piuttosto banale. Per la distribuzione normale non è possibile una buona forma chiusa, ma opportunamente normalizzato il massimo per la normale converge alla distribuzione Gumbel F (x) = exp (- e ). $^-$ $^x$

Per l'uniforme la normalizzazione è (ba) -x / n e F (bax / n) = (1-x / [n (ba)]) $^n$ $^n$

che converge in e . Nota qui che y = bax / n. e F (y) converge in 1 mentre y va in ba. Questo vale per tutti 0 $^-$ $^x$ $^/$ $^($ $^b$ $^-$ $^a$ $^)$ $^n$

In questo caso è facile confrontare il valore esatto con il suo limite asintotico.

Il libro di Gumbel

Il libro di Galambos

Il libro di Leadbetter

Libro di Novak

Libro Coles

— Michael Chernick
fonte

4

Affinché questa risposta sia praticabile, è necessario stabilire in dettaglio come "normalizzare appropriatamente" i valori e inoltre è necessario fornire un modo per stimare quanto grande deve essere prima che la formula asintotica diventi un'approssimazione affidabile.

n

$n$

— whuber

@whuber Chiunque può vedere il teorema di Gnedenko per vedere la normalizzazione. Altrettanto importanti sono le caratteristiche della coda che determinano quale dei tre tipi si applica. Il teorema generalizza i processi stocastici stazionari. Quindi chiunque voglia conoscere i dettagli grintosi può guardare il libro di Leadbetter o la mia tesi di dottorato. Quando n è abbastanza grande, è una domanda difficile a cui rispondere per qualsiasi forma di asintotici. Immagino che il teorema di Berry-Esseen aiuti per il teorema del limite centrale. Non so cosa sia paragonabile agli estremi.

— Michael Chernick,