Valore atteso di x in una distribuzione normale, DATO che è inferiore a un determinato valore

Mi chiedo solo se è possibile trovare il valore atteso di x se è normalmente distribuito, dato che è al di sotto di un certo valore (ad esempio, al di sotto del valore medio).

normal-distribution conditional-probability expected-value

— Gelsomino
fonte

Ovviamente è possibile. Come minimo puoi calcolare con la forza bruta . O se conosci e potresti stimarlo usando una simulazione.

F (t)^{- 1} \int_{- \infty}^{x} t f (t) d t

$F(t)^{-1} \int_{- \infty}^{x} t f(t) dt$

μ

$\mu$

σ

$\sigma$

— Dsaxton,

@dsaxton Ci sono alcuni errori di battitura in quella formula, ma abbiamo l'idea. Ciò di cui sono curioso è come si eseguirà esattamente la simulazione quando la soglia è molto al di sotto della media.

— whuber

@whuber Sì, dovrebbe essere . Non sarebbe molto intelligente fare una simulazione quando è vicino a zero, ma come hai sottolineato c'è comunque una formula esatta.

F (t)

$F(t)$

F (x)

$F(x)$

F (x)

$F(x)$

— Dsaxton,

@dsaxton OK, abbastanza giusto. Speravo solo che avessi in mente una specie di idea intelligente e semplice per simulare dalla coda di una distribuzione normale.

— whuber

Più o meno la stessa domanda in Math.SE: math.stackexchange.com/questions/749664/average-iq-of-mensa

— JiK

Risposte:

Una variabile normalmente distribuita con media e varianza ha la stessa distribuzione di dove è una variabile normale standard. Tutto quello che devi sapere su è questo $X$ $\mu$ $\sigma^2$ $\sigma Z + \mu$ $Z$ $Z$

la sua funzione di distribuzione cumulativa si chiama , $\Phi$
ha una funzione di densità di probabilità e quella $\phi(z) = \Phi^\prime(z)$
$\phi^\prime(z) = -z \phi(z)$ .

I primi due punti elenco sono solo notazione e definizioni: il terzo è l'unica proprietà speciale delle normali distribuzioni di cui avremo bisogno.

Lasciate che il "certo valore" essere . Anticipando la modifica da a , definire $T$ $X$ $Z$

t = (T - μ) / σ,

$t = (T-\mu)/\sigma,$

così che

Pr (X \leq T) = Pr (Z \leq t) = Φ (t) .

$\Pr(X \le T) = \Pr(Z \le t) = \Phi(t).$

Quindi, a partire dalla definizione dell'aspettativa condizionale, possiamo sfruttare la sua linearità per ottenere

\begin{aligned} E (X | X \leq T) & = E (σ Z + μ | Z \leq t) = σ E (Z | Z \leq t) + μ E (1 | Z \leq t) \\ = (σ \int_{- \infty}^{t} z ϕ (z) d z + μ \int_{- \infty}^{t} ϕ (z) d z) / Pr (Z \leq t) \\ = (- σ \int_{- \infty}^{t} ϕ^{'} (z) d z + μ \int_{- \infty}^{t} Φ^{'} (z) d z) / Φ (t) . \end{aligned}

$\eqalign{ \mathbb{E}(X\,|\, X \le T) &= \mathbb{E}(\sigma Z + \mu \,|\, Z \le t) = \sigma \mathbb{E}(Z \,|\, Z \le t) + \mu \mathbb{E}(1 \,|\, Z \le t) \\ &= \left(\sigma \int_{-\infty}^t z \phi(z) dz + \mu \int_{-\infty}^t \phi(z) dz \right) / \Pr(Z \le t)\\ &=\left(-\sigma \int_{-\infty}^t \phi^\prime(z) dz + \mu \int_{-\infty}^t \Phi^\prime(z) dz\right) / \Phi(t). }$

Il teorema fondamentale del calcolo afferma che si trova qualsiasi integrale di un derivato valutando la funzione agli endpoint: . Questo vale per entrambi gli integrali. Poiché sia che devono svanire in , otteniamo $\int_a^b F^\prime(z) dz = F(b) - F(a)$ $\Phi$ $\phi$ $-\infty$

E (X | X \leq T) = μ - σ \frac{ϕ (t)}{Φ (t)} .

$\mathbb{E}(X\,|\, X \le T) = \mu - \sigma \frac{\phi\left(t\right)}{\Phi\left(t\right)}.$

È la media originale meno un termine di correzione proporzionale all'Inverse Mills Ratio .

Come prevediamo, il rapporto inverso di Mills per deve essere positivo e superare (il cui grafico è mostrato con una linea rossa tratteggiata). Deve ridursi a man mano che diventa grande, poiché il troncamento in (o ) non cambia quasi nulla. Come cresce molto negativo, il rapporto inverso Mills deve avvicinarsi perché le code della normale distribuzione diminuiscono così rapidamente che quasi tutta la probabilità nella coda sinistra è concentrata in prossimità del suo lato destro (in ). $t$ $-t$ $0$ $t$ $Z=t$ $X=T$ $t$ $-t$ $t$

Infine, quando è nella media, dove il rapporto di Mills inverso è uguale a . Ciò implica che il valore atteso di , troncato alla sua media (che è il negativo di una distribuzione semi-normale ), è volte la sua deviazione standard al di sotto della media originale. $T = \mu$ $t=0$ $\sqrt{2/\pi} \approx 0.797885$ $X$ $-\sqrt{2/\pi}$

— whuber
fonte

In generale, lascia che abbia la funzione di distribuzione . $X$ $F(X)$

Abbiamo, per , Puoi ottenere casi speciali prendendo, ad esempio , che produce . $x\in[c_1,c_2]$

\begin{array}{rcl} P (X \leq x | c_{1} \leq X \leq c_{2}) & = & \frac{P (X \leq x \cap c_{1} \leq X \leq c_{2})}{P (c_{1} \leq X \leq c_{2})} = \frac{P (c_{1} \leq X \leq x)}{P (c_{1} \leq X \leq c_{2})} \\ = & \frac{F (x) - F (c_{1})}{F (c_{2}) - F (c_{1})} \end{array}

$\begin{eqnarray*} P(X\leq x|c_1\leq X \leq c_2)&=&\frac{P(X\leq x\cap c_1\leq X \leq c_2)}{P(c_1\leq X \leq c_2)}=\frac{P(c_1\leq X \leq x)}{P(c_1\leq X \leq c_2)}\\&=&\frac{F(x)-F(c_1)}{F(c_2)-F(c_1)} \end{eqnarray*}$

c_{1} = - \infty

$c_1=-\infty$

F (c_{1}) = 0

$F(c_1)=0$

Utilizzando i cdf condizionali, è possibile ottenere densità condizionali (ad es. per ), che possono essere utilizzati per le aspettative condizionali. $f(x|X<0)=2\phi(x)$ $X\sim N(0,1)$

Nel tuo esempio, l'integrazione per parti fornisce come nella risposta di @ whuber.

E (X | X < 0) = 2 \int_{- \infty}^{0} x ϕ (x) = - 2 ϕ (0),

$E(X|X<0)=2\int_{-\infty}^0x\phi(x)=-2\phi(0),$

— Christoph Hanck
fonte

+1 (in qualche modo l'ho perso quando è apparso per la prima volta). La prima parte è un eccellente resoconto di come ottenere funzioni di distribuzione troncata e la seconda mostra come calcolare i loro PDF.

— whuber