Quale distribuzione segue il CDF normale inverso di una variabile casuale beta?

Supponiamo di definire:

$$X\sim\mbox{Beta}(\alpha,\beta)$$

$$Y\sim \Phi^{-1}(X)$$

dove $\Phi^{-1}$ è l'inverso del CDF della distribuzione normale standard .

La mia domanda è: esiste una semplice distribuzione che segue $Y$ o che può approssimare $Y$ ? Sto chiedendo perché ho un forte sospetto basato sui risultati della simulazione (mostrati sotto) che $Y$ converge in una distribuzione normale quando $\alpha$ e $\beta$ sono alti, ma non so perché matematicamente. (Naturalmente quando $\alpha=1;\beta=1$ , $X$ sarebbe uniforme e $Y$ sarebbe lo standard normale, ma perché sarebbe vero per valori più alti?).

Se questo converge in una normale, quali sarebbero i parametri di quella normale, in termini di $\alpha$ e $\beta$ ? (Mi aspetto che la media sia $\Phi^{-1}(\frac{\alpha}{\alpha+\beta})$poiché questa è la trasformazione della modalità, ma non conosco la deviazione standard).

(In altre parole, questo potrebbe essere la domanda " $\Phi(\mbox{Norm}(\mu, \sigma))$ converge in una distribuzione beta, per una direzione di $\mu$ e $\sigma$ "? Non sono sicuro che sia più facile rispondere).

Risultati della simulazione

Qui mostro perché ho il sospetto che il risultato sia normale (dal momento che non posso eseguirne il backup con la matematica). La simulazione di $Y$ può essere eseguita in R con qnorme rnorm. Ad esempio, scegliendo i parametri alti $\alpha=3000$ e $\beta=7000$ :

hist(qnorm(rbeta(5000, 3000, 7000)))

Questo sembra normale, e qqnormil test di Shapiro-Wilk (in cui la normalità è l'ipotesi nulla) suggerisce anche questo:

qqnorm(qnorm(rbeta(5000, 3000, 7000)))

shapiro.test(qnorm(rbeta(5000, 3000, 7000)))
#> 
#>  Shapiro-Wilk normality test
#> 
#> data:  qnorm(rbeta(5000, 3000, 7000))
#> W = 0.99954, p-value = 0.2838

Per esplorare un po 'più a fondo la normalità, eseguo 2000 simulazioni, ogni volta simulando 5.000 valori da $Y$ , quindi eseguendo il test per confrontarlo con il normale. (Ho scelto valori 5K perché è il massimo che shapiro.testpuò gestire e massimizza il potere di rilevare deviazioni dalla norma).

Se la distribuzione fosse davvero normale, ci aspetteremmo che i valori di p siano uniformi (poiché il valore nullo è vero). Sono davvero vicini all'uniforme, suggerendo che la distribuzione è molto vicina alla normale:

hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 3000, 7000)))$p.value))

Alcune sperimentazioni mostrano che più alti sono e β , più la distribuzione si avvicina alla normalità (ad es. È abbastanza lontana dalla normalità, ma prova e sembra essere in qualche punto nel mezzo).$\alpha$$\beta$rbeta(5000, 3, 7)hist(replicate(2000, shapiro.test(qnorm(rbeta(5000, 30, 70)))$p.value))

Sinossi

Hai riscoperto parte della costruzione descritta nel Teorema del limite centrale per mediane campione, che illustra un'analisi della mediana di un campione. (L'analisi ovviamente si applica, mutatis mutandis , a qualsiasi quantile, non solo alla mediana). Pertanto non sorprende che per grandi parametri Beta (corrispondenti a grandi campioni) si verifichi una distribuzione normale sotto la trasformazione descritta nella domanda. Ciò che interessa è la vicinanza alla Normale anche per piccoli parametri Beta. Questo merita una spiegazione.

Di seguito traccerò un'analisi. Per mantenere questo post a una lunghezza ragionevole, comporta un sacco di suggestivi sventoli di mano: il mio obiettivo è solo quello di sottolineare le idee chiave. Consentitemi quindi di riassumere i risultati qui:

1. Quando è vicino a β , tutto è simmetrico. Ciò fa sì che la distribuzione trasformata appaia già normale.$\alpha$$\beta$

2. Le funzioni della forma sembrano abbastanza normali in primo luogo, anche per piccoli valori di α e β (purché entrambi superino 1 e il loro rapporto non sia troppo vicino a 0 o 1 ).$\Phi^{\alpha-1}(x)\left(1-\Phi(x)\right)^{\beta-1}$$\alpha$$\beta$$1$$0$$1$

3. L'apparente normalità della distribuzione trasformata è dovuta al fatto che la sua densità è costituita da una densità normale moltiplicata per una funzione in (2).

4. All'aumentare di e β , la deviazione dalla Normalità può essere misurata nei termini rimanenti in una serie di Taylor per la densità del tronco. Il termine dell'ordine n diminuisce in proporzione ai poteri ( n - 2 ) / 2 di α e β . Ciò implica che alla fine, per α e β sufficientemente grandi , tutti i termini di potenza n = 3 o maggiore sono diventati relativamente piccoli, lasciando solo un quadratico: che è precisamente la densità del log di una distribuzione normale.$\alpha$$\beta$$n$$(n-2)/2$$\alpha$$\beta$$\alpha$$\beta$$n=3$

Collettivamente, questi comportamenti spiegano bene perché anche per i piccoli e β i quantili non estremi di un campione iid normale sembrano approssimativamente normali.$\alpha$$\beta$

---

Analisi

Poiché può essere utile generalizzare, sia una qualsiasi funzione di distribuzione, anche se abbiamo in mente F = Φ .$F$$F=\Phi$

La funzione di densità di una variabile Beta ( α , β ) è, per definizione, proporzionale a$g(y)$$(\alpha,\beta)$

$$y^{\alpha-1}(1-y)^{\beta-1}dy.$$

Consentendo a essere la trasformata integrale di probabilità di x e la scrittura di f per la derivata di F , è immediato che x abbia una densità proporzionale a$y=F(x)$$x$$f$$F$$x$

$$G(x;\alpha,\beta)=F(x)^{\alpha-1}(1-F(x))^{\beta-1}f(x)dx.$$

Poiché questa è una trasformazione monotonica di una distribuzione fortemente unimodale (una Beta), a meno che non sia piuttosto strano, anche la distribuzione trasformata sarà unimodale. Per studiare quanto potrebbe essere vicino alla Normale, esaminiamo il logaritmo della sua densità,$F$

$$\log G(x;\alpha,\beta) = (\alpha-1)\log F(x) + (\beta-1)\log(1-F(x)) + \log f(x) + C\tag{1}$$

dove è una costante irrilevante di normalizzazione.$C$

Espandere i componenti del nella serie Taylor per ordinarne tre attorno a un valore x 0 (che sarà vicino a una modalità). Ad esempio, possiamo scrivere l'espansione del registro F come$\log G(x;\alpha,\beta)$$x_0$$\log F$

$$\log F(x) = c^{F}_0 + c^{F}_1 (x-x_0) + c^{F}_2(x-x_0)^2 + c^{F}_3h^3$$

per qualche con | h | ≤ | x - x 0 | . Utilizzare una notazione simile per log ( 1 - F ) e log f . $h$$|h| \le |x-x_0|$$\log(1-F)$$\log f$

Termini lineari

Il termine lineare in diventa così$(1)$

$$g_1(\alpha,\beta) = (\alpha-1)c^{F}_1 + (\beta-1)c^{1-F}_1 + c^{f}_1.$$

Quando è una modalità di G $x_0$ , questa espressione è zero. Si noti che poiché i coefficienti sono funzioni continue di x 0 , poiché α e β sono variati, anche la modalità x 0 varierà continuamente. Inoltre, una volta che α e β sono sufficientemente grandi, iltermine c f 1 diventa relativamente insignificante. Se miriamo a studiare il limite come α → ∞ e β → ∞ per il quale α : β rimane in proporzione costante γ$G(\,;\alpha,\beta)$$x_0$$\alpha$$\beta$$x_0$$\alpha$$\beta$$c^{f}_1$$\alpha\to\infty$$\beta\to\infty$ $\alpha:\beta$$\gamma$, potremmo quindi scegliere una volta per tutte un punto base per il quale$x_0$

$$\gamma c^{F}_1 + c^{1-F}_1 = 0.$$

Un buon caso è dove , dove α = β per tutto, e F è simmetrico su 0 . In questo caso è evidente x 0 = F ( 0 ) = 1 / 2 .$\gamma=1$$\alpha=\beta$$F$$0$$x_0=F(0)=1/2$

Abbiamo raggiunto un metodo per cui (a) nel limite, il termine del primo ordine nella serie Taylor svanisce e (b) nel caso speciale appena descritto, il termine del primo ordine è sempre zero.

Termini quadratici

Questa è la somma

$$g_2(\alpha,\beta) = (\alpha-1)c^{F}_2 + (\beta-1)c^{1-F}_2 + c^{f}_2.$$

Rispetto ad una distribuzione normale, il cui termine quadratico è , si può stimare che - 1 / ( 2 g 2 ( α , β ) ) è approssimativamente la varianza di G . Cerchiamo di standardizzare G riscalando x per la sua radice quadrata. non abbiamo davvero bisogno dei dettagli; è sufficiente capire che questo riscalaggio moltiplicherà il coefficiente di ( $-(1/2)(x-x_0)^2/\sigma^2$$-1/(2g_2(\alpha,\beta))$$G$$G$$x$ nell'espansione di Taylor di ( - 1 / ( 2 g 2 ( α , β ) ) ) n / 2$(x-x_0)^n$$(-1/(2g_2(\alpha,\beta)))^{n/2}.$

Termine residuo

Ecco la battuta finale: il termine dell'ordine nell'espansione di Taylor è, secondo la nostra notazione,$n$

$$g_n(\alpha,\beta) = (\alpha-1)c^{F}_n + (\beta-1)c^{1-F}_n + c^{f}_n.$$

After standardization, it becomes

$$g_n^\prime(\alpha,\beta) = \frac{g_n(\alpha,\beta)}{(-2g_2(\alpha,\beta))^{n/2})}.$$

Both of the $g_i$ are affine combination of $\alpha$ and $\beta$. By raising the denominator to the $n/2$ power, the net behavior is of order $-(n-2)/2$ in each of $\alpha$ and $\beta$. As these parameters grow large, then, each term in the Taylor expansion after the second decreases to zero asymptotically. In particular, the third-order remainder term becomes arbitrarily small.

The case when $F$ is normal

$F$$f(x)$$G$$F^{\alpha-1}(1-F)^{\beta-1}$

$\alpha$$\beta$$\alpha=\beta$. $G$ is symmetric, whence the order-3 term vanishes altogether. The remainder is of order $4$ in $x-x_0=x$.

Here is a plot showing how the standardized fourth order term changes with small values of $\alpha \gt 1$:

The value starts out at $0$ for $\alpha=\beta=1$, because then the distribution obviously is Normal ($\Phi^{-1}$ applied to a uniform distribution, which is what Beta$(1,1)$ is, gives a standard Normal distribution). Although it increases rapidly, it tops off at less than $0.008$--which is practically indistinguishable from zero. After that the asymptotic reciprocal decay kicks in, making the distribution ever closer to Normal as $\alpha$ increases beyond $2$.

Convergence

Suppose that $\alpha = \beta$ and let $\alpha \to \infty$ and take any small $\varepsilon > 0$. Then $var(X) \to 0$. By Chebyshev's inequality we have $\mathbb{P} [\vert X - 0.5 \vert > \varepsilon] \to 0$ and $\mathbb{P} [\vert Y \vert > \varepsilon] \to 0$. This means that $Y$ converges in probability (not in distribution actually it converges in distribution - to singleton).

Exact distribution

Denote by $f_X$ the density of beta distribution. Then your variable $Y$ has density

$$f_Y (y) = f_X ( \Phi (y) ) \phi (y).$$ Since $\Phi$ does not have a closed form I believe that this is the furthest you can get (analytically). You can try to put it into FullSimplify function in Wolfram Mathematica to see if it finds some better form.

Here is the density in R so you can plot it instead of histogram.

f_y <- function(x, alpha, beta) {
  dbeta(pnorm(x), alpha, beta) * dnorm(x)
}

Modification

However, you are maybe interested in distribution of

$$Z = \Phi^{-1} (\sqrt{\alpha} X)$$ . (still assuming $\alpha = \beta$) This may be useful because $var(\sqrt{\alpha} X) \to 1/8$ (useful because it is not zero).

Here I present a heuristic explanation (which can be made rigorous at least asymptotically). For simplicity, take $k \in \mathbb N$, $k \geq 2$. Let $X \sim \text{Beta}(k,k)$. I want to argue that $Y = \Phi^{-1}(X)$ is approximately normal.

Now let $n=2k-1$. We start by drawing $n$ i.i.d. uniformly distributed random variables $U_1, \dotsc, U_n$. Next, form the order statistics $U_{(1)} \leq \dotsc \leq U_{(n)}$.

It is well known that $U_{(k)} \sim \text{Beta}(k, n+1-k)$, thus:

$$U_{(k)} \sim \text{Beta}(k, k)$$

In other words: The sample median of $n$ i.i.d. uniformly distributed random variables is $\text{Beta}(k,k)$ distributed.

Now let's transform by $Z_i = \Phi^{-1}(U_i)$. Then by the probability integral transform, the $Z_i$ are i.i.d. normally distributed. Also form the order statistics of the $Z_i$ ($Z_{(1)} \leq \dotsc \leq Z_{(n)}$). Since $\Phi^{-1}$ is strictly increasing, it follows that:

$$\Phi^{-1}(U_{(k)}) = Z_{(k)}$$

Therefore, to show that $Y$ is approximately normal, we just have to argue that the sample median of $n$ i.i.d. normal random variables is approximately normal.

For $k$ large, this can be made precise by a central limit theorem for sample medians. For $k$ small, say $k=2$, I will let everyone's gut feeling do the speaking.

For $a \neq b$ (but not too different) one can argue similarly by using corresponding quantiles.