La relazione tra la distribuzione gamma e la distribuzione normale

Recentemente ho trovato necessario derivare un pdf per il quadrato di una normale variabile casuale con media 0. Per qualsiasi motivo, ho scelto di non normalizzare la varianza in anticipo. Se l'ho fatto correttamente, questo pdf è il seguente:

$$N^2(x; \sigma^2) = \frac{1}{\sigma \sqrt{2 \pi} \sqrt{x}} e^{\frac{-x}{2\sigma^2}}$$

Ho notato che questa era in effetti solo una parametrizzazione di una distribuzione gamma:

$$N^2(x; \sigma^2) = \operatorname{Gamma}(x; \frac{1}{2}, 2 \sigma^2)$$

E poi, dal fatto che la somma di due gamme (con lo stesso parametro di scala) è uguale a un'altra gamma, ne consegue che la gamma è equivalente alla somma di variabili casuali normali al quadrato.$k$

$$N^2_\Sigma(x; k, \sigma^2) = \operatorname{Gamma}(x; \frac{k}{2}, 2 \sigma^2)$$

Questo è stato un po 'sorprendente per me. Anche se sapevo che la distribuzione $\chi^2$ - una distribuzione della somma dei RV normali standard al quadrato - era un caso speciale del gamma, non mi rendevo conto che il gamma fosse essenzialmente solo una generalizzazione che consentiva la somma del normale variabili casuali di qualsiasi varianza. Questo porta anche ad altre caratterizzazioni che non avevo mai incontrato prima, come la distribuzione esponenziale equivalente alla somma di due distribuzioni quadrate normali.

Questo è tutto un po 'misterioso per me. La distribuzione normale è fondamentale per la derivazione della distribuzione gamma, nel modo che ho indicato sopra? La maggior parte delle risorse che ho controllato non fa menzione del fatto che le due distribuzioni sono intrinsecamente correlate in questo modo, o addirittura del resto descrivono come viene derivata la gamma. Questo mi fa pensare che sia in gioco una verità di livello inferiore che ho semplicemente messo in evidenza in modo contorto?

Come ha osservato il commento del Prof. Sarwate, le relazioni tra quadrato normale e chi-quadrato sono un fatto molto diffuso - come dovrebbe essere anche il fatto che un chi-quadrato è solo un caso speciale della distribuzione Gamma:

$$X \sim N(0,\sigma^2) \Rightarrow X^2/\sigma^2 \sim \mathcal \chi^2_1 \Rightarrow X^2 \sim \sigma^2\mathcal \chi^2_1= \text{Gamma}\left(\frac 12, 2\sigma^2\right)$$

l'ultima uguaglianza che segue dalla proprietà di ridimensionamento del Gamma.

Per quanto riguarda la relazione con l'esponenziale, per essere precisi è la somma di due normali quadrate a media zero ognuna ridimensionata dalla varianza dell'altra , che porta alla distribuzione esponenziale:

$$X_1 \sim N(0,\sigma^2_1),\;\; X_2 \sim N(0,\sigma^2_2) \Rightarrow \frac{X_1^2}{\sigma^2_1}+\frac{X_2^2}{\sigma^2_2} \sim \mathcal \chi^2_2 \Rightarrow \frac{\sigma^2_2X_1^2+ \sigma^2_1X_2^2}{\sigma^2_1\sigma^2_2} \sim \mathcal \chi^2_2$$

$$\Rightarrow \sigma^2_2X_1^2+ \sigma^2_1X_2^2 \sim \sigma^2_1\sigma^2_2\mathcal \chi^2_2 = \text{Gamma}\left(1, 2\sigma^2_1\sigma^2_2\right) = \text{Exp}( {1\over {2\sigma^2_1\sigma^2_2}})$$

Ma il sospetto che ci sia "qualcosa di speciale" o "più profondo" nella somma di due zero quadrati medi normali che "li rende un buon modello per i tempi di attesa" è infondato: prima di tutto, cosa c'è di speciale nella distribuzione esponenziale che rende è un buon modello per "tempo di attesa"? Naturalmente la mancanza di memoria, ma qui c'è qualcosa di "più profondo", o semplicemente la semplice forma funzionale della funzione di distribuzione esponenziale e le proprietà di ? Proprietà uniche sono sparse in tutta la matematica e, il più delle volte, non riflettono una "intuizione più profonda" o "struttura" - esistono solo (per fortuna).$e$

In secondo luogo, il quadrato di una variabile ha pochissima relazione con il suo livello. Considera solo in, diciamo, :$f(x) = x$$[-2,\,2]$

... o tracciano un grafico della densità normale standard rispetto alla densità del chi-quadrato: riflettono e rappresentano comportamenti stocastici totalmente diversi, anche se sono così intimamente correlati, poiché il secondo è la densità di una variabile che è il quadrato del primo. Il normale può essere un pilastro molto importante del sistema matematico che abbiamo sviluppato per modellare il comportamento stocastico - ma una volta che lo quadrate, diventa qualcosa di totalmente diverso.

Affrontiamo la domanda posta, per me è tutto un po 'misterioso. La distribuzione normale è fondamentale per la derivazione della distribuzione gamma ...? In realtà nessun mistero, è semplicemente che la distribuzione normale e la distribuzione gamma sono membri, tra gli altri della famiglia esponenziale di distribuzioni, la quale famiglia è definita dalla capacità di convertire tra forme equazionali sostituendo parametri e / o variabili. Di conseguenza, ci sono molte conversioni per sostituzione tra le distribuzioni, alcune delle quali sono riassunte nella figura seguente.

LEEMIS, Lawrence M .; Jacquelyn T. MCQUESTON (febbraio 2008). "Univariate Distribution Relationships" (PDF). Statistico americano. 62 (1): 45–53. doi: 10.1198 / 000313008x270448 citare

Ecco due relazioni di distribuzione normale e gamma in maggiore dettaglio (tra un numero sconosciuto di altre, come via chi-quadrato e beta).

Primo Segue una relazione più diretta tra la distribuzione gamma (GD) e la distribuzione normale (ND) con zero medio. In poche parole, il GD diventa di forma normale poiché il suo parametro di forma può aumentare. Dimostrare che è così è più difficile. Per GD,

$$\text{GD}(z;a,b)=\begin{array}{cc} & \begin{cases} \dfrac{b^{-a} z^{a-1} e^{-\dfrac{z}{b}}}{\Gamma (a)} & z>0 \\ 0 & \text{other} \\ \end{cases} \,. \\ \end{array}$$

Poiché il parametro della forma GD , la forma GD diventa più simmetrica e normale, tuttavia, quando la media aumenta con l'aumentare di , dobbiamo spostare a sinistra il GD di per mantenerlo stazionario e, infine, se vogliamo mantenere la stessa deviazione standard per il nostro GD spostato, dobbiamo ridurre il parametro di scala ( ) proporzionale a .a $a\rightarrow \infty$$a$$(a-1) \sqrt{\dfrac{1}{a}} k$$b$$\sqrt{\dfrac{1}{a}}$

In , per trasformare un GD in un caso limite ND impostiamo la deviazione standard come costante ( ) lasciando e spostando il GD verso sinistra per avere una modalità zero sostituendoQuindi$k$z=(a$b=\sqrt{\dfrac{1}{a}} k$GD((a-$z=(a-1) \sqrt{\dfrac{1}{a}} k+x\ .$

$$\text{GD}\left((a-1) \sqrt{\frac{1}{a}} k+x;\ a,\ \sqrt{\frac{1}{a}} k\right)=\begin{array}{cc} & \begin{cases} \dfrac{\left(\dfrac{k}{\sqrt{a}}\right)^{-a} e^{-\dfrac{\sqrt{a} x}{k}-a+1} \left(\dfrac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)} & x>\dfrac{k(1-a)}{\sqrt{a}} \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,.$$

Si noti che nel limite come il valore più negativo di per cui questo GD è diverso da zero . Cioè, il supporto GD semi-infinito diventa infinito . Prendendo il limite come del GD riparato, troviamox → - ∞ a → $a\rightarrow\infty$$x$$\rightarrow -\infty$$a\rightarrow \infty$

$$\lim_{a\to \infty } \, \frac{\left(\frac{k}{\sqrt{a}}\right)^{-a} e^{-\frac{\sqrt{a} x}{k}-a+1} \left(\frac{(a-1) k}{\sqrt{a}}+x\right)^{a-1}}{\Gamma (a)}=\dfrac{e^{-\dfrac{x^2}{2 k^2}}}{\sqrt{2 \pi } k}=\text{ND}\left(x;0,k^2\right)$$

Graficamente per e il GD è in blu e il limite è in arancione, sotto$k=2$$a=1,2,4,8,16,32,64$$\text{ND}\left(x;0,\ 2^2\right)$

Secondo. Facciamo notare che, a causa della somiglianza della forma tra queste distribuzioni, si può praticamente sviluppare relazioni tra la gamma e le distribuzioni normali estraendole dal nulla. In altre parole, svilupperemo successivamente una generalizzazione "aperta" della distribuzione gamma di una distribuzione normale.

Si noti innanzitutto che è il supporto semi-infinito della distribuzione gamma che impedisce una relazione più diretta con la distribuzione normale. Tuttavia, tale impedimento può essere rimosso quando si considera la distribuzione semi-normale, che ha anche un supporto semi-infinito. Pertanto, si può generalizzare la distribuzione normale (ND) piegandola dapprima per essere semi-normale (HND), in relazione a quella con la distribuzione gamma generalizzata (GD), quindi per il nostro tour de force, "dispieghiamo" entrambi (HND e GD) per creare un ND generalizzato (un GND), quindi.

La distribuzione gamma generalizzata

$$\text{GD}\left(x;\alpha ,\beta ,\gamma ,\mu \right)=\begin{array}{cc} & \begin{cases} \dfrac{\gamma e^{-\left(\dfrac{x-\mu }{\beta }\right)^{\gamma }} \left(\dfrac{x-\mu }{\beta }\right)^{\alpha \gamma -1}}{\beta \,\Gamma (\alpha )} & x>\mu \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,,$$

Può essere riparametrizzato per essere la distribuzione semi-normale ,

$$\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)=\begin{array}{cc} & \begin{cases} \dfrac{2 \theta e^{-\dfrac{\theta ^2 x^2}{\pi }}}{\pi } & x>0 \\ 0 & \text{other} \\ \end{cases} \\ \end{array}\,\,\,=\text{HND}(x;\theta)$$

Nota chePertanto,$\theta=\frac{\sqrt{\pi}}{\sigma\sqrt{2}}.$

$$\text{ND}\left(x;0,\sigma^2\right)=\frac{1}{2}\text{HND}(x;\theta)+\frac{1}{2}\text{HND}(-x;\theta)=\frac{1}{2}\text{GD}\left(x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{2},\frac{\sqrt{\pi }}{\theta },2,0 \right)\,,$$

il che implica questo

$$\begin{align} \text{GND}(x;\mu,\alpha,\beta) &= \frac{1}{2}\text{GD}\left(x;\frac{1}{\beta},\alpha,\beta,\mu \right)+\frac{1}{2}\text{GD}\left(-x;\frac{1}{\beta},\alpha,\beta,\mu \right)\\ &= \frac{\beta e^{-\left(\dfrac{\left|x-\mu\right|}{\alpha }\right)^{\mathrm{\Large{\beta}}}}}{2 \alpha \Gamma \left(\dfrac{1}{\beta }\right)}\\ \end{align} \,,$$

è una generalizzazione della distribuzione normale, dove è la posizione, è la scala e è la forma e dove produce una distribuzione normale. Include la distribuzione di Laplace quando . Come , la densità converge in senso puntuale in una densità uniforme su . Di seguito è riportata la distribuzione normale generalizzata tracciata per in blu con il caso normale in arancione.$\mu$$\alpha>0$$\beta>0$$\beta=2$$\beta=1$$\beta\rightarrow\infty$$(\mu-\alpha,\mu+\alpha)$$\alpha =\frac{\sqrt{\pi} }{2}\,,\beta=1/2,1,4$$\alpha =\frac{\sqrt{\pi} }{2},\,\beta=2$

Quanto sopra può essere visto come la distribuzione normale generalizzata Versione 1 e in diverse parametrizzazioni è nota come distribuzione esponenziale dell'alimentazione e distribuzione dell'errore generalizzata, che sono a loro volta una delle numerose altre distribuzioni normali generalizzate .

La derivazione della distribuzione chi-quadro dalla distribuzione normale è molto analoga alla derivazione della distribuzione gamma dalla distribuzione esponenziale.

Dovremmo essere in grado di generalizzare questo:

• Se sono variabili indipendenti da una distribuzione normale generalizzata con coefficiente di potenza allora può essere correlato ad una distribuzione Chi-quadrato in scala (con "gradi di libertà" pari a ).$X_i$$m$$Y = \sum_{i}^n {X_i}^m$$n/m$

---

L'analogia è la seguente:

Le distribuzioni normali e Chi-quadrate si riferiscono alla somma dei quadrati

• La distribuzione della densità congiunta di più variabili distribuite normali standard indipendenti dipende da$\sum x_i^2$
  $f(x_1, x_2, ... ,x_n) = \frac{\exp \left( {-0.5\sum_{i=1}^{n}{x_i}^2}\right)}{(2\pi)^{n/2}}$

• Se$X_i \sim N(0,1)$

  quindi$\sum_{i=1}^n {X_i}^2 \sim \chi^2(\nu)$

Le distribuzioni esponenziali e gamma si riferiscono alla somma regolare

• La distribuzione della densità congiunta di più variabili esponenziali indipendenti indipendenti dipende da $\sum x_i$

  $f(x_1, x_2, ... ,x_n) = \frac{\exp \left( -\lambda\sum_{i=1}^{n}{x_i} \right)}{\lambda^{-n}}$

• Se$X_i \sim Exp(\lambda)$

  quindi$\sum_{i=1}^n X_i \sim \text{Gamma}(n,\lambda)$

---

La derivazione può essere fatta da un cambiamento di variabili che si integra non su tutti ma solo sul termine sommato (questo è ciò che Pearson fece nel 1900). Questo si svolge in modo molto simile in entrambi i casi.$x_1,x_2,...x_n$

Per la distribuzione :$\chi^2$

$$\begin{array}{rcl} f_{\chi^2(n)}(s) ds &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{dV}{ds} ds\\ &=& \frac{e^{-s/2}}{\left( 2\pi \right)^{n/2}} \frac{\pi^{n/2}}{\Gamma(n/2)}s^{n/2-1} ds \\ &=& \frac{1}{2^{n/2}\Gamma(n/2)}s^{n/2-1}e^{-s/2} ds \\ \end{array}$$

Dove è il volume n-dimensionale di una n-palla con raggio quadrato .$V(s) = \frac{\pi^{n/2}}{\Gamma (n/2+1)}s^{n/2}$$s$

Per la distribuzione gamma:

$$\begin{array}{rcl} f_{G(n,\lambda)}(s) ds &=& \frac{e^{-\lambda s}}{\lambda^{-n}} \frac{dV}{ds} ds\\ &=& \frac{e^{-\lambda s}}{\lambda^{-n}} n \frac{s^{n-1}}{n!}ds \\ &=& \frac{\lambda^{n}}{ \Gamma(n)} s^{n-1} e^{-\lambda s} ds \\ \end{array}$$

Dove È il volume n-dimensionale di un n-polytope con .$V(s) = \frac{s^n}{n!}$$\sum x_i < s$

---

La distribuzione gamma può essere vista come il tempo di attesa per l' -esimo evento in un processo di Poisson che è la distribuzione della somma di variabili distribuite esponenzialmente.$Y$$n$$n$

Come già notato da Alecos Papadopoulos, non esiste una connessione più profonda che renda le somme delle variabili quadrate normali "un buon modello per i tempi di attesa". La distribuzione gamma è la distribuzione di una somma di variabili distribuite normali generalizzate. È così che i due si uniscono.

Ma il tipo di somma e il tipo di variabili possono essere diversi. Mentre la distribuzione gamma, quando derivata dalla distribuzione esponenziale (p = 1), ottiene l'interpretazione della distribuzione esponenziale (tempo di attesa), non è possibile tornare indietro e tornare a una somma di variabili gaussiane al quadrato e utilizzare quella stessa interpretazione.

La distribuzione della densità per il tempo di attesa che cade esponenzialmente e la distribuzione della densità per un errore gaussiano cade esponenzialmente (con un quadrato). Questo è un altro modo di vedere i due collegati.