La relazione tra la distribuzione gamma e la distribuzione normale


26

Recentemente ho trovato necessario derivare un pdf per il quadrato di una normale variabile casuale con media 0. Per qualsiasi motivo, ho scelto di non normalizzare la varianza in anticipo. Se l'ho fatto correttamente, questo pdf è il seguente:

N2(x;σ2)=1σ2πxex2σ2

Ho notato che questa era in effetti solo una parametrizzazione di una distribuzione gamma:

N2(x;σ2)=Gamma(x;12,2σ2)

E poi, dal fatto che la somma di due gamme (con lo stesso parametro di scala) è uguale a un'altra gamma, ne consegue che la gamma è equivalente alla somma di variabili casuali normali al quadrato.k

NΣ2(x;k,σ2)=Gamma(x;k2,2σ2)

Questo è stato un po 'sorprendente per me. Anche se sapevo che la distribuzione χ2 - una distribuzione della somma dei RV normali standard al quadrato - era un caso speciale del gamma, non mi rendevo conto che il gamma fosse essenzialmente solo una generalizzazione che consentiva la somma del normale variabili casuali di qualsiasi varianza. Questo porta anche ad altre caratterizzazioni che non avevo mai incontrato prima, come la distribuzione esponenziale equivalente alla somma di due distribuzioni quadrate normali.

Questo è tutto un po 'misterioso per me. La distribuzione normale è fondamentale per la derivazione della distribuzione gamma, nel modo che ho indicato sopra? La maggior parte delle risorse che ho controllato non fa menzione del fatto che le due distribuzioni sono intrinsecamente correlate in questo modo, o addirittura del resto descrivono come viene derivata la gamma. Questo mi fa pensare che sia in gioco una verità di livello inferiore che ho semplicemente messo in evidenza in modo contorto?


6
Molti libri di testo universitari sulla teoria della probabilità menzionano tutti i risultati sopra; ma forse i testi statistici non coprono queste idee? In ogni caso, una variabile casuale è solo dove è una variabile casuale normale standard, e quindi (per le variabili iid) è semplicemente una variabile casuale scalata non sorprende chi ha studiato la teoria della probabilità. Y i σ X i X i i Y 2 i = σ 2 i X 2 i χ 2N(0,σ2)YioσXioXioΣioYio2=σ2ΣioXio2 χ2
Dilip Sarwate,

Vengo da un computer vision background quindi normalmente non incontro la teoria della probabilità. Nessuno dei miei libri di testo (o Wikipedia) menziona questa interpretazione. Suppongo di chiedere anche, cosa c'è di speciale nella somma del quadrato di due distribuzioni normali che lo rende un buon modello per i tempi di attesa (cioè la distribuzione esponenziale). Mi sembra ancora che mi manchi qualcosa di più profondo.
timxyz,

3
Poiché Wikipedia definisce la distribuzione del chi-quadrato come una somma di normali al quadrato su en.wikipedia.org/wiki/Chi-squared_distribution#Definition e menziona il chi-quadrato è un caso speciale del Gamma (su en.wikipedia.org/wiki / Gamma_distribution # Altri ), difficilmente si può affermare che queste relazioni non sono ben note. La varianza stessa stabilisce semplicemente l'unità di misura (un parametro di scala) in tutti i casi e quindi non introduce alcuna complicazione aggiuntiva.
whuber

3
Mentre questi risultati sono ben noti nel campo della probabilità e delle statistiche, ben fatto a te @timxyz per averli riscoperti nella tua analisi.
Ripristina Monica il

La connessione non è misteriosa, è perché sono membri della famiglia esponenziale di distribuzioni la cui proprietà saliente è che possono essere raggiunti sostituendo variabili e / o parametri. Vedi la risposta più lunga di seguito con esempi.
Carl

Risposte:


18

Come ha osservato il commento del Prof. Sarwate, le relazioni tra quadrato normale e chi-quadrato sono un fatto molto diffuso - come dovrebbe essere anche il fatto che un chi-quadrato è solo un caso speciale della distribuzione Gamma:

X~N(0,σ2)X2/σ2~χ12X2~σ2χ12=Gamma(12,2σ2)

l'ultima uguaglianza che segue dalla proprietà di ridimensionamento del Gamma.

Per quanto riguarda la relazione con l'esponenziale, per essere precisi è la somma di due normali quadrate a media zero ognuna ridimensionata dalla varianza dell'altra , che porta alla distribuzione esponenziale:

X1~N(0,σ12),X2~N(0,σ22)X12σ12+X22σ22~χ22σ22X12+σ12X22σ12σ22~χ22

σ22X12+σ12X22~σ12σ22χ22=Gamma(1,2σ12σ22)=Exp(12σ12σ22)

Ma il sospetto che ci sia "qualcosa di speciale" o "più profondo" nella somma di due zero quadrati medi normali che "li rende un buon modello per i tempi di attesa" è infondato: prima di tutto, cosa c'è di speciale nella distribuzione esponenziale che rende è un buon modello per "tempo di attesa"? Naturalmente la mancanza di memoria, ma qui c'è qualcosa di "più profondo", o semplicemente la semplice forma funzionale della funzione di distribuzione esponenziale e le proprietà di ? Proprietà uniche sono sparse in tutta la matematica e, il più delle volte, non riflettono una "intuizione più profonda" o "struttura" - esistono solo (per fortuna).e

In secondo luogo, il quadrato di una variabile ha pochissima relazione con il suo livello. Considera solo in, diciamo, :f(X)=X[-2,2]

inserisci qui la descrizione dell'immagine

... o tracciano un grafico della densità normale standard rispetto alla densità del chi-quadrato: riflettono e rappresentano comportamenti stocastici totalmente diversi, anche se sono così intimamente correlati, poiché il secondo è la densità di una variabile che è il quadrato del primo. Il normale può essere un pilastro molto importante del sistema matematico che abbiamo sviluppato per modellare il comportamento stocastico - ma una volta che lo quadrate, diventa qualcosa di totalmente diverso.


Grazie per aver affrontato in particolare le domande nel mio ultimo paragrafo.
timxyz,

2
Prego. Devo ammettere che sono contento che la mia risposta abbia raggiunto il PO originale 26 mesi dopo la pubblicazione della domanda.
Alecos Papadopoulos,

11

Affrontiamo la domanda posta, per me è tutto un po 'misterioso. La distribuzione normale è fondamentale per la derivazione della distribuzione gamma ...? In realtà nessun mistero, è semplicemente che la distribuzione normale e la distribuzione gamma sono membri, tra gli altri della famiglia esponenziale di distribuzioni, la quale famiglia è definita dalla capacità di convertire tra forme equazionali sostituendo parametri e / o variabili. Di conseguenza, ci sono molte conversioni per sostituzione tra le distribuzioni, alcune delle quali sono riassunte nella figura seguente.

inserisci qui la descrizione dell'immagineLEEMIS, Lawrence M .; Jacquelyn T. MCQUESTON (febbraio 2008). "Univariate Distribution Relationships" (PDF). Statistico americano. 62 (1): 45–53. doi: 10.1198 / 000313008x270448 citare

Ecco due relazioni di distribuzione normale e gamma in maggiore dettaglio (tra un numero sconosciuto di altre, come via chi-quadrato e beta).

Primo Segue una relazione più diretta tra la distribuzione gamma (GD) e la distribuzione normale (ND) con zero medio. In poche parole, il GD diventa di forma normale poiché il suo parametro di forma può aumentare. Dimostrare che è così è più difficile. Per GD,

GD(z;un',B)={B-un'zun'-1e-zBΓ(un')z>00altro.

Poiché il parametro della forma GD , la forma GD diventa più simmetrica e normale, tuttavia, quando la media aumenta con l'aumentare di , dobbiamo spostare a sinistra il GD di per mantenerlo stazionario e, infine, se vogliamo mantenere la stessa deviazione standard per il nostro GD spostato, dobbiamo ridurre il parametro di scala ( ) proporzionale a .a (un'un'(un'-1)1un'KB1un'

In , per trasformare un GD in un caso limite ND impostiamo la deviazione standard come costante ( ) lasciando e spostando il GD verso sinistra per avere una modalità zero sostituendoQuindiKz=(a-B=1un'KGD((a-1z=(un'-1)1un'K+X .

GD((un'-1)1un'K+X; un', 1un'K)={(Kun')-un'e-un'XK-un'+1((un'-1)Kun'+X)un'-1Γ(un')X>K(1-un')un'0altro.

Si noti che nel limite come il valore più negativo di per cui questo GD è diverso da zero . Cioè, il supporto GD semi-infinito diventa infinito . Prendendo il limite come del GD riparato, troviamox - a un'X-un'

limun'(Kun')-un'e-un'XK-un'+1((un'-1)Kun'+X)un'-1Γ(un')=e-X22K22πK=ND(X;0,K2)

Graficamente per e il GD è in blu e il limite è in arancione, sottoK=2un'=1,2,4,8,16,32,64ND(X;0, 22)

inserisci qui la descrizione dell'immagine

Secondo. Facciamo notare che, a causa della somiglianza della forma tra queste distribuzioni, si può praticamente sviluppare relazioni tra la gamma e le distribuzioni normali estraendole dal nulla. In altre parole, svilupperemo successivamente una generalizzazione "aperta" della distribuzione gamma di una distribuzione normale.

Si noti innanzitutto che è il supporto semi-infinito della distribuzione gamma che impedisce una relazione più diretta con la distribuzione normale. Tuttavia, tale impedimento può essere rimosso quando si considera la distribuzione semi-normale, che ha anche un supporto semi-infinito. Pertanto, si può generalizzare la distribuzione normale (ND) piegandola dapprima per essere semi-normale (HND), in relazione a quella con la distribuzione gamma generalizzata (GD), quindi per il nostro tour de force, "dispieghiamo" entrambi (HND e GD) per creare un ND generalizzato (un GND), quindi.

La distribuzione gamma generalizzata

GD(X;α,β,γ,μ)={γe-(X-μβ)γ(X-μβ)αγ-1βΓ(α)X>μ0altro,

Può essere riparametrizzato per essere la distribuzione semi-normale ,

GD(X;12,πθ,2,0)={2θe-θ2X2ππX>00altro=HND(X;θ)

Nota chePertanto,θ=πσ2.

ND(X;0,σ2)=12HND(X;θ)+12HND(-X;θ)=12GD(X;12,πθ,2,0)+12GD(-X;12,πθ,2,0),

il che implica questo

GND(X;μ,α,β)=12GD(X;1β,α,β,μ)+12GD(-X;1β,α,β,μ)=βe-(|X-μ|α)β2αΓ(1β),

è una generalizzazione della distribuzione normale, dove è la posizione, è la scala e è la forma e dove produce una distribuzione normale. Include la distribuzione di Laplace quando . Come , la densità converge in senso puntuale in una densità uniforme su . Di seguito è riportata la distribuzione normale generalizzata tracciata per in blu con il caso normale in arancione.μα>0β>0β=2β=1β(μ-α,μ+α)α=π2,β=1/2,1,4α=π2,β=2

inserisci qui la descrizione dell'immagine

Quanto sopra può essere visto come la distribuzione normale generalizzata Versione 1 e in diverse parametrizzazioni è nota come distribuzione esponenziale dell'alimentazione e distribuzione dell'errore generalizzata, che sono a loro volta una delle numerose altre distribuzioni normali generalizzate .


2

La derivazione della distribuzione chi-quadro dalla distribuzione normale è molto analoga alla derivazione della distribuzione gamma dalla distribuzione esponenziale.

Dovremmo essere in grado di generalizzare questo:

  • Se sono variabili indipendenti da una distribuzione normale generalizzata con coefficiente di potenza allora può essere correlato ad una distribuzione Chi-quadrato in scala (con "gradi di libertà" pari a ).XiomY=ΣionXiomn/m

L'analogia è la seguente:

Le distribuzioni normali e Chi-quadrate si riferiscono alla somma dei quadrati

  • La distribuzione della densità congiunta di più variabili distribuite normali standard indipendenti dipende daΣXio2
    f(X1,X2,...,Xn)=exp(-0.5Σio=1nXio2)(2π)n/2

  • SeXio~N(0,1)

    quindiΣio=1nXio2~χ2(ν)

Le distribuzioni esponenziali e gamma si riferiscono alla somma regolare

  • La distribuzione della densità congiunta di più variabili esponenziali indipendenti indipendenti dipende da ΣXio

    f(X1,X2,...,Xn)=exp(-λΣio=1nXio)λ-n

  • SeXio~EXp(λ)

    quindiΣio=1nXio~Gamma(n,λ)


La derivazione può essere fatta da un cambiamento di variabili che si integra non su tutti ma solo sul termine sommato (questo è ciò che Pearson fece nel 1900). Questo si svolge in modo molto simile in entrambi i casi.X1,X2,...Xn

Per la distribuzione :χ2

fχ2(n)(S)dS=e-S/2(2π)n/2dVdSdS=e-S/2(2π)n/2πn/2Γ(n/2)Sn/2-1dS=12n/2Γ(n/2)Sn/2-1e-S/2dS

Dove è il volume n-dimensionale di una n-palla con raggio quadrato .V(S)=πn/2Γ(n/2+1)Sn/2S

Per la distribuzione gamma:

fsol(n,λ)(S)dS=e-λSλ-ndVdSdS=e-λSλ-nnSn-1n!dS=λnΓ(n)Sn-1e-λSdS

Dove È il volume n-dimensionale di un n-polytope con .V(S)=Snn!ΣXio<S


La distribuzione gamma può essere vista come il tempo di attesa per l' -esimo evento in un processo di Poisson che è la distribuzione della somma di variabili distribuite esponenzialmente.Ynn

Come già notato da Alecos Papadopoulos, non esiste una connessione più profonda che renda le somme delle variabili quadrate normali "un buon modello per i tempi di attesa". La distribuzione gamma è la distribuzione di una somma di variabili distribuite normali generalizzate. È così che i due si uniscono.

Ma il tipo di somma e il tipo di variabili possono essere diversi. Mentre la distribuzione gamma, quando derivata dalla distribuzione esponenziale (p = 1), ottiene l'interpretazione della distribuzione esponenziale (tempo di attesa), non è possibile tornare indietro e tornare a una somma di variabili gaussiane al quadrato e utilizzare quella stessa interpretazione.

La distribuzione della densità per il tempo di attesa che cade esponenzialmente e la distribuzione della densità per un errore gaussiano cade esponenzialmente (con un quadrato). Questo è un altro modo di vedere i due collegati.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.