È possibile avere una coppia di variabili casuali gaussiane per le quali la distribuzione congiunta non è gaussiana?

Qualcuno mi ha posto questa domanda in un colloquio di lavoro e ho risposto che la loro distribuzione congiunta è sempre gaussiana. Ho pensato di poter sempre scrivere un gaussiano bivariato con i loro mezzi, la varianza e le covarianze. Mi chiedo se ci può essere un caso in cui la probabilità congiunta di due gaussiani non è gaussiana?

— MarkSAlen
fonte

Un altro esempio da Wikipedia . Naturalmente, se le variabili sono indipendenti e marginalmente gaussiane, allora sono congiuntamente gaussiane.

Un esempio qui wu.ece.ufl.edu/books/math/probability/jointlygaussian.pdf

— Stéphane Laurent,

Risposte:

138

La distribuzione normale bivariata è l' eccezione , non la regola!

È importante riconoscere che "quasi tutte" le distribuzioni congiunte con marginali normali non sono la distribuzione normale bivariata. Cioè, il punto di vista comune secondo cui le distribuzioni congiunte con marginali normali che non sono la normale bivariata sono in qualche modo "patologiche", è un po 'fuorviante.

Certamente, la normale multivariata è estremamente importante a causa della sua stabilità nelle trasformazioni lineari, e quindi riceve gran parte dell'attenzione nelle applicazioni.

Esempi

È utile iniziare con alcuni esempi. La figura seguente contiene mappe di calore di sei distribuzioni bivariate, tutte con margini normali standard. Quelle di sinistra e di mezzo nella fila superiore sono normali bivariate, le restanti no (come dovrebbe essere evidente). Sono descritti più avanti.

Esempi di distribuzione bivariata con marginali normali standard.

Le ossa nude delle copule

Le proprietà della dipendenza vengono spesso analizzate in modo efficiente usando le copule . Una copula bivariata è solo un nome di fantasia per una distribuzione di probabilità sul quadrato dell'unità con margini uniformi . $[0,1]^2$

Supponiamo che sia una copula bivariata. Poi, immediatamente da quanto sopra, sappiamo che , e , per esempio. $C(u,v)$ $C(u,v) \geq 0$ $C(u,1) = u$ $C(1,v) = v$

Possiamo costruire variabili casuali bivariate sul piano euclideo con marginali prespecificati mediante una semplice trasformazione di una copula bivariata. Lascia che a e vengano prescritte distribuzioni marginali per una coppia di variabili casuali . Quindi, se è una copula bivariata, è una funzione di distribuzione bivariata con i margini e . Per vedere quest'ultimo fatto, basta notare che Lo stesso argomento funziona per . $F_1$ $F_2$ $(X,Y)$ $C(u,v)$

F (x, y) = C (F_{1} (x), F_{2} (y))

$F(x,y) = C(F_1(x), F_2(y))$

F_{1}

$F_1$

F_{2}

$F_2$

P (X \leq x) = P (X \leq x, Y < \infty) = C (F_{1} (x), F_{2} (\infty)) = C (F_{1} (x), 1) = F_{1} (x) .

$\renewcommand{\Pr}{\mathbb P} \Pr(X \leq x) = \Pr(X \leq x, Y < \infty) = C(F_1(x), F_2(\infty)) = C(F_1(x),1) = F_1(x) \>.$

F_{2}

$F_2$

Per e continui , il teorema di Sklar afferma un contrario che implica unicità. Cioè, data una distribuzione bivariata con margini continui , , la copula corrispondente è unica (nello spazio di intervallo appropriato). $F_1$ $F_2$ $F(x,y)$ $F_1$ $F_2$

Il normale bivariato è eccezionale

Il teorema di Sklar ci dice (essenzialmente) che esiste una sola copula che produce la distribuzione normale bivariata. Questa è, giustamente, la copula gaussiana che ha densità su dove il numeratore è la distribuzione normale bivariata con correlazione valutata in e . $[0,1]^2$

c_{ρ} (u, v) := \frac{\partial^{2}}{\partial u \partial v} C_{ρ} (u, v) = \frac{φ_{2, ρ} (Φ^{- 1} (u), Φ^{- 1} (v))}{φ (Φ^{- 1} (u)) φ (Φ^{- 1} (v))},

$c_\rho(u,v) := \frac{\partial^2}{\partial u \partial v} C_\rho(u,v) = \frac{\varphi_{2,\rho}(\Phi^{-1}(u),\Phi^{-1}(v))}{\varphi(\Phi^{-1}(u)) \varphi(\Phi^{-1}(v))} \>,$

ρ

$\rho$

Φ^{- 1} (u)

$\Phi^{-1}(u)$

Φ^{- 1} (v)

$\Phi^{-1}(v)$

Ma ci sono molte altre copule e tutte daranno una distribuzione bivariata con marginali normali che non è la normale bivariata usando la trasformazione descritta nella sezione precedente.

Alcuni dettagli sugli esempi

Si noti che se è una copula arbitraria con densità , la densità bivariata corrispondente con marginali normali standard sotto la trasformazione è $C(u,v)$ $c(u,v)$ $F(x,y) = C(\Phi(x),\Phi(y))$

f (x, y) = φ (x) φ (y) c (Φ (x), Φ (y)) .

$f(x,y) = \varphi(x) \varphi(y) c(\Phi(x), \Phi(y)) \> .$

Si noti che applicando la copula gaussiana nell'equazione precedente, recuperiamo la densità normale bivariata. Ma, per qualsiasi altra scelta di , non lo faremo. $c(u,v)$

Gli esempi nella figura sono stati costruiti come segue (attraversando ogni riga, una colonna alla volta):

Bivariato normale con componenti indipendenti.
Bivariato normale con . $\rho = -0.4$
L' esempio fornito in questa risposta di Dilip Sarwate . Può essere facilmente indotto dalla copula con densità . $C(u,v)$ $c(u,v) = 2 (\mathbf 1_{(0 \leq u \leq 1/2, 0 \leq v \leq 1/2)} + \mathbf 1_{(1/2 < u \leq 1, 1/2 < v \leq 1)})$
Generato dalla copula di Frank con il parametro . $\theta = 2$
Generato dalla copula di Clayton con il parametro . $\theta = 1$
Generato da una modifica asimmetrica della copula di Clayton con il parametro . $\theta = 3$

— cardinale
fonte

+1 per l'osservazione che la densità normale bivariata è il caso eccezionale!

— Dilip Sarwate,

Forse mi manca qualcosa, ma se iniziamo da , la distribuzione congiunta viene definita automaticamente, indipendentemente da qualsiasi costruzione di copula, e se applichiamo un non- Costruzione di copula gaussiana ai loro CDF, è vero che otterremo un CDF non gaussiano , ma questa funzione in generale non sarà il CDF della coppia di variabili casuali abbiamo iniziato, giusto ?

X_{1}, X_{2} \sim N (0, 1)

$X_1, X_2\sim\mathcal N(0,1)$

(X_{1}, X_{2})

$(X_1, X_2)$

F (x_{1}, x_{2})

$F(x_1,x_2)$

X_{,} X_{2}

$X_, X_2$

— Casuale Acquista il

Esempio di come simulare come nel pannello in basso a destra: library(copula) kcf <- khoudrajiCopula(copula2 = claytonCopula(6), shapes = fixParam(c(.4, 1), c(FALSE, TRUE))) # force normal margins evil <- mvdc(kcf, c("norm", "norm"), list(list(mean = 0, sd =1), list(mean = 0, sd = 1))) contour(evil, dMvdc, xlim = c(-3, 3), ylim=c(-3, 3))

— passaggio

@RandomGuy, ti stai perdendo un'ipotesi non dichiarata che . Se supponi che siano indipendenti, allora sì, conosci già la distribuzione congiunta. Senza il presupposto di indipendenza, conoscere le distribuzioni marginali non fornisce informazioni sufficienti per specificare la distribuzione congiunta.

X_{1}, X_{2} \sim i n d e p e n d e n t N (0, 1)

$X_1, X_2 \sim independent N(0, 1)$

— MentatOfDune,

È vero che ogni elemento di un vettore normale multivariato è esso stesso distribuito normalmente e puoi dedurne i mezzi e le varianze. Tuttavia, non è vero che due variabili casuali guassiane siano normalmente distribuite congiuntamente. Ecco un esempio:

Modifica: in risposta al consenso sul fatto che una variabile casuale che è una massa puntiforme possa essere pensata come una variabile normalmente distribuita con , sto cambiando il mio esempio. $\sigma^2=0$

Sia e dove è una variabile casuale . Cioè, ciascuno con probabilità . $X \sim N(0,1)$ $Y = X \cdot (2B-1)$ $B$ ${\rm Bernoulli}(1/2)$ $Y = \pm X$ $1/2$

Mostriamo innanzitutto che ha una distribuzione normale standard. $Y$ Secondo la legge della probabilità totale ,

P (Y \leq y) = \frac{1}{2} (P (Y \leq y | B = 1) + P (Y \leq y | B = 0))

$P(Y \leq y) = \frac{1}{2} \Big( P(Y \leq y | B = 1) + P(Y \leq y | B = 0) \Big)$

Il prossimo,

P (Y \leq y | B = 0) = P (- X \leq y) = 1 - P (X \leq - y) = 1 - Φ (- y) = Φ (y)

$P(Y \leq y | B = 0) = P(-X \leq y) = 1-P(X \leq -y) = 1-\Phi(-y) = \Phi(y)$

dove è il normale CDF standard . Allo stesso modo, $\Phi$

P (Y \leq y | B = 1) = P (X \leq y) = Φ (y)

$P(Y \leq y | B = 1) = P(X \leq y) = \Phi(y)$

Perciò,

P (Y \leq y) = \frac{1}{2} (Φ (y) + Φ (y)) = Φ (y)

$P(Y \leq y) = \frac{1}{2} \Big( \Phi(y) + \Phi(y) \Big) = \Phi(y)$

quindi, il CDF di è , quindi . $Y$ $\Phi(\cdot)$ $Y \sim N(0,1)$

Ora mostriamo che non sono distribuiti congiuntamente normalmente. $X,Y$ Come sottolinea @cardinal, una caratterizzazione della normale multivariata è che ogni combinazione lineare dei suoi elementi è normalmente distribuita. non hanno questa proprietà, da allora $X,Y$

Y + X = {\begin{cases} 2 X & if B = 1 \\ 0 & if B = 0. \end{cases}

$Y+X = \begin{cases} 2X &\mbox{if } B = 1 \\ 0 & \mbox{if } B = 0. \end{cases}$

Pertanto è una miscela di una variabile casuale e una massa in punti a 0, pertanto non può essere normalmente distribuita. $Y+X$ $50/50$ $N(0,4)$

— macro
fonte

Non sono d'accordo con questa risposta. Una massa di punto degenerato pari a a è generalmente considerata una variabile casuale gaussiana degenerata con varianza zero. Inoltre, non sono congiuntamente continui sebbene siano marginalmente continui. Per un esempio di due variabili aleatorie congiuntamente continue che sono marginalmente gaussiane ma non congiuntamente gaussiane, si veda, ad esempio, la seconda metà di questa risposta .

1

$1$

μ

$\mu$

(X, - X)

$(X, -X)$

— Dilip Sarwate,

@DilipSarwate, la domanda era di fornire un esempio (se ne esiste uno) di due variabili che sono normalmente distribuite ma la loro distribuzione congiunta non è normale multivariata. Questo è un esempio La maggior parte delle definizioni standard della distribuzione normale (ad es. Wikipedia en.wikipedia.org/wiki/Normal_distribution ) richiedono che la varianza sia strettamente positiva, quindi non includendo una massa in punti come parte della famiglia delle distribuzioni normali.

— Macro

Una caratterizzazione standard del gaussiano multivariato è che è gaussiano multivariato se e solo se è gaussiano per tutti . Come suggerisce @Dilip, vale la pena considerare se questo è vero per il tuo esempio.

X \in R^{n}

$X \in \mathbb R^{n}$

a^{T} X

$a^T X$

a \in R^{n}

$a \in \mathbb R^n$

— cardinale il

Dal momento che apparentemente non ti piacciono gli appelli alla razionalità ;-), che ne dici di appelli all'autorità? (È uno scherzo, se non è evidente.) Mi sono appena imbattuto in questo per puro caso mentre stavo guardando qualcos'altro: Esempio 2.4 , pagina 22 di GAF Seber e AJ Lee, Linear Regression Analysis , 2nd. ed., Wiley. Cita: "Sia e metti ... Quindi ha una distribuzione normale multivariata."

Y \sim N (μ, σ^{2})

$Y \sim \mathcal N(\mu,\sigma^2)$

Y^{'} = (Y, - Y)

$\mathbf Y' = (Y, -Y)$

Y

$\mathbf Y$

— cardinale il

La discussione riguarda le definizioni. Chiaramente, se la matrice di covarianza per definizione deve essere una Macro non singolare fornisce un esempio, ma questo non è un esempio secondo la definizione più liberale a cui fa riferimento anche @cardinal. Un buon motivo per preferire la definizione più liberale è che tutte le trasformazioni lineari di variabili normali sono normali. In particolare, nella regressione lineare con errori normali i residui hanno una distribuzione normale unita ma la matrice di covarianza è singolare.

— NRH,

Il seguente post contiene uno schema di una prova, solo per dare le idee principali e iniziare.

Sia due variabili casuali gaussiane indipendenti e sia sia $z = (Z_1, Z_2)$ $x = (X_1, X_2)$

x = (\begin{matrix} X_{1} \\ X_{2} \end{matrix}) = (\begin{matrix} α_{11} Z_{1} + α_{12} Z_{2} \\ α_{21} Z_{1} + α_{22} Z_{2} \end{matrix}) = (\begin{matrix} α_{11} & α_{12} \\ α_{21} & α_{22} \end{matrix}) (\begin{matrix} Z_{1} \\ Z_{2} \end{matrix}) = A z .

$x = \begin{pmatrix} X_1 \\ X_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} Z_1 + \alpha_{12} Z_2\\ \alpha_{21} Z_1 + \alpha_{22} Z_2 \end{pmatrix} = \begin{pmatrix} \alpha_{11} & \alpha_{12}\\ \alpha_{21} & \alpha_{22} \end{pmatrix} \begin{pmatrix} Z_1 \\ Z_2 \end{pmatrix} = A z.$

Ogni , ma poiché sono entrambe combinazioni lineari delle stesse r.vs indipendenti, sono congiuntamente dipendenti. $X_i \sim N(\mu_i, \sigma_i^2)$

Definizione Si dice che una coppia di r.vs è bivariata normalmente distribuita se può essere scritta come una combinazione lineare di r.vs normale indipendente . $x = (X_1, X_2)$ $x = Az$ $z = (Z_1, Z_2)$

Lemma Se è un gaussiano bivariato, qualsiasi altra combinazione lineare di essi è di nuovo una normale variabile casuale. $x = (X_1, X_2)$

Prova . Trivial, saltato per non offendere nessuno.

Proprietà Se non sono correlati, allora sono indipendenti e viceversa. $X_1, X_2$

Distribuzione di $X_1 | X_2$

Supponiamo che siano gli stessi rsv gaussiani di prima, ma supponiamo che abbiano varianza positiva e media zero per semplicità. $X_1, X_2$

Se è il sottospazio espanso da , lascia e . $\mathbf S$ $X_2$ $X_1^{\mathbf S} = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2$ $X_1^{\mathbf S^\perp} = X_1 - X_1^{\mathbf S}$

$X_1$ e sono combinazioni lineari di , quindi lo sono anche . Sono congiuntamente gaussiani, non correlati (provalo) e indipendenti. $X_2$ $z$ $X_2, X_1^{\mathbf S^\perp}$

La decomposizione vale con

X_{1} = X_{1}^{S} + X_{1}^{S^{⊥}}

$X_1 = X_1^{\mathbf S} + X_1^{\mathbf S^\perp}$

E [X_{1} | X_{2}] = \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2} = X_{1}^{S}

$\mathbf{E}[X_1 | X_2] = \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 = X_1^{\mathbf S}$

\begin{aligned} V [X_{1} | X_{2}] & = V [X_{1}^{S^{⊥}}] \\ = E {[X_{1} - \frac{ρ σ_{X_{1}}}{σ_{X_{2}}} X_{2}]}^{2} \\ = (1 - ρ)^{2} σ_{X_{1}}^{2} . \end{aligned}

$\begin{split} \mathbf{V}[X_1 | X_2] &= \mathbf{V}[X_1^{\mathbf S^\perp}] \\ &= \mathbf{E} \left[ X_1 - \frac{\rho \sigma_{X_1}}{\sigma_{X_2}} X_2 \right]^2 \\ &= (1 - \rho)^2 \sigma^2_{X_1}. \end{split}$

Quindi

X_{1} | X_{2} \sim N (X_{1}^{S}, (1 - ρ)^{2} σ_{X_{1}}^{2}) .

$X_1 | X_2 \sim N\left( X_1^{\mathbf S}, (1 - \rho)^2 \sigma^2_{X_1} \right).$

Due variabili casuali univariate gaussiane sono congiuntamente gaussiane se i condizionali e sono gaussiani. $X, Y$ $X | Y$ $Y|X$

— ausiliario
fonte

Non è chiaro come questa osservazione risponda alla domanda. Poiché la regola del prodotto è praticamente la definizione di distribuzione condizionale, non è speciale per le distribuzioni binormali. L'affermazione successiva "then in order ..." non fornisce alcun motivo: esattamente perché anche le distribuzioni condizionali devono essere normali?

— whuber

whuber, sto rispondendo alla domanda principale: "Mi chiedo se ci può essere un caso per il quale la probabilità congiunta di due gaussiani non è gaussiana?". Quindi, la risposta è: quando il condizionale non è normale. - Ancillare

— accessorio

Potresti completare quella dimostrazione? Al momento è solo un'affermazione da parte tua, senza prove. Non è affatto evidente che sia corretto. È anche incompleto, perché è necessario stabilire l'esistenza: vale a dire, è necessario dimostrare che è effettivamente possibile che una distribuzione congiunta abbia margini normali ma per i quali almeno un condizionale non è normale. Ora, infatti, è banalmente vero, perché puoi modificare liberamente ogni distribuzione condizionale di un binormale su un insieme di misura zero senza modificarne i marginali - ma quella possibilità sembrerebbe contraddire le tue affermazioni.

— whuber

Ciao @whuber, spero che questo ti aiuti di più. Hai suggerimenti o modifiche da fare? L'ho scritto molto rapidamente poiché al momento non ho molto tempo libero :-), ma apprezzerei qualsiasi suggerimento o miglioramento che puoi apportare. Migliore

— accessorio

(1) Cosa stai cercando di dimostrare? (2) Poiché la domanda si pone quando una distribuzione con marginali gaussiani non è congiuntamente gaussiana, non vedo come questo argomento porti a qualcosa di rilevante.

— whuber