Qual è la caratterizzazione più sorprendente della distribuzione gaussiana (normale)?

52

Una distribuzione gaussiana standardizzata su $\mathbb{R}$ può essere definita dando esplicitamente la sua densità:

\frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

$\frac{1}{\sqrt{2\pi}}e^{-x^2/2}$

o la sua funzione caratteristica.

Come ricordato in questa domanda, è anche l'unica distribuzione per cui la media del campione e la varianza sono indipendenti.

Quali altre sorprendenti caratterizzazioni alternative delle misure gaussiane che conosci? Accetterò la risposta più sorprendente

— pettirosso
fonte

39

Il mio personale più sorprendente è quello relativo alla media e alla varianza del campione, ma ecco un'altra (forse) caratterizzazione sorprendente: se $X$ e $Y$ sono IID con varianza finita con $X+Y$ e $X-Y$ indipendenti, allora $X$ e $Y$ sono normali.

Intuitivamente, di solito possiamo identificare quando le variabili non sono indipendenti con un diagramma a dispersione. Quindi immagina un diagramma a dispersione di coppie $(X,Y)$ che sembra indipendente. Ora ruota di 45 gradi e guarda di nuovo: se sembra ancora indipendente, allora le coordinate $X$ e $Y$ devono essere normali (tutto ciò parla in modo approssimativo, ovviamente).

Per capire perché il bit intuitivo funziona, dai un'occhiata

[\begin{array}{cc} \cos 45^{\circ} & - \sin 45^{\circ} \\ \sin 45^{\circ} & \cos 45^{\circ} \end{array}] [\begin{matrix} x \\ y \end{matrix}] = \frac{1}{\sqrt{2}} [\begin{matrix} x - y \\ x + y \end{matrix}]

$\left[ \begin{array}{cc} \cos45^{\circ} & -\sin45^{\circ} \newline \sin45^{\circ} & \cos45^{\circ} \end{array} \right] \left[ \begin{array}{c} x \newline y \end{array} \right]= \frac{1}{\sqrt{2}} \left[ \begin{array}{c} x-y \newline x+y \end{array} \right]$

— user1108
fonte

3

Jay - questa è fondamentalmente una re-dichiarazione della media e della varianza essendo indipendenti.

è una media ridimensionata e

è una deviazione standard riscalata.

X + Y

$X+Y$

X - Y

$X-Y$

— Probislogic

5

@probabilityislogic - Mi piace l'intuizione di ciò che hai detto, ma non penso che sia esattamente una riaffermazione perché

non è esattamente un riscalaggio della SD: la SD dimentica il segno. Quindi l'indipendenza della media e della SD deriva dall'indipendenza di

,

(quando

), ma non viceversa. Potrebbe essere stato quello che volevi dire "in sostanza". Comunque, è roba buona.

X - Y

$X - Y$

X + Y

$X+Y$

X - Y

$X-Y$

n = 2

$n = 2$

4

Dove possiamo trovare le prove per questa proprietà?

— Royi,

1

@Royi vedi 16. qui . Per (a), nota che

. Per (b) notare che

che brama la sostituzione

2 X = (X + Y) + (X - Y)

$2X=(X+Y)+(X-Y)$

φ (2 t) φ (- 2 t) = (φ (t) φ (- t))^{4}

$\varphi(2t)\varphi(-2t)=(\varphi(t)\varphi(-t))^4$

da cui si ottiene

ψ (t) = φ (t) φ (- t)

$\psi(t)=\varphi(t)\varphi(-t)$

. Se

, allora

, quindi per tutti

,

ψ (t) = ψ^{2^{2 n}} (\frac{t}{2^{n}})

$\psi(t)=\psi^{2^{2n}}(\frac{t}{2^n})$

φ (t_{0}) = 0

$\varphi(t_0)=0$

ψ (t_{0}) = 0

$\psi(t_0)=0$

n

$n$

e esiste una sequenza

tale che

e

per tutto

, che contraddice la continuità di

a

. (c) è semplice [continua]

ψ (\frac{t_{0}}{2^{n}}) = 0

$\psi(\frac{t_0}{2^n})=0$

t_{n}

$t_n$

t_{n} \to 0

$t_n\to 0$

φ (t_{n}) = 0

$\varphi(t_n)=0$

n

$n$

φ

$\varphi$

0

$0$

— Gabriel Romon,

1

Per (d),

. Si noti che

γ (t) = γ^{2^{n}} (\frac{t}{2^{n}})

$\gamma(t)=\gamma^{2^n}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

γ (t) = 1 + o (t^{2})

$\gamma(t)=1+o(t^2)$

t

$t$

lim_{n} γ^{2^{n}} (\frac{t}{2^{n}}) = 1

$\lim_n \gamma^{2^n}(\frac{t}{2^n}) = 1$

γ (t) = 1

$\gamma(t)=1$

t

$t$

φ

$\varphi$

φ (t) = φ^{2^{2 n}} (\frac{t}{2^{n}})

$\varphi(t)=\varphi^{2^{2n}}(\frac{t}{2^n})$

φ (t) = 1 - \frac{t^{2}}{2} + o (t^{2})

$\varphi(t)=1-\frac{t^2}2+o(t^2)$

lim_{n} φ^{2^{2 n}} (\frac{t}{2^{n}}) = e^{- t^{2} / 2}

$\lim_n \varphi^{2^{2n}}(\frac{t}{2^n}) = e^{-t^2/2}$

φ (t) = e^{- t^{2} / 2}

$\varphi(t)=e^{-t^2/2}$ e è normale.

X

$X$

— Gabriel Romon,

27

La distribuzione continua con varianza fissa che massimizza l' entropia differenziale è la distribuzione gaussiana.

— shabbychef
fonte

22

C'è un intero libro scritto su questo: "Caratterizzazioni della normale legge di probabilità", AM Mathai e G. Perderzoli. Una breve recensione in JASA (dicembre 1978) menziona quanto segue:

Consenti a essere variabili casuali indipendenti. Quindi e sono indipendenti, dove , se e solo se [sono] normalmente distribuiti. $X_1, \ldots, X_n$ $\sum_{i=1}^n{a_i x_i}$ $\sum_{i=1}^n{b_i x_i}$ $a_i b_i \ne 0$ $X_i$

— whuber
fonte

3

deve esserci una condizione tale che manca? ad esempio se n = 2 e non sono indipendenti.

< a, b >= 0

$<a,b>=0$

a_{i} = b_{i} = 1

$a_i=b_i=1$

X_{1} + X_{2}

$X_1+X_2$

X_{1} + X_{2}

$X_1+X_2$

— Robin Girard,

1

@robin buona cattura. Sono stato perplesso anche sui quantificatori impliciti. Sfortunatamente, tutto ciò a cui ho accesso è quella citazione (stimolante) dalla recensione, non dal libro. Sarebbe divertente trovarlo in una biblioteca e sfogliarlo ...

— whuber

Sembra una generalizzazione della risposta di G. Jay Kerns (attualmente n. 1).

— vqv

Penso che potresti essere alla ricerca del documento Lukacs & King (1954). Vedi questa risposta su math.SE con un link al documento di cui sopra.

— cardinale

2

Dove questa proposizione dice "dove ", significa per OGNI serie di scalari in cui "? Odio vedere" dove "usato al posto di" per ogni "o" per alcuni "." Dove "dovrebbe essere usato per spiegare la propria notazione, come in" dove è la velocità della luce e è il prodotto interno lordo ", ecc.

a_{i} b_{i} \neq 0

$a_i b_i\ne 0$

a_{i} b_{i} \neq 0

$a_i b_i \ne 0$

c

$c$

g

$g$

— Michael Hardy,

17

Le distribuzioni gaussiane sono le uniche distribuzioni stabili con varianza finita.

— shabbychef
fonte

8

Che siano stabili e che siano quelli unici con varianza finita ci sono entrambi costretti dal CLT. La parte interessante di questa affermazione è che esistono altre distribuzioni stabili!

— whuber

1

@whuber: davvero! questa caratterizzazione è un po 'contorta e le altre distribuzioni stabili sono forse più curiose.

— Shabbychef,

@whuber in realtà, non vedo come il CLT implichi questo fatto. Sembra solo dirci che asintoticamente , la somma delle normali è normale, non che qualsiasi somma finita sia normalmente distribuita. O devi usare in qualche modo anche il teorema di Slutsky?

— Shabbychef,

3

Adottando la solita standardizzazione, una somma di due normali è la somma di una distribuzione normale X_0 più la distribuzione limitante di una serie X_1, X_2, ..., da cui la somma è la distribuzione limitante di X_0, X_1, ..., che dal Lindeberg-Levy CLT è normale.

— whuber

17

Il Lemma di Stein fornisce una caratterizzazione molto utile. è lo standard gaussiano iff per tutte le funzioni assolutamente continue con . $Z$

E f^{'} (Z) = E Z f (Z)

$E f’(Z) = E Z f(Z)$

f

$f$

E | f^{'} (Z) | < \infty

$E|f’(Z)| < \infty$

— vqv
fonte

12

Teorema [Herschel-Maxwell]: Sia un vettore casuale per cui (i) le proiezioni in sottospazi ortogonali sono indipendenti e (ii) la distribuzione di dipende solo dalla lunghezza. Quindi viene normalmente distribuito. $Z \in \mathbb{R}^n$ $Z$ $\|Z\|$ $Z$

Citato da George Cobb in Insegnamento delle statistiche: alcune importanti tensioni (cileno J. Statistics Vol. 2, n. 1, aprile 2011) a pag. 54.

Cobb usa questa caratterizzazione come punto di partenza per derivare le distribuzioni , e , senza usare Calcolo (o molta teoria della probabilità). $\chi^2$ $t$ $F$

— whuber
fonte

9

Sia e due variabili casuali indipendenti con una distribuzione simmetrica comune tale che $\eta$ $\xi$

P (| \frac{ξ + η}{\sqrt{2}} | \geq t) \leq P (| ξ | \geq t) .

$P\left ( \left |\frac{\xi+\eta}{\sqrt{2}}\right | \geq t \right )\leq P(|\xi|\geq t).$

Quindi queste variabili casuali sono gaussiane. (Ovviamente, se e sono centrati gaussiani, è vero.) $\xi$ $\eta$

Questo è il teorema di Bobkov-Houdre

— pettirosso
fonte

9

Questa non è una caratterizzazione ma una congettura, che risale al 1917 ed è dovuta a Cantelli:

Se è una funzione positiva su e e sono variabili casuali indipendenti tali che è normale, allora è una costante quasi ovunque. $f$ $\mathbb{R}$ $X$ $Y$ $N(0,1)$ $X+f(X)Y$ $f$

Menzionato da Gérard Letac qui .

— Did
fonte

è bello che tu lo menzioni! Non riesco a capire l'intuizione, vero?

— Robin Girard,

@robin Questo è ciò che rende questa congettura così speciale: un'affermazione completamente elementare, alcuni ovvi approcci che falliscono miseramente (funzioni caratteristiche), e non si lascia nulla da afferrare ... A proposito, si dovrebbe scommettere sulla congettura come vera o falso? Anche questo non è ovvio (per me).

— Ha fatto il

2

Se Gérard Letac non è riuscito a dimostrarlo, potrebbe rimanere una congettura aperta per un bel po '...!

— Xi'an,

@ Xi'an: sono pienamente d'accordo, ovviamente. (Non sapevo fossi in roaming in questi quartieri del web ... Buone notizie che lo sei.)

— Ha fatto il

6

@ Xi'an Ecco una prestampa di Victor Kleptsyn e Aline Kurtzmann con un controesempio alla congettura di Cantelli. La costruzione utilizza un nuovo strumento, che gli autori chiamano il trasporto di massa browniano, e svolge una funzione discontinua . Gli autori affermano di ritenere che la congettura di Cantelli valga se si chiede che sia continua (la loro è una miscela di due funzioni continue).

f

$f$

f

$f$

— Ha fatto il

8

Supponiamo che uno stia stimando un parametro di posizione utilizzando i dati iid . Se è lo stimatore della massima verosimiglianza, la distribuzione campionaria è gaussiana. Secondo la teoria della probabilità di Jaynes : la logica della scienza, pp. 202-4, era così che Gauss l'ha originariamente derivata. $\{x_1,...,x_n\}$ $\bar{x}$

— Ciano
fonte

Non sono sicuro di capirlo come una caratterizzazione della distribuzione normale, quindi probabilmente mi manca qualcosa. E se avessimo i dati di Poisson e volessimo stimare ? L'MLE è ma la distribuzione campionaria di non è gaussiana - in primo luogo, deve essere razionale; secondo, se fosse gaussiano, quindi sarebbe ma questo è .

μ

$\mu$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\bar{x}

$\bar{x}$

\sum x_{i}

$\sum{x_i}$

Poisson (n μ)

$\text{Poisson}(n\mu)$

— Silverfish,

2

La media di Poisson non è un parametro di posizione!

— kjetil b halvorsen,

6

Una caratterizzazione più particolare della distribuzione normale tra le classi di distribuzioni infinitamente divisibili è presentata in Steutel e Van Harn (2004) .

Una variabile casuale non degenerata infinitamente divisibile ha una distribuzione normale se e solo se soddisfa $X$
$- \underset{x \to \infty}{lim sup} \frac{\log P (| X | > x)}{x \log (x)} = \infty .$ $-\limsup_{x\rightarrow\infty}\dfrac{\log{\mathbb P}(\vert X\vert>x)}{x\log(x)}=\infty.$

Questo risultato caratterizza la distribuzione normale in termini di comportamento della coda.

— 10525
fonte

1

Una breve prova del limite dichiarato è la seguente: Se è normale normale, allora come , quindi . Ma e quindi il risultato segue. Uno schizzo approssimativo per il caso del Poisson sembra indicare che il limite dato è , ma non l'ho verificato troppo da vicino.

X

$X$

x P (X > x) / φ (x) \to 1

$x \mathbb P(X>x)/\varphi(x)\to 1$

x \to \infty

$x\to \infty$

\log P (X > x) - \log φ (x) + \log x \to 0

$\log\mathbb P(X>x)−\log \varphi(x) + \log x \to 0$

2 \log φ (x) \sim - x^{2}

$2 \log \varphi(x) \sim −x^2$

λ

$\lambda$

— cardinale

6

Nel contesto del livellamento delle immagini (ad es. Spazio di scala ), il gaussiano è l'unico kernel separabile * simmetrico in senso rotazionale.

Cioè, se richiediamo dove , allora la simmetria rotazionale richiede che equivale a .

F [x, y] = f [x] f [y]

$F[x,y]=f[x]f[y]$

[x, y] = r [\cos θ, \sin θ]

$[x,y]=r[\cos\theta,\sin\theta]$

\begin{aligned} F_{θ} & = f^{'} [x] f [y] x_{θ} + f [x] f^{'} [y] y_{θ} \\ = - f^{'} [x] f [y] y + f [x] f^{'} [y] x = 0 \\ ⟹ \\ \frac{f^{'} [x]}{x f [x]} & = \frac{f^{'} [y]}{y f [y]} = c o n s t . \end{aligned}

$\begin{align} F_\theta &= f'[x]f[y]x_\theta+f[x]f'[y]y_\theta \\ &= -f'[x]f[y]y+f[x]f'[y]x = 0 \\ &\implies \\ \frac{f'[x]}{xf[x]} &= \frac{f'[y]}{yf[y]} = \mathrm{const.} \end{align}$

\log [f [x]]^{'} = c x

$\log\big[f[x]\big]'=cx$

Richiedere che sia un kernel corretto richiede quindi che la costante sia negativa e che il valore iniziale sia positivo, producendo il kernel gaussiano. $f[x]$

* Nel contesto delle distribuzioni di probabilità, separabile significa indipendente, mentre nel contesto del filtraggio di immagini consente di ridurre la convoluzione 2D in termini computazionali a due convoluzioni 1D.

— GeoMatt22
fonte

2

+1 Ma ciò non deriva da un'applicazione immediata del teorema di Herschel-Maxwell in 2D?

— whuber

@whuber In effetti, in qualche modo sono riuscito a trascurare la tua risposta guardando attraverso questa discussione!

— ameba dice Ripristina Monica l'

@whuber Sì. Non avevo letto in dettaglio questo vecchio thread e stavo semplicemente aggiungendo questa risposta su richiesta.

— GeoMatt22,

1

@amoeba vedi anche qui .

— GeoMatt22,

3

Recentemente Ejsmont [1] ha pubblicato un articolo con una nuova caratterizzazione del gaussiano:

Sia essere vettori casuali indipendenti con tutti i momenti, in cui non sono generati, e lascia che la statistica hanno una distribuzione che dipende solo da , dove e . Quindi sono indipendenti e hanno la stessa distribuzione normale con zero e per . $(X_1,\dots, X_m,Y) \textrm{ and } (X_{m+1},\dots,X_n,Z)$ $X_i$ $\sum_{i=1}^na_iX_i+Y+Z$ $\sum_{i=1}^n a_i^2$ $a_i\in \mathbb{R}$ $1\leq m < n$ $X_i$ $cov(X_i,Y)=cov(X_i,Z)=0$ $i\in\{1,\dots,n\}$

[1]. Ejsmont, Wiktor. "Una caratterizzazione della distribuzione normale per l'indipendenza di una coppia di vettori casuali." Statistiche e lettere di probabilità 114 (2016): 1-5.

— Daniel
fonte

1

Questa è una caratterizzazione delicata e affascinante. Grazie per aver migliorato questo thread condividendolo!

— whuber

1

La sua funzione caratteristica ha la stessa forma del suo pdf. Non sono sicuro di un'altra distribuzione che lo fa.

— Jason
fonte

4

Vedi questa mia risposta per modi di costruire variabili casuali le cui funzioni caratteristiche sono le stesse dei loro pdf.

— Dilip Sarwate,

-1

L'aspettativa più meno la deviazione standard sono i punti di sella della funzione.

— Tal Galili
fonte

11

Questa è una proprietà della distribuzione normale, certo, ma non la caratterizza , poiché anche molte altre distribuzioni hanno questa proprietà.

— whuber