Densità della distribuzione normale all'aumentare delle dimensioni

La domanda che vorrei porre è questa: come varia la percentuale di campioni entro 1 DS della media di una distribuzione normale all'aumentare del numero di variate?

(Quasi) tutti sanno che in una distribuzione normale monodimensionale, il 68% dei campioni può essere trovato entro 1 deviazione standard della media. Che dire delle dimensioni 2, 3, 4, ...? So che diventa meno ... ma di quanto (precisamente)? Sarebbe utile avere una tabella che mostri le figure per 1, 2, 3 ... 10 dimensioni, nonché 1, 2, 3 ... 10 SD. Qualcuno può indicare un tavolo del genere?

Un po 'più di contesto: ho un sensore che fornisce dati su un massimo di 128 canali. Ogni canale è soggetto a rumore elettrico (indipendente). Quando rilevo un oggetto di calibrazione, posso calcolare la media di un numero sufficiente di misurazioni e ottenere un valore medio sui 128 canali, insieme a 128 singole deviazioni standard.

MA ... quando si tratta delle singole letture istantanee, i dati non rispondono tanto come 128 letture individuali quanto una singola lettura di una quantità vettoriale (fino a) 128-dimensonale. Certamente questo è il modo migliore per trattare le poche letture critiche che prendiamo (in genere 4-6 dei 128).

Voglio avere un'idea di ciò che è una variazione "normale" e di ciò che è "anomalo" in questo spazio vettoriale. Sono sicuro di aver visto un tavolo come quello che ho descritto che si applicherebbe a questo tipo di situazione - qualcuno può indicarne uno?

normal-distribution multivariate-analysis

— omatai
fonte

Per favore - posso avere solo risposte empiriche - non capisco la maggior parte della notazione matematica.

— omatai,

Prendiamo : ogni è normale e la è indipendente - immagino che sia questo che intendi con dimensioni superiori. $X = (X_1,\dots,X_d) \sim N(0,I)$ $X_i$ $N(0,1)$ $X_i$

Diresti che è entro 1 sd dalla media quando (la distanza tra X e il suo valore medio è inferiore a 1). Adesso quindi ciò accade con probabilità dove $X$ $||X|| < 1$ $||X||^2 = X_1^2 +\cdots+X_d^2\sim \chi^2(d)$ $P( \xi < 1 )$ $\xi\sim\chi^2(d)$ . Puoi trovarlo in buoni tavoli quadrati chi ...

Ecco alcuni valori:

\begin{array}{ll} d & P (ξ < 1) \\ 1 & 0.68 \\ 2 & 0.39 \\ 3 & 0.20 \\ 4 & 0,090 \\ 5 & 0.037 \\ 6 & 0.014 \\ 7 & 0,0052 \\ 8 & 0,0018 \\ 9 & 0,00056 \\ 10 & 0,00017 \end{array}

$\begin{array}{ll} d& P(\xi < 1)\\ 1 & 0.68\\ 2 & 0.39 \\ 3 & 0.20 \\ 4 & 0.090 \\ 5 & 0.037 \\ 6 & 0.014 \\ 7 & 0.0052 \\ 8 & 0.0018\\ 9 & 0.00056\\ 10& 0.00017\\ \end{array}$

E per 2 sd:

\begin{array}{ll} d & P (ξ < 4) \\ 1 & 0.95 \\ 2 & 0.86 \\ 3 & 0,74 \\ 4 & 0.59 \\ 5 & 0.45 \\ 6 & 0,32 \\ 7 & 0.22 \\ 8 & 0.14 \\ 9 & 0,089 \\ 10 & 0,053 \end{array}

$\begin{array}{ll} d & P(\xi < 4)\\ 1 & 0.95\\ 2 & 0.86\\ 3 & 0.74\\ 4 & 0.59\\ 5 & 0.45\\ 6 & 0.32\\ 7 & 0.22\\ 8 & 0.14\\ 9 & 0.089\\ 10 & 0.053\\ \end{array}$

È possibile ottenere questi valori in R con commads come pchisq(1,df=1:10), pchisq(4,df=1:10)ecc

Post Scriptum Come sottolineato dal cardinale nei commenti, si può stimare il comportamento asintotico di queste probabilità. Il CDF di una variabile è $\chi^2(d)$ doverappresenta l'incompleto -funzione, e classicaly.

F_{d} (X) = P (d / 2, X / 2) = \frac{γ (d / 2, X / 2)}{Γ (d / 2)}

$F_d(x) = P(d/2,x/2) = {\gamma(d/2, x/2) \over \Gamma(d/2)}$

γ (s, y) = \int_{0}^{y} t^{s - 1} e^{- t} d t

$\gamma(s,y) = \int_0^y t^{s-1} e^{-t} \mathrm d t$

γ

$\gamma$

Γ (s) = \int_{0}^{\infty} t^{s - 1} e^{- t} d t

$\Gamma(s) = \int_0^\infty t^{s-1} e^{-t} \mathrm d t$

Quando è un numero intero, l'integrazione ripetuta per parti mostra che $s$ che è la coda del CDF della distribuzione di Poisson.

P (s, y) = e^{- y} \sum_{k = s}^{\infty} \frac{y^{k}}{k!},

$P(s,y) = e^{-y} \sum_{k=s}^\infty {y^k \over k!},$

Ora questa somma è dominata dal suo primo termine (molte grazie al cardinale): $P(s,y) \sim {y^s \over s!} e^{-y}$ $s$ $d$

P (ξ < x) = P (d / 2, x / 2) \sim \frac{1}{(d / 2)!} {(\frac{x}{2})}^{d / 2} e^{- x / 2} \sim \frac{1}{\sqrt{π d}} e^{\frac{1}{2} (d - x)} {(\frac{x}{d})}^{\frac{d}{2}} \sim \frac{1}{\sqrt{π}} e^{- \frac{1}{2} x} d^{- \frac{1}{2} d},

$P(\xi < x) = P(d/2,x/2) \sim {1 \over (d/2)!} \left({x\over 2}\right)^{d/2} e^{-x/2} \sim {1\over\sqrt{\pi d}}e^{{1\over 2}(d-x)} \left({x\over d}\right)^{d\over 2} \sim {1\over\sqrt\pi} e^{-{1\over 2}x} d^{-{1\over 2}d},$

d

$d$

d

$d$

— Elvis
fonte

Benvenuto sul nostro sito, Elvis! Bella risposta. (+1)

— whuber

ξ

$\xi$

d

$d$

Grazie per i vostri commenti. Non pensavo che questa risposta avrebbe ricevuto molta attenzione! È vero che questa è una bella forma della maledizione della dimensionalità ... @cardinale riguardante (3) Non conosco alcun equivalente asintotico della funzione gamma incompleta quando i primi parametri vanno all'infinito, il secondo viene riparato, questo non è facile! Si potrebbe fare una dura tesi, potrei scriverlo più tardi.

— Elvis,

d

$d$

d = 2 k

$d = 2 k$

Z_{i} = X_{2 i - 1}^{2} + X_{2 i}^{2}

$Z_i = X_{2i-1}^2 + X_{2i}^2$

E x p (1 / 2)

$\mathrm{Exp}(1/2)$

‖ X ‖^{2} = \sum_{i = 1}^{k} Z_{i}

$\|X\|^2 = \sum_{i=1}^k Z_i$

‖ X ‖^{2}

$\|X\|^2$

k

$k$

P (‖ X ‖^{2} < 1) = P (N_{1 / 2} (0, 1) \geq k) = e^{- 1 / 2} \sum_{x = k}^{\infty} 2^{- x} / x!

$\mathbb P(\|X\|^2 < 1 ) = \mathbb P( N_{1/2}(0,1) \geq k) = e^{-1/2} \sum_{x=k}^\infty 2^{-x}/x!$

P (‖ X ‖^{2} < 1) \sim e^{- 1 / 2} 2^{- k} / Γ (k + 1)

$\mathbb P(\|X\|^2 < 1) \sim e^{-1/2} 2^{-k} / \Gamma(k+1)$

d \to \infty

$d\to\infty$

k = d / 2

$k = d/2$

d

$d$

P (‖ X ‖^{2} < 1) \sim e^{- 1 / 2} 2^{- k} / Γ (k + 1) \sim e^{(d - 1) / 2} d^{- (d + 1) / 2} / \sqrt{π}

$\mathbb P(\|X\|^2 < 1 ) \sim e^{-1/2} 2^{-k} / \Gamma(k+1) \sim e^{(d-1)/2} d^{-(d+1)/2} / \sqrt{\pi}$