È corretto ? (generazione di una norma troncata multivariata-gaussiana)

Se cioè, $X\in\mathbb{R}^n,~X\sim \mathcal{N}(\underline{0},\sigma^2\mathbf{I})$

$$f_X(x) = \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)$$

Voglio una versione analoga di una distribuzione normale troncata in un caso multivariato.

Più precisamente, voglio generare una norma gaussiana multivariata vincolata da una norma (a un valore ) st dove$\geq a$$Y$

$$f_Y(y) = \begin{cases} c.f_X(y), \text{ if } ||y||\geq a \\[2mm] 0, \text{ otherwise }. \end{cases}$$ $c=\frac{1}{Prob\big\{||X||\geq a\big\}}$

---

Ora osservo quanto segue:

Se ,$x=(x_1,x_2,\ldots,x_n)$$||x||\geq a$

$\implies |x_n|\geq T\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Pertanto, scegliendo $x_1,\ldots,x_{n-1}$ come campioni gaussiani, si può limitare $x_n$ come campione da una distribuzione troncata-normale (seguendo una coda gaussiana $\geq T$ ) $\mathcal{N}_T(0,\sigma^2)$ , ad eccezione del segno scelto casualmente con probabilità $1/2$ .

Ora la mia domanda è questa,

Se generi ogni campione vettoriale $(x_1,\ldots,x_n)$ di $(X_1,\ldots,X_n)$ come,

$x_1,\ldots,x_{n-1}\sim \mathcal{N}(0,\sigma^2)$

e

Z 1 ∼ { ± 1 w.p. 1 / 2 } Z 2 ~ N T ( 0 , σ 2 ) T ( x 1 , ... , x n - 1 ) ≜ $x_n = Z_1 *Z_2~$ dove, , , (ovvero un RV normale scalare troncato con$~Z_1\sim\{\pm1 ~\text{w.p.}~ 1/2\}$$Z_2\sim\mathcal{N}_T(0,\sigma^2)$$T(x_1,\ldots,x_{n-1})\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

Will essere una norma-vincolata ( ) multivariata gaussiana? (ovvero uguale a definito sopra). Come devo verificare? Qualche altro suggerimento se non è così?≥ a $(X_1,X_2,\ldots,X_n)$$\geq a$$Y$

MODIFICARE:

Ecco un diagramma a dispersione dei punti nel caso 2D con norma troncata a valori superiori a "1"

Nota: di seguito sono riportate alcune ottime risposte, ma manca la giustificazione del motivo per cui questa proposta è errata. In effetti, questo è il punto principale di questa domanda.

La distribuzione normale multivariata di è sfericamente simmetrica. La distribuzione che cerchi tronca il raggio basso a . Poiché questo criterio dipende solo dalla lunghezza di , la distribuzione troncata rimane sfericamente simmetrica. Poiché è indipendente dall'angolo sfericoe ha un la distribuzione , è quindi in grado di generare valori dalla distribuzione troncato in pochi semplici passi:ρ = | | X | | 2 a X ρ X / | | X | | $X$$\rho=||X||^2$$a$$X$$\rho$$X/||X||$χ ( n )$\rho\,\sigma$$\chi(n)$

1. Genera .$X \sim \mathcal{N}(0,\mathbb{I}_n)$

2. Genera come radice quadrata di una distribuzione troncata in .χ 2 ( d ) ( a / σ ) $P$$\chi^2(d)$$(a/\sigma)^2$

3. Sia.$Y = \sigma P\, X/||X||$

Nel passaggio 1, si ottiene come una sequenza di realizzazioni indipendenti di una variabile normale standard.$X$$d$

Nel passaggio 2, viene prontamente generato capovolgendo la funzione quantile di una distribuzione : genera una variabile uniforme supportata nell'intervallo (di quantili) tra e e impostare .F - 1 χ 2 ( d ) U F ( ( a / σ ) 2 ) 1 P = $P$$F^{-1}$$\chi^2(d)$$U$$F((a/\sigma)^2)$$1$$P = \sqrt{F(U)}$

Ecco un istogramma di tali realizzazioni indipendenti di per in dimensioni, troncato di seguito in . La generazione ha richiesto circa un secondo, a dimostrazione dell'efficienza dell'algoritmo. σ P σ = 3 n = 11 a = $10^5$$\sigma P$$\sigma=3$$n=11$$a=7$

La curva rossa è la densità di una distribuzione troncata di ridimensionata da . La sua stretta corrispondenza con l'istogramma è la prova della validità di questa tecnica.σ = $\chi(11)$$\sigma=3$

Per ottenere un'intuizione per il troncamento, considera il caso , in dimensioni. Ecco un a dispersione di contro (per realizzazioni indipendenti). Mostra chiaramente il buco nel raggio :σ = 1 n = 2 Y 2 Y 1 10 4$a=3$$\sigma=1$$n=2$$Y_2$$Y_1$$10^4$$a$

Infine, si noti che (1) i componenti devono avere distribuzioni identiche (a causa della simmetria sferica) e (2) tranne quando , quella distribuzione comune non è normale. Infatti, come cresce grande, la rapida diminuzione della (univariata) Distribuzione normale provoca la maggior parte della probabilità del multivariata sferica troncata normale a raggrupparsi vicino alla superficie del -sphere (di raggio ). La distribuzione marginale deve quindi approssimare una distribuzione beta simmetrica in scala concentrata nell'intervallo . Ciò è evidente nel grafico a dispersione precedente, dove a = 0 a n - 1 a ( ( n - 1 ) / 2 , ( n - 1 ) / 2 ) ( - a , a ) a = 3 σ 2 - 1 3 $X_i$$a=0$$a$$n-1$$a$$((n-1)/2,(n-1)/2)$$(-a,a)$$a=3\sigma$è già grande in due dimensioni: i punti limnano un anello (una sfera ) di raggio .$2-1$$3\sigma$

Ecco gli istogrammi delle distribuzioni marginali da una simulazione di dimensione in dimensioni con , (per cui la distribuzione approssimativa di Beta è uniforme): 3 a = 10 σ = 1 ( 1 , 1 $10^5$$3$$a=10$$\sigma=1$$(1,1)$

Poiché i primi marginali della procedura descritta nella domanda sono normali (per costruzione), tale procedura non può essere corretta.$n-1$

---

Il Rcodice seguente ha generato la prima cifra. È costruito ai passi paralleli 1-3 per la generazione . È stato modificato per generare la seconda cifra da variabili mutevoli , , , e quindi emette il comando plot dopo è stato generato.$Y$adnsigmaplot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010")y

La generazione di viene modificato nel codice per una maggiore risoluzione numerica: il codice genera effettivamente e l'utilizza per calcolare .1 - U $U$$1-U$$P$

La stessa tecnica di simulazione dei dati secondo un presunto algoritmo, riassumendoli con un istogramma e sovrapponendo un istogramma può essere utilizzata per testare il metodo descritto nella domanda. Confermerà che il metodo non funziona come previsto.

a <- 7      # Lower threshold
d <- 11     # Dimensions
n <- 1e5    # Sample size
sigma <- 3  # Original SD
#
# The algorithm.
#
set.seed(17)
u.max <- pchisq((a/sigma)^2, d, lower.tail=FALSE)
if (u.max == 0) stop("The threshold is too large.")
u <- runif(n, 0, u.max)
rho <- sigma * sqrt(qchisq(u, d, lower.tail=FALSE)) 
x <- matrix(rnorm(n*d, 0, 1), ncol=d)
y <- t(x * rho / apply(x, 1, function(y) sqrt(sum(y*y))))
#
# Draw histograms of the marginal distributions.
#
h <- function(z) {
  s <- sd(z)
  hist(z, freq=FALSE, ylim=c(0, 1/sqrt(2*pi*s^2)),
       main="Marginal Histogram",
       sub="Best Normal Fit Superimposed")
  curve(dnorm(x, mean(z), s), add=TRUE, lwd=2, col="Red")
}
par(mfrow=c(1, min(d, 4)))
invisible(apply(y, 1, h))
#
# Draw a nice histogram of the distances.
#
#plot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010") # For figure 2
rho.max <- min(qchisq(1 - 0.001*pchisq(a/sigma, d, lower.tail=FALSE), d)*sigma, 
               max(rho), na.rm=TRUE)
k <- ceiling(rho.max/a)
hist(rho, freq=FALSE, xlim=c(0, rho.max),  
     breaks=seq(0, max(rho)+a, by=a/ceiling(50/k)))
#
# Superimpose the theoretical distribution.
#
dchi <- function(x, d) {
  exp((d-1)*log(x) + (1-d/2)*log(2) - x^2/2 - lgamma(d/2))
}
curve((x >= a)*dchi(x/sigma, d) / (1-pchisq((a/sigma)^2, d))/sigma, add=TRUE, 
      lwd=2, col="Red", n=257)

Ho scritto questo presupponendo che non si desideri alcun punto con || y || > a, che è l'analogo del solito troncamento monodimensionale. Tuttavia, hai scritto che desideri mantenere i punti con | y || > = a e butta via gli altri. Tuttavia, l'ovvio adattamento alla mia soluzione può essere apportato se si vuole davvero mantenere punti con | y || > = a.

Il modo più semplice, che sembra essere una tecnica molto generale, è quello di utilizzare Acceptance-Rejection https://en.wikipedia.org/wiki/Rejection_sampling . Sarà abbastanza veloce fintanto che Prob (|| X ||> a) è abbastanza basso, perché non ci saranno molti rifiuti.

Generare un valore campione x dalla Normale multivariata non vincolata (anche se il problema indica che la Normale multivariata è sferica, la tecnica può essere applicata anche se non lo è). Se || x || <= a, accetta, ovvero usa x, altrimenti lo rifiuta e genera un nuovo campione. Ripetere questo processo fino ad avere tutti i campioni accettati di cui hai bisogno. L'effetto dell'applicazione di questa procedura è di generare y in modo tale che la sua densità sia c * f_X (y), se || y || <= a e 0 se || y || > a, secondo la mia correzione alla parte iniziale della tua domanda. Non hai mai bisogno di calcolare c; è in effetti determinato automaticamente dall'algoritmo in base alla frequenza con cui i campioni vengono rifiutati.

Questo è un bel tentativo ma non funziona a causa della "costante di normalizzazione": se si considera la densità del giunto la decomposizione

$$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}=\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{x_1^2+\ldots+x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$=\frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x_{-n}||^2+x_n^2>a^2}$$ $$=\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\qquad\qquad\qquad\qquad\qquad$$ $$\qquad\qquad\qquad\times\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)^{-1}}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{x_n^2>a-||x_{-n}||^2}$$ che si integra con in , mostra che $$f_{X_{-n}}(x_{-n}) \propto \frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)$$ $x_n$

1. La distribuzione condizionale di dati gli altri componenti, , è una distribuzione normale troncata;$X_n$$X_{-n}$
2. La distribuzione marginale degli altri componenti, , non è una distribuzione normale a causa del termine extra ;$X_{-n}$$\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)$

L'unico modo in cui posso vedere approfittando di questa proprietà è di eseguire un campionatore di Gibbs, un componente alla volta, usando le distribuzioni condizionali normali troncate.

La domanda nasce dall'idea di usare - la decomposizione condizionale di base delle distribuzioni congiunte - per disegnare campioni vettoriali.

Sia un gaussiano multivariato con componenti iid.$X$

Let e $\text{Prob}(||X||>a) \triangleq T$$Y\triangleq X.\mathbb{I}_{||X||>a}$

L'algoritmo in questione è proposto in base alla seguente fattorizzazione condizionale (interpretazione completamente corretta ma ingannevole):

$$f_Y(y) = \frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||y||^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{y_1^2+\ldots+y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right) \left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\right)\\ =\underbrace{\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right)}_{\text{Gaussians}} \underbrace{\left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{y_n^2>(a^2-y_1^2-\ldots y_{n-1}^2)}\right)}_{\text{Truncated Gaussian??}}$$

La risposta più breve è che quest'ultimo fattore non è un gaussiano troncato, (cosa ancora più importante) nemmeno una distribuzione.

---

Ecco la spiegazione dettagliata del perché la suddetta fattorizzazione presenta alcuni difetti fondamentali. In una sola frase: l'eventuale fattorizzazione condizionale di una data distribuzione congiunta deve soddisfare alcune proprietà fondamentali, e la suddetta fattorizzazione non le soddisfa (Vedi sotto).

In generale, se mai fattorizziamo allora è il margine di e è la distribuzione condizionata di . Che significa:$f_{XY}(x,y)=f_X(x)\cdot f_{Y|X}(y|x)$$f_X(x)$$X$$f_{Y|X}(y|x)$$Y$

1. Il fattore di "assunto come" deve essere una distribuzione. E,$f(x,y)$$f_X(x)$
2. Il secondo fattore "assunto come" deve essere una distribuzione per ogni scelta di$f_{Y|X}(y|x)$$x$

Nell'esempio sopra, stiamo provando a condizionare come . Significa che la proprietà-1 dovrebbe valere per il fattore gaussiano e la proprietà-2 dovrebbe valere per l'ultima parte.$Y_n|(Y_1\ldots Y_{n-1})$

È chiaro che la proprietà-1 è valida per il primo fattore. Ma il problema è con la proprietà-2. L'ultimo fattore sopra riportato purtroppo non è affatto una distribuzione (dimentica di Gaussian troncato) per quasi qualsiasi valore di !!$(Y_1\ldots Y_{n-1})$

---

Una simile proposta di algoritmo è probabilmente il risultato del seguente malinteso: una volta che una distribuzione si discosta naturalmente da una distribuzione congiunta (come Gaussians in precedenza), porta a una fattorizzazione condizionale. ---- Non lo fa! ---- Anche l'altro (secondo) fattore deve essere buono.

---

Nota: c'è una grande risposta di @whuber in precedenza, che in realtà risolve il problema di generare una norma trussata multivariata gaussiana. Sto accettando la sua risposta. Questa risposta è solo per chiarire e condividere la mia comprensione e la genesi della domanda.