Distribuzione di prodotti scalari di due vettori di unità casuali in dimensioni

Se e sono due vettori di unità casuali indipendenti in (distribuiti uniformemente su una sfera unitaria), qual è la distribuzione del loro prodotto scalare (prodotto punto) ? $\mathbf{x}$ $\mathbf{y}$ $\mathbb{R}^D$ $\mathbf x \cdot \mathbf y$

Immagino che quando aumenta rapidamente la distribuzione (?) Diventa normale con media zero e varianza decrescente in dimensioni superiori ma esiste una formula esplicita per ? $D$

lim_{D \to \infty} σ^{2} (D) \to 0,

$\lim_{D\to\infty}\sigma^2(D) \to 0,$

σ^{2} (D)

$\sigma^2(D)$

Aggiornare

Ho eseguito alcune simulazioni rapide. Innanzitutto, generando 10000 coppie di vettori di unità casuali per $D=1000$ è facile vedere che la distribuzione dei loro prodotti punto è perfettamente gaussiana (in effetti è già abbastanza gaussiana per $D=100$ ), vedi la sottotrama a sinistra. In secondo luogo, per ogni $D$ compresa tra 1 e 10000 (con incrementi di passi) ho generato 1000 coppie e calcolato la varianza. Grafico log-log viene mostrato a destra, ed è chiaro che la formula è molto ben approssimato da $1/D$ . Nota che per $D=1$ e $D=2$ questa formula fornisce anche risultati esatti (ma non sono sicuro di cosa accadrà in seguito).

punteggia prodotti tra vettori di unità casuali

mathematical-statistics linear-algebra beta-distribution

— ameba dice Reinstate Monica
fonte

@KarlOskar: grazie, questo link è molto rilevante, e in effetti rende la mia domanda quasi un duplicato, ma non del tutto. Quindi esiste una formula esplicita per che è una funzione di distribuzione cumulativa dei prodotti punto. Si può prendere un derivato per ottenere il PDF e quindi studiare il limite da . Tuttavia, la formula viene data in termini di funzioni beta e funzioni beta incomplete, quindi è probabile che i calcoli siano cattivi.

P {(x, y) > ϵ}

$P\{(\mathbf{x}, \mathbf{y})>\epsilon\}$

D \to \infty

$D\to \infty$

— ameba dice di reintegrare Monica il

@KarlOskar: dalla distribuzione uniforme su una sfera unità in . Per generare un vettore casuale da questa distribuzione, è possibile generare un vettore casuale da un gaussiano con una varianza unitaria e quindi normalizzarlo.

R^{D}

$\mathbb{R}^D$

— ameba dice di reintegrare Monica il

Risposte:

Poiché ( come è noto ) si ottiene una distribuzione uniforme sulla sfera unitaria normalizzando una distribuzione normale variabile e il prodotto punto dei vettori normalizzati è il loro coefficiente di correlazione, le risposte alle tre le domande sono: $S^{D-1}$ $D$ $t$

$u= (t+1)/2$ ha una distribuzione Beta . $((D-1)/2,(D-1)/2)$
La varianza di uguale a (come ipotizzato nella domanda). $t$ $1/D$
La distribuzione standardizzata di avvicina alla normalità al ritmo di $t$ $O\left(\frac{1}{D}\right).$

Metodo

L' esatta distribuzione del prodotto punto dei vettori unità è facilmente ottenibile geometricamente, poiché questo è il componente del secondo vettore nella direzione del primo. Poiché il secondo vettore è indipendente dal primo ed è distribuito uniformemente sulla sfera unitaria, il suo componente nella prima direzione è distribuito come qualsiasi coordinata della sfera. (Notare che la distribuzione del primo vettore non ha importanza.)

Alla ricerca della densità

Lasciando che le coordinate siano le ultime, la densità at è quindi proporzionale alla superficie che si trova ad un'altezza compresa tra e sulla sfera dell'unità. Tale proporzione si verifica all'interno di una fascia di altezza e raggio che è essenzialmente un tronco conico costruito con una di raggio di altezza e pendenza . Da cui la probabilità è proporzionale a $t \in [-1,1]$ $t$ $t+dt$ $dt$ $\sqrt{1-t^2},$ $S^{D-2}$ $\sqrt{1-t^2},$ $dt$ $1/\sqrt{1-t^2}$

\frac{{(\sqrt{1 - t^{2}})}^{D - 2}}{\sqrt{1 - t^{2}}} d t = (1 - t^{2})^{(D - 3) / 2} d t .

$\frac{\left(\sqrt{1 - t^2}\right)^{D-2}}{\sqrt{1 - t^2}}\,dt = (1 - t^2)^{(D-3)/2} dt.$

Lasciare comporta . Sostituendo quello nel precedente si ottiene l'elemento probabilità fino a una costante normalizzante: $u=(t+1)/2 \in [0,1]$ $t = 2u-1$

f_{D} (u) d u \propto (1 - (2 u - 1)^{2})^{(D - 3) / 2} d (2 u - 1) = 2^{D - 2} (u - u^{2})^{(D - 3) / 2} d u .

$f_D(u)du \; \propto \; (1 - (2u-1)^2)^{(D-3)/2} d(2u-1) = 2^{D-2}(u-u^2)^{(D-3)/2}du.$

È immediato che abbia una distribuzione Beta , perché (per definizione) anche la sua densità è proporzionale a $u=(t+1)/2$ $((D-1)/2, (D-1)/2)$

u^{(D - 1) / 2 - 1} {(1 - u)}^{(D - 1) / 2 - 1} = (u - u^{2})^{(D - 3) / 2} \propto f_{D} (u) .

$u^{(D-1)/2-1}\left(1-u\right)^{(D-1)/2-1} = (u-u^2)^{(D-3)/2} \; \propto \; f_D(u).$

Determinare il comportamento limitante

Le informazioni sul comportamento limitante ne facilmente utilizzando tecniche elementari: può essere integrato per ottenere la costante di proporzionalità ; può essere integrato (usando le proprietà delle funzioni Beta, ad esempio) per ottenere momenti, mostrando che la varianza è e si riduce a (da cui, secondo il Teorema di Chebyshev, la probabilità si sta concentrando vicino a ); e la distribuzione limitante viene quindi trovata considerando i valori della densità della distribuzione standardizzata, proporzionale a per piccoli valori di $f_D$ $\frac{\Gamma \left(\frac{n}{2}\right)}{\sqrt{\pi } \Gamma \left(\frac{D-1}{2}\right)}$ $t^k f_D(t)$ $1/D$ $0$ $t=0$ $f_D(t/\sqrt{D}),$ $t$ :

\begin{aligned} \log (f_{D} (t / \sqrt{D})) & = C (D) + \frac{D - 3}{2} \log (1 - \frac{t^{2}}{D}) \\ = C (D) - (1 / 2 + \frac{3}{2 D}) t^{2} + O (\frac{t^{4}}{D}) \\ \to C - \frac{1}{2} t^{2} \end{aligned}

$\eqalign{ \log(f_D(t/\sqrt{D})) &= C(D) + \frac{D-3}{2}\log\left(1 - \frac{t^2}{D}\right) \\ &=C(D) -\left(1/2 + \frac{3}{2D}\right)t^2 + O\left(\frac{t^4}{D}\right) \\ &\to C -\frac{1}{2}t^2 }$

dove le rappresentano (log) le costanti di integrazione. Evidentemente la velocità con cui questo si avvicina alla normalità (per cui la densità del log è uguale a ) è $C$ $-\frac{1}{2}t^2$ $O\left(\frac{1}{D}\right).$

figura

Questo diagramma mostra le densità del prodotto punto per , standardizzate alla varianza dell'unità, e la loro densità limite. I valori a aumentano con (dal blu al rosso, all'oro e quindi al verde per la densità normale standard). La densità per sarebbe indistinguibile dalla densità normale a questa risoluzione. $D=4, 6, 10$ $0$ $D$ $D=1000$

— whuber
fonte

(+1) Grazie mille, @whuber, questa è un'ottima risposta! Un ringraziamento speciale per aver menzionato la parola "frustum". Succede che ho accettato un'altra risposta pochi minuti prima che tu abbia pubblicato la tua, e non vorrei accettarla ora; spero tu capisca. Peccato che non sia possibile accettare entrambi! A proposito, nota una prova molto semplice dell'espressione per la varianza da quella risposta: puoi vederlo direttamente senza scherzare con le funzioni beta! La varianza del prodotto punto è uguale alla varianza di qualsiasi coordinata della sfera (come hai scritto) e una somma di tutte le di esse dovrebbe essere , QED

1 / D

$1/D$

D

$D$

1

$1$

— ameba dice Reinstate Monica

Questa è una bella osservazione sulle variazioni.

— whuber

@amoeba, la recente attività ha portato di nuovo la mia attenzione anche qui, e per quanto apprezzo che tu abbia accettato la mia risposta, questa è molto più piena. Non mi dispiacerebbe affatto se tu fossi cambiato.

— ekvall

@ Student001: questo è un commento giusto e generoso. Ho cambiato la risposta accettata. Ho anche trovato una tua Q e una tua da votare per compensare :)

— ameba dice Reinstate Monica

@mat La distribuzione di è quella di . Ciò la rende una distribuzione Beta ridimensionata e spostata dall'intervallo all'intervallo .

t

$t$

2 U - 1

$2U-1$

[0, 1]

$[0,1]$

[- 1, 1]

$[-1,1]$

— whuber

Troviamo la distribuzione e quindi la varianza segue i risultati standard. Considera il prodotto vettoriale e scrivilo sulla sua forma del coseno, ovvero nota che abbiamo dove è l'angolo tra ed . Nell'ultimo passaggio l'ho usato per qualsiasi evento eConsideriamo ora il termine . È chiaro che poiché è scelto in modo uniforme rispetto alla superficie della sfera, non importa quale

P (x^{'} y \leq t) = P (| x | | y | \cos θ \leq t) = P (\cos θ \leq t) = E P (\cos θ \leq t ∣ y),

$P(x'y\leq t)=P(|x||y|\cos\theta\leq t)=P(\cos\theta\leq t)=\mathbb{E}P(\cos\theta\leq t\mid y),$

θ

$\theta$

x

$x$

y

$y$

A

$A$

B

$B$

E P (A ∣ B) := E [E [χ_{A} ∣ B]] = E χ_{A} = P (A) .

$\mathbb EP(A\mid B):=\mathbb{E}[\mathbb{E}[\chi_A\mid B]]=\mathbb{E}\chi_A=P(A).$

P (\cos θ \leq t ∣ y)

$P(\cos\theta\leq t\mid y)$

x

$x$

y

$y$ in realtà lo è, solo l'angolo tra e importante. Pertanto, il termine all'interno dell'aspettativa è in realtà costante in funzione di e possiamo wlog supporre cheQuindi otteniamo chema poiché è la prima coordinata di un vettore gaussiano normalizzato in abbiamo che è gaussiano con varianza invocando il risultato asintotico di questo documento .

x

$x$

y

$y$

y

$y$

y = [1, 0, 0, \dots]^{'} .

$y=[1,0,0,\dots ]'.$

P (x^{'} y \leq t) = P (x_{1} \leq t) .

$P(x'y\leq t)=P\left( x_1\leq t\right).$

x_{1}

$x_1$

R^{n},

$\mathbb{R}^n,$

x^{'} y

$x'y$

1 / n

$1/n$

Per un risultato esplicito della varianza, utilizzare il fatto che il prodotto punto è zero medio per indipendenza e, come mostrato sopra, distribuito come la prima coordinata di . In base a questi risultati, trovare equivale a trovare . Ora, nota che per costruzione e così possiamo scrivere dove l'ultima uguaglianza segue da quella le coordinate di sono distribuite in modo identico. Mettendo insieme le cose, abbiamo scoperto che $x$ $\text{Var}(x'y)$ $\mathbb{E}x_1^2$ $x'x=1$

1 = E x^{'} x = E \sum_{i = 1}^{n} x_{i}^{2} = \sum_{i = 1}^{n} E x_{i}^{2} = n E x_{1}^{2},

$1=\mathbb{E}x'x=\mathbb{E}\sum_{i=1}^nx_i^2=\sum_{i=1}^n\mathbb{E}x_i^2=n\mathbb{E}x_1^2,$

x

$x$

Var (x^{'} y) = E x_{1}^{2} = 1 / n

$\text{Var}(x'y)=\mathbb{E}x_1^2=1/n$

— Ekvall
fonte

Grazie, ma sono confuso: che cos'è esattamente "il risultato desiderato" e come segue dall'ultima equazione? La distribuzione di probabilità finale dovrebbe dipendere .

D

$D$

— ameba dice di reintegrare Monica il

In realtà il modo in cui il risultato segue dalla tua ultima equazione è esattamente ciò che è discusso sul thread math.SE che hai trovato. Implica distribuzioni beta ecc. E il comportamento limitante è (per me) tutt'altro che ovvio. Credo che ci dovrebbe essere un modo più semplice diretta di vedere che .

σ^{2} (D) \approx 1 / D

$\sigma^2(D) \approx 1/D$

— ameba dice di reintegrare Monica il

Dipende dalla dimensione poiché , dove è il vettore gaussiano generato. Aggiornerò la risposta più tardi oggi o domani.

x_{1} = z_{1} | z |^{- 1}

$x_1=z_1 |z|^{-1}$

z

$z$

— ekvall,

Caspita, il tuo ultimo link fornisce il limite di quell'espressione che coinvolge funzioni beta inverse (che avevo paura di calcolare) nella terza equazione a pagina 1. Quindi, per completare il ragionamento: se la sfera ha raggio , allora è (asintoticamente) distribuito come . Che significa che per sfera di raggio varianza unitaria è volte più piccolo, cioè . Tuttavia, ho ancora un problema: ho controllato da 1 a 4 e sembra dare una varianza esatta , anche se le distribuzioni per D = 1 o D = 2 sono molto lontane dalla norma. Dovrebbe esserci una ragione più profonda dietro questo.

\sqrt{D}

$\sqrt{D}$

x_{1}

$x_1$

N (0, 1)

$\mathcal{N}(0,1)$

D

$D$

1 / D

$1/D$

D

$D$

1 / D

$1/D$

— L'ameba dice di reintegrare Monica il

@amoeba Sì, aggiornato con una prova di ciò.

— ekvall,

Per rispondere alla prima parte della tua domanda, indica . Definire Il prodotto delle elementi di e indicati qui come saranno distribuiti secondo la distribuzione congiunta di e . quindi da , $Z = \langle X,Y \rangle = \sum X_i Y_i$

f_{Z_{i}} (z_{i}) = \int_{- \infty}^{\infty} f_{Z_{1}, \dots, Z_{D}} (z_{1}, \dots, z_{D}) d z_{i}

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D}(z_1,\ldots,z_D) \: d z_i$

i^{t h}

$i^{th}$

X

$X$

Y

$Y$

Z_{i}

$Z_i$

X_{i}

$X_i$

Y_{i}

$Y_i$

f_{Z_{i}} (z_{i}) = \int_{- \infty}^{\infty} f_{X_{i}, Y_{i}} (x, \frac{z_{i}}{x}) \frac{1}{| x |} d x

$f_{Z_i}(z_i) = \int_{-\infty}^\infty f_{X_i,Y_i}(x,\frac{z_i}{x})\frac{1}{|x|}dx$

Z = \sum Z_{i}

$Z = \sum Z_i$

f_{Z} (z) = \int_{- \infty}^{\infty} \dots \int_{- \infty}^{\infty} f_{Z_{1}, \dots, Z_{D}} (z_{1}, \dots, z_{d}) δ (z - \sum z_{i}) d z_{1} \dots d z_{d}

$f_Z(z) = \int_{-\infty}^\infty \ldots \int_{-\infty}^\infty f_{Z_1,\ldots,Z_D} (z_1,\ldots,z_d) \: \delta(z - \sum z_i)\: dz_1\ldots d z_d$

Per la seconda parte, penso che se vuoi dire qualcosa di interessante sul comportamento asintotico di devi almeno assumere l'indipendenza di e e quindi applicare un CLT. $\sigma$ $X$ $Y$

Ad esempio, se eri disposto a supporre che sono iid con e potresti dire che e . $\{Z_1,\ldots,Z_D\}$ $\mathbb{E}[Z_i] = \mu$ $\mathbb{V}[Z_i] = \sigma^2$ $\sigma^2(D) = \frac{\sigma^2}{D}$ $\lim_{D\to\infty} \sigma^2(D) = 0$

— tom
fonte

Grazie, ma sono confuso riguardo alla seconda parte. e dovrebbero ovviamente essere indipendenti, aggiungerò questo alla domanda. Dici che , e questo suona ragionevole, ma qual è il comportamento asintotico di ? Credo che l'espressione che sto cercando dovrebbe dipendere solo su . A proposito in 2D se non sbaglio, mi chiedo se questo rimanga vero in dimensioni superiori ...

X

$X$

Y

$Y$

σ^{2} (D) = V a r (z_{i}) / D

$\sigma^2(D) = \mathrm{Var}(z_i)/D$

V a r (z_{i})

$\mathrm{Var}(z_i)$

D

$D$

V a r (z_{i}) = 1 / 2

$\mathrm{Var}(z_i)=1/2$

— ameba dice Reinstate Monica

È davvero possibile che sia indipendente dato il requisito che e sono di lunghezza unitaria?

z_{i}

$z_i$

X

$X$

Y

$Y$

— ekvall,

@tom: A proposito, mi sono sbagliato: in 2D è 1, è che è uguale a 1/2. Ho aggiornato la mia domanda con alcuni risultati di simulazione. Sembra che la formula corretta è .

V a r (z_{i})

$\mathrm{Var}(z_i)$

V a r (z)

$\mathrm{Var}(z)$

1 / D

$1/D$

— ameba dice di reintegrare Monica il