Come generare numeri casuali correlati (date medie, varianze e grado di correlazione)?

53

Mi dispiace se questo sembra un po 'troppo semplice, ma credo che sto solo cercando di confermare la comprensione qui. Ho la sensazione che dovrei farlo in due passaggi, e ho iniziato a cercare di individuare le matrici di correlazione, ma sta cominciando a sembrare davvero coinvolto. Sto cercando una spiegazione concisa (idealmente con suggerimenti per una soluzione pseudocodice) di un buon modo idealmente rapido per generare numeri casuali correlati.

Date due variabili pseudocasuali di altezza e peso con medie e varianze note e una data correlazione, penso che sto sostanzialmente cercando di capire come dovrebbe essere questo secondo passaggio:

   height = gaussianPdf(height.mean, height.variance)
   weight = gaussianPdf(correlated_mean(height.mean, correlation_coefficient), 
                        correlated_variance(height.variance, 
                        correlation_coefficient))

Come posso calcolare la media e la varianza correlate? Ma voglio confermare che questo è davvero il problema rilevante qui.
Devo ricorrere alla manipolazione della matrice? O ho qualcos'altro di sbagliato nel mio approccio di base a questo problema?

— Joseph Weissman
fonte

1

Non sono sicuro di averti capito correttamente, ma non devi calcolare "media e varianza correlate". Se stai assumendo che le variabili siano normali bivariate, dovrebbe essere sufficiente specificare i singoli mezzi, le varianze e la correlazione. C'è qualche software particolare che vuoi usare per questo?

— mark999,

3

Le seguenti domande sono fortemente correlate e saranno di interesse: come definire una distribuzione tale da trarre da essa correlare con un disegno da un'altra distribuzione pre-specificata? & Genera una variabile casuale con una correlazione definita con una variabile esistente .

— gung - Ripristina Monica

1

Inoltre: come posso generare dati con una matrice di correlazione prespecificata?

— gung - Ripristina Monica

44

Per rispondere alla tua domanda su "un modo buono, idealmente rapido per generare numeri casuali correlati": Data una matrice varianza-covarianza desiderata che è per definizione positiva definita, la sua scomposizione di Cholesky è: = ; essendo matrice triangolare inferiore. $C$ $C$ $LL^T$ $L$

Se ora usi questa matrice per proiettare un vettore variabile casuale non correlato , la proiezione risultante sarà quella delle variabili casuali correlate. $L$ $X$ $Y = LX$

Puoi trovare una spiegazione concisa del perché questo accada qui .

— usεr11852 dice Reinstate Monic
fonte

Grazie! Questo è stato di enorme aiuto. Penso di avere almeno un'idea migliore di ciò che devo guardare dopo.

— Joseph Weissman,

7

Questo metodo si applica solo alle distribuzioni gaussiane (come specificato nella domanda) o può essere utilizzato per generare variabili correlate che seguono altre distribuzioni? In caso contrario, sei a conoscenza di un metodo che potrebbe essere utilizzato in quel caso?

— user000001

1

@Michael: Sì. Detto questo, dato che

è una matrice di covarianza valida, la decomposizione di Cholesky è il modo più veloce. Puoi anche ottenere la matrice

(simmetrica) della radice quadrata di

usando SVD (quindi

, dove

da

) ma sarebbe più costoso pure.

C

$C$

X

$X$

C

$C$

C = X X = X X^{T}

$C = XX = XX^T$

X = U S^{0.5} V^{T}

$X = U S^{0.5} V^T$

C = U S V^{T}

$C = USV^T$

— usεr11852 dice Reinstate Monic

1

@Michael: Certo. La loro covarianza sarà (approssimativamente) la stessa, non i numeri stessi.

— usεr11852 dice Reinstate Monic il

1

@Sid: qualsiasi distribuzione continua non supportata su tutta la linea reale fallirà immediatamente. Ad esempio se usiamo una

uniforme non possiamo garantire che i "numeri correlati" saranno in

; allo stesso modo per un Poisson finiremo con numeri non discreti. Inoltre, qualsiasi distribuzione in cui la somma delle distribuzioni non è ancora la stessa distribuzione (ad es. Sommando la distribuzione

non si traduce in distribuzioni

) fallirà. In tutti i casi menzionati, i numeri prodotti saranno correlati secondo la

U [0, 1]

$U[0,1]$

[0, 1]

$[0,1]$

t

$t$

t

$t$

C

$C$ ma non corrisponderanno alla distribuzione che abbiamo iniziato.

— usεr11852 dice Reinstate Monic il

36

Da +1 a @ user11852 e @ jem77bfp, queste sono buone risposte. Consentitemi di affrontarlo da una prospettiva diversa, non perché penso che sia necessariamente migliore nella pratica , ma perché penso che sia istruttivo. Ecco alcuni fatti rilevanti che conosciamo già:

è la pendenza della linea di regressione quando sia che sonostandardizzati, ovvero , $r$ $X$ $Y$ $\mathcal N(0,1)$
è la proporzione della varianza in attribuibile alla varianza in , $r^2$ $Y$ $X$

(anche, dalle regole per le varianze ):
la varianza di una variabile casuale moltiplicata per una costante è la costante al quadrato della varianza originale:
$Var [a X] = a^{2} Var [X]$ $\text{Var}[aX]=a^2\text{Var}[X]$
$Var [X + ε] = Var [X] + Var [ε]$ $\text{Var}[X+\varepsilon]=\text{Var}[X]+\text{Var}[\varepsilon]$

$r$ $\rho$ $X$ $\mathcal N(0,1)$ $a$ $v_e$ $Y \sim\mathcal N(0,a^2+v_e)$ $a^2+v_e=1$ $|a|$ $\le 1$ $a=r$ $r$ $a$ $1-r^2$ $x_i$ $e_i$ $v_e$ $y_i$

Se vuoi farlo in R, il seguente codice potrebbe funzionare per te:

correlatedValue = function(x, r){
  r2 = r**2
  ve = 1-r2
  SD = sqrt(ve)
  e  = rnorm(length(x), mean=0, sd=SD)
  y  = r*x + e
  return(y)
}

set.seed(5)
x = rnorm(10000)
y = correlatedValue(x=x, r=.5)

cor(x,y)
[1] 0.4945964

$0$

Ancora una volta, questo, nella sua forma più semplice, ti consente solo di generare una coppia di variabili correlate (questo potrebbe essere ridimensionato, ma diventa brutto veloce), e non è certamente il modo più conveniente per fare il lavoro. In R, vorresti usare ? Mvrnorm nel pacchetto MASS , sia perché è più semplice sia perché puoi generare molte variabili con una data matrice di correlazione della popolazione. Tuttavia, penso che valga la pena seguire questo processo per vedere come alcuni principi di base si svolgono in modo semplice.

— gung - Ripristina Monica
fonte

Questo approccio essenzialmente regressivo è particolarmente piacevole, consentendo di generare una Y casuale correlata con un numero qualsiasi di "predittori" X esistenti . Ho ragione in tale comprensione?

— ttnphns

Dipende esattamente da quale modello di correlazioni tra le variabili desiderate, @ttnphns. Puoi iterarlo uno dopo l'altro, ma diventerebbe noioso. Per creare molte variabili correlate con un determinato modello, è meglio usare la decomposizione di Cholesky.

— gung - Ripristina Monica

gung, sai come usare Cholesky per generare una Y correlata (approssimativamente, come nel tuo metodo) secondo un vettore di correlazioni con diverse X (non simulate) esistenti ?

— ttnphns

@ttnphns, vuoi generare una singola Y con una data correlazione di popolazione con una serie di X, non una serie di variabili p che hanno tutte correlazioni di popolazione prespecificate? Un modo semplice sarebbe scrivere un'equazione di regressione per generare un singolo Y-hat dalle tue X, quindi utilizzare il metodo sopra per generare Y come correlato al tuo Y-hat. Puoi fare una nuova domanda a riguardo, se vuoi.

— gung - Ripristina Monica

1

Questo è ciò che intendevo nel mio commento iniziale: questo metodo sarebbe un'estensione diretta di ciò di cui parli nella tua risposta: essenzialmente un metodo regressivo (Hat).

— ttnphns

16

In generale questa non è una cosa semplice da fare, ma credo che ci siano pacchetti per la generazione di variabili normali multivariate (almeno in R, vedi mvrnormnel MASSpacchetto), in cui hai appena inserito una matrice di covarianza e un vettore medio.

$(X_1,X_2)$ $F(x_1,x_2)$ $F$ $x_2$

F_{X_{1}} (x_{1}) = \int_{- \infty}^{\infty} F (x_{1}, x_{2}) d x_{2} .

$F_{X_1}(x_1)= \int_{-\infty}^{\infty} F(x_1,x_2)dx_2.$

F_{X_{1}}^{- 1}

$F^{-1}_{X_1}$

F_{X_{1}}

$F_{X_1}$

ξ_{1}

$\xi_1$

[0, 1]

$[0,1]$

{\hat{x}}_{1} = F_{X_{1}}^{- 1} (ξ)

$\hat{x}_1=F^{-1}_{X_1}(\xi)$

$F(x_1,x_2)$ $x_1=\hat{x}_1$

F (x_{2} | X_{1} = {\hat{x}}_{1}) = \frac{F ({\hat{x}}_{1}, x_{2})}{f_{X_{1}} ({\hat{x}}_{1})},

$F(x_2 | X_1=\hat{x}_1)= \frac{F(\hat{x}_1,x_2)}{f_{X_1}(\hat{x}_1)},$

f_{X_{1}}

$f_{X_1}$

X_{1}

$X_1$

F_{X_{1}}^{'} (x_{1}) = f_{X_{1}} (x_{1})

$F'_{X_1}(x_1)=f_{X_1}(x_1)$

$\xi_2$ $[0,1]$ $\xi_1$ $F(x_2 | X_1=\hat{x}_1)$ $\hat{x}_2=(F(x_2 | X_1=\hat{x}_1))^{-1}(\xi)$ $\hat x_2$ $F(\hat x_2 | X_1=\hat{x}_1) = \xi$

Se non capisci il significato di collegare una variabile uniforme in una funzione di distribuzione di probabilità inversa, prova a fare uno schizzo del caso univariato e poi ricorda qual è l'interpretazione geometrica della funzione inversa.

— jem77bfp
fonte

Idea intelligente! Ha un semplice appello intuitivo. Ma sì sembra costoso dal punto di vista computazionale.

— MichaelChirico,

f_{X, Y} (x, y) = f_{X} (x) \cdot f_{Y | X} (y)

$f_{X,Y}(x,y)=f_X(x)\cdot f_{Y|X}(y)$

1

Se sei pronto a rinunciare all'efficienza, puoi usare un alogorithm usa e getta. Il suo vantaggio è che consente qualsiasi tipo di distribuzione (non solo gaussiana).

$\{x_i\}_{i=1}^N$ $\{y_i\}_{i=1}^N$ $C$

$c_{old}=corr(\{x_i\},\{y_i\})$

$n_1$ $n_2: 1 \leq n_{1,2} \leq N$

$x_{n_1}$ $x_{n_2}$

$c_{new}=corr( \{x_i\},\{y_i\})$

$|C-c_{new}| < |C-c_{old}|$

$|C-c| < \epsilon$

${x_i}$

In bocca al lupo!

— F. Jatpil
fonte

x_{i}

$x_i$

c o r r (x_{i}, y_{i})

$corr(x_i, y_i)$

x_{i}

$x_i$

{x_{i}}

$\{x_i\}$

y

$y$

c o r r (x_{i}, y_{i})

$corr(x_i,y_i)$

c o r r ({x_{i}}, {y_{i}}) = (1 / N) Σ_{i = 1}^{N} (x_{i} - \bar{x}) (y_{y} - \bar{y})

$corr(\{x_i\},\{y_i\}) = (1/N) \Sigma_{i=1}^{N}(x_i- \bar x)(y_y - \bar y)$

{}

$\{ \}$

c o r r ({x_{i}}, {y_{i}})

$corr(\{x_i\}, \{y_i\})$