Generazione di dati con una data matrice di covarianza campione

Data una matrice di covarianza $\boldsymbol \Sigma_s$ , come generare dati in modo tale da avere la matrice di covarianza di esempio $\hat{\boldsymbol \Sigma} = \boldsymbol \Sigma_s$ ?

Più in generale: siamo spesso interessati a generare dati da una densità $f(x \vert \boldsymbol\theta)$ , con i dati $x$ dati alcuni parametri vettoriali $\boldsymbol\theta$ . Ciò si traduce in un campione, dal quale potremmo quindi stimare nuovamente un valore $\boldsymbol{\hat\theta}$ . Quello che mi interessa è il problema inverso: cosa succede se ci viene fornito un set di parametri $\boldsymbol\theta_{s}$ e vorremmo generare un esempio $x$ tale, che $\boldsymbol{\hat\theta} = \boldsymbol\theta_{s}$ .

È un problema noto? Un tale metodo è utile? Sono disponibili algoritmi?

Esistono due diverse situazioni tipiche per questo tipo di problemi:

i) vuoi generare un campione da una data distribuzione le cui caratteristiche di popolazione corrispondono a quelle specificate (ma a causa della variazione del campionamento, non hai le caratteristiche del campione esattamente corrispondenti).

ii) si desidera generare un campione le cui caratteristiche del campione corrispondano a quelle specificate (ma, a causa dei vincoli della corrispondenza esatta delle quantità del campione con un set di valori prespecificato, non provengono realmente dalla distribuzione desiderata).

Vuoi il secondo caso, ma lo ottieni seguendo lo stesso approccio del primo caso, con un ulteriore passaggio di standardizzazione.

Quindi, per le normali multivariate, entrambe possono essere eseguite in modo abbastanza semplice:

Con il primo caso potresti usare normali casuali senza la struttura della popolazione (come il normale standard che ha aspettativa 0 e matrice di covarianza di identità) e quindi imporlo - trasformalo per ottenere la matrice di covarianza e significa che vuoi. Se e sono la media della popolazione e la covarianza di cui hai bisogno e sono lo standard normale, calcoli , per alcune cui (ad esempio una adatta potrebbe essere ottenuta tramite decomposizione di Cholesky) . Quindi ha le caratteristiche di popolazione desiderate.Σ z y = L z + μ L L L ′ = Σ L $\mu$$\Sigma$$z$$y=Lz+\mu$$L$$LL'=\Sigma$$L$$y$

Con il secondo, devi prima trasformare le tue normali casuali per rimuovere anche la variazione casuale dalla media zero e dalla covarianza identità (rendendo la media campione zero e la covarianza campione ), quindi procedere come prima. Ma quella fase iniziale di rimozione della deviazione del campione dalla media esatta , la varianza interferisce con la distribuzione. (In piccoli campioni può essere piuttosto grave.) 0 $I_n$$0$$I$

Questo può essere fatto sottraendo la media campionaria di ( ) e calcolando la decomposizione di Cholesky di . Se è il fattore Cholesky sinistro, allora dovrebbe avere la media campionaria 0 e la covarianza del campione di identità. È quindi possibile calcolare e disporre di un campione con i momenti di campionamento desiderati. (A seconda di come sono definite le quantità del campione, potrebbe esserci un piccolo violino coinvolto nella moltiplicazione / divisione per fattori come , ma è abbastanza facile identificare tale esigenza.)z ∗ = z - ˉ z z ∗ L ∗ z ( 0 ) = ( L ∗ ) - 1 z ∗ y = L z ( 0 ) + μ $z$$z^*=z-\bar z$$z^*$$L^*$$z^{(0)}=(L^*)^{-1}z^*$$y=Lz^{(0)}+\mu$$\sqrt{\frac{n-1}{n}}$

@Glen_b ha dato una buona risposta (+1), che voglio illustrare con un po 'di codice.

Come generare campioni da un -dimensionale distribuzione gaussiana multivariata con una data matrice di covarianza ? Questo è facile da fare generando campioni da un gaussiano standard e moltiplicandoli per una radice quadrata della matrice di covarianza, ad esempio per . Questo è trattato in molti thread sul CV, ad esempio qui: come posso generare dati con una matrice di correlazione prespecificata? Ecco una semplice implementazione di Matlab:d Σ c h o l ( Σ $n$$d$$\boldsymbol \Sigma$$\mathrm{chol}(\boldsymbol \Sigma)$

n = 100;
d = 2;
Sigma = [ 1    0.7  ; ...
          0.7   1   ];
rng(42)
X = randn(n, d) * chol(Sigma);

La matrice di covarianza di esempio dei dati risultanti non sarà ovviamente esattamente ; ad es. nell'esempio sopra riportato ritorna$\boldsymbol \Sigma$cov(X)

1.0690    0.7296
0.7296    1.0720

Come generare dati con una correlazione del campione predefinita o matrice di covarianza?

Come ha scritto @Glen_b, dopo aver generato i dati da uno standard gaussiano, centra, imbianca e standardizza, in modo che abbia una matrice di covarianza di esempio ; solo allora moltiplicalo con .c h o l ( Σ $\mathbf I$$\mathrm{chol}(\boldsymbol \Sigma)$

Ecco la continuazione del mio esempio di Matlab:

X = randn(n, d);
X = bsxfun(@minus, X, mean(X));
X = X * inv(chol(cov(X)));
X = X * chol(Sigma);

Ora cov(X), come richiesto, ritorna

1.0000    0.7000
0.7000    1.0000