Formula di probabilità per una distribuzione multivariata-bernoulli

13

Ho bisogno di una formula per la probabilità di un evento in una distribuzione di Bernoulli n-variate $X\in\{0,1\}^n$ con data $P(X_i=1)=p_i$ probabilità per un singolo elemento e per coppie di elementi $P(X_i=1 \wedge X_j=1)=p_{ij}$ . Equivalentemente ho potuto dare media e covarianza di $X$ .

Ho già imparato che esistono molte $\{0,1\}^n$ distribuzioni che hanno le proprietà così come ci sono molte distribuzioni che hanno una data media e covarianza. Sto cercando un canonico su $\{0,1\}^n$ , proprio come il gaussiano è una distribuzione canonica per $R^n$ e una data media e covarianza.

multivariate-analysis discrete-data

— mpiktas
fonte

11

La variabile casuale che assume valori in è una variabile casuale discreta. La sua distribuzione è completamente descritta dalle probabilità con . Le probabilità e fornite sono somme di per determinati indici . $\{0,1\}^n$ $p_{\mathbf{i}}=P(X=\mathbf{i})$ $\mathbf{i}\in\{0,1\}^n$ $p_{i}$ $p_{ij}$ $p_{\mathbf{i}}$ $\mathbf{i}$

Ora sembra che tu voglia descrivere usando solo e . Non è possibile senza assumere determinate proprietà su . Per vedere che prova a derivare funzione caratteristica di . Se prendiamo $p_{\mathbf{i}}$ $p_i$ $p_{ij}$ $p_{\mathbf{i}}$ $X$ otteniamo $n=3$

\begin{aligned} E e^{i (t_{1} X_{1} + t_{2} X_{2} + t_{3} X_{3})} & = p_{000} + p_{100} e^{i t_{1}} + p_{010} e^{i t_{2}} + p_{001} e^{i t_{3}} \\ + p_{110} e^{i (t_{1} + t_{2})} + p_{101} e^{i (t_{1} + t_{3})} + p_{011} e^{i (t_{2} + t_{3})} + p_{111} e^{i (t_{1} + t_{2} + t_{3})} \end{aligned}

$\begin{align} Ee^{i(t_1X_1+t_2X_2+t_3X_3)}&=p_{000}+p_{100}e^{it_1}+p_{010}e^{it_2}+p_{001}e^{it_3}\\\\ &+p_{110}e^{i(t_1+t_2)}+p_{101}e^{i(t_1+t_3)}+p_{011}e^{i(t_2+t_3)}+p_{111}e^{i(t_1+t_2+t_3)} \end{align}$ Non è possibile riorganizzare questa espressione in modo che

p_{i}

$p_{\mathbf{i}}$ scompaiono. Per la variabile casuale gaussiana la funzione caratteristica dipende solo dalla media e dai parametri di covarianza. Le funzioni caratteristiche definiscono in modo univoco le distribuzioni, quindi è per questo che il gaussiano può essere descritto in modo univoco usando solo media e covarianza. Come vediamo per la variabile casuale

non è così.

X

$X$

— mpiktas
fonte

10

Vedi il seguente documento:

JL Teugels, Alcune rappresentazioni del multivariato Bernoulli e distribuzioni binomiali , Journal of Multivariate Analysis , vol. 32, n. 2, febbraio 1990, 256–268.

Ecco l'abstract:

Le versioni multivariate ma vettorializzate per Bernoulli e le distribuzioni binomiali sono stabilite usando il concetto di prodotto Kronecker dal calcolo della matrice. La distribuzione multivariata di Bernoulli comporta un modello parametrizzato, che fornisce un'alternativa al tradizionale modello log-lineare per variabili binarie.

— Hamed
fonte

2

Grazie per averlo condiviso, Hamed. Benvenuti nel nostro sito!

— whuber

1

Non so come si chiama la distribuzione risultante, o se ha anche un nome, ma mi colpisce il modo ovvio per impostare questo è pensare al modello che useresti per modellare un 2 × 2 × 2 × … × 2 tabella che utilizza un modello log-lineare (regressione di Poisson). Dato che conosci solo le interazioni del 1 ° ordine, è quindi naturale supporre che tutte le interazioni di ordine superiore siano zero.

P (X_{1} = x_{1}, X_{2} = x_{2}, \dots, X_{n} = x_{n}) = \prod_{i} [p_{i}^{x_{i}} (1 - p_{i})^{1 - x_{i}} \prod_{j < i} {(\frac{p_{i j}}{p_{i} p_{j}})}^{x_{i} x_{j}}]

$P(X_1=x_1, X_2=x_2,\ldots,X_n=x_n) = \prod_i \left[ p_i^{x_i}(1-p_i)^{1-x_i} \prod_{j<i} \left(\frac{p_{ij}}{p_i p_j}\right)^{x_i x_j} \right]$

— onestop
fonte

This formula has notational problems: there are

p

$p$ 's on the left and the right. The right side makes no reference at all to the subscript

i

$\mathbf{i}$ . Furthermore, still interpreting the

p_{i}

$p_i$ as probabilities (as in the original question), the rhs clearly is positive whereas the lhs cannot be positive.

— whuber

@whuber Quite right! I stick by the model I set out in the first para, but my equation was screwed up in several ways... Goes to show I haven't actually used log-linear modelling of contingency tables since my MSc, and I haven't got the notes or books to hand. I believe I've fixed it now though. Let me know if you agree! Apols for the delay. Some days my brain just doesn't do algebra.

— onestop

1

I don't think this works. Assume

p_{i} = 1 / n

$p_i=1/n$ and

p_{i j} = 0 \forall i \neq j

$p_{ij}=0 \forall i \ne j$ . This is a valid combination of probabilities, realized when

I

$I$ is a uniform random variable

\in {1, . . ., n}

$\in\{1,...,n\}$ and

X_{I} = 1

$X_I=1$ and all

X_{j} = 0 \forall j \neq I

$X_j=0 \forall j\ne I$ . Still the formula above would be 0 for all events. Still thanks for helping!