Stima della massima verosimiglianza della distribuzione congiunta dati solo conteggi marginali

Sia una distribuzione congiunta di due variabili categoriali , con . Supponiamo che da questa distribuzione siano stati estratti campioni, ma ci vengono dati solo i conteggi marginali, vale a dire per : $p_{x,y}$ $X,Y$ $x,y\in\{1,\ldots,K\}$ $n$ $j=1,\ldots,K$

S_{j} = \sum_{i = 1}^{n} δ (X_{i} = l), T_{j} = \sum_{i = 1}^{n} δ (Y_{i} = j),

$S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)},$

Qual è lo stimatore della massima verosimiglianza per , dato ? Questo è noto? Computazionalmente fattibile? Esistono altri approcci ragionevoli a questo problema oltre a ML? $p_{x,y}$ $S_j,T_j$

— RS
fonte

I margini in realtà non contengono informazioni * sulla distribuzione congiunta (in effetti questo è il punto delle copule). * o almeno quasi - ovviamente i margini contengono almeno alcune informazioni, poiché i conteggi interni non possono superare i margini in cui si verificano. Hai in mente una distribuzione articolare specifica? Perché hai usato il tag? Stai cercando una soluzione di massima entropia?

$\:$ maximum-entropy

— Glen_b

Non ho molta familiarità con le copule. Valgono anche per il caso categorico? Cosa significherebbe che ogni distribuzione congiunta con gli stessi margini avrebbe la stessa probabilità? (Ho taggato l'entropia massima perché pensavo potesse essere rilevante.)

— RS

Non abbiamo ancora un modello distributivo specificato, quindi non siamo in grado di calcolare . Ci sono numerose possibilità qui. Le copule esistono per il caso categorico ordinato (se non unico), ma il mio obiettivo nel sollevarlo era di motivare il motivo per cui i marginali non erano molto istruttivi in generale. Per quanto riguarda il caso di conteggio categorico, Fisher ha trattato i margini come non informativi sull'articolazione, da cui l'esatto test Fisher-Irwin. Se vuoi la massima entropia, probabilmente puoi ottenere una soluzione di entropia massima, ma non so che sarà molto informativo su ...

P (x | θ)

$P(x|\theta)$

— Glen_b -Reststate Monica

(ctd) ... struttura. In entrambi i casi ME o ML, penso che prima avrai bisogno di un qualche tipo di modello, che si tratti di multinomiale bivariato, ipergeometrico bivariato o qualcosa con più struttura. Vedi questa domanda , in cui l'autore inserisce un riferimento in una risposta. Potrebbe essere di aiuto.

— Glen_b

Intendevo una distribuzione multinomiale bivariata generale. La domanda parla del caso in cui vengono fornite le somme della distribuzione e vediamo campioni dalla distribuzione congiunta. Qui abbiamo le somme del campione. Penso che il problema sia ben definito nel caso ML (la soluzione potrebbe non essere unica ma non lo so).

— RS

Risposte:

Questo tipo di problema è stato studiato nel documento "Aumento dei dati nelle tabelle di contingenza multidirezionali con totali marginali fissi" di Dobra et al (2006). Let denota i parametri del modello, let denota la tabella di numeri interi non osservata per ogni coppia e lascia che sia l'insieme di tabelle di numeri interi il cui conteggio marginale uguale . Quindi la probabilità di osservare i conteggi marginali è: dove $\theta$ $\mathbf{n}$ $(x,y)$ $C(S,T)$ $(S,T)$ $(S,T)$

p (S, T | θ) = \sum_{n \in C (S, T)} p (n | θ)

$p(S,T | \theta) = \sum_{\mathbf{n} \in C(S,T)} p(\mathbf{n} | \theta)$

p (n | θ)

$p(\mathbf{n} | \theta)$ è la distribuzione di campionamento multinomiale. Questo definisce la funzione di probabilità per ML, ma la valutazione diretta è impossibile tranne che per piccoli problemi. L'approccio che raccomandano è MCMC, dove aggiorni alternativamente e campionando da una distribuzione di proposta e accettando la modifica in base al rapporto di accettazione di Metropolis-Hastings. Questo potrebbe essere adattato per trovare un massimo approssimativo su usando Monte Carlo EM.

n

$\mathbf{n}$

θ

$\theta$

θ

$\theta$

Un approccio diverso userebbe metodi variazionali per approssimare la somma su . I vincoli marginali possono essere codificati come un grafico fattoriale e l'inferenza su potrebbe essere effettuata usando la propagazione delle aspettative. $\mathbf{n}$ $\theta$

Per capire perché questo problema è difficile e non ammette una soluzione banale, si consideri il caso . Prendendo come somma di riga e come somma di colonna, ci sono due possibili tabelle di conteggi: Pertanto la funzione di verosimiglianza è l' MLE per questo problema è che corrisponde all'assunzione della tabella a sinistra. Al contrario, la stima che otterresti assumendo l'indipendenza è $S=(1,2), T=(2,1)$ $S$ $T$

[\begin{matrix} 0 & 1 \\ 2 & 0 \end{matrix}] [\begin{matrix} 1 & 0 \\ 1 & 1 \end{matrix}]

$\begin{bmatrix} 0 & 1 \\ 2 & 0 \end{bmatrix} \qquad \begin{bmatrix} 1 & 0 \\ 1 & 1 \end{bmatrix}$

p (S, T | θ) = 3 p_{12} p_{21}^{2} + 6 p_{11} p_{21} p_{22}

$p(S,T|\theta) = 3 p_{12} p_{21}^2 + 6 p_{11} p_{21} p_{22}$

{\hat{p}}_{x, y} = [\begin{matrix} 0 & 1 / 3 \\ 2 / 3 & 0 \end{matrix}]

$\hat{p}_{x,y} = \begin{bmatrix} 0 & 1/3 \\ 2/3 & 0 \end{bmatrix}$

q_{x, y} = [\begin{matrix} 1 / 3 \\ 2 / 3 \end{matrix}] [\begin{matrix} 2 / 3 & 1 / 3 \end{matrix}] = [\begin{matrix} 2 / 9 & 1 / 9 \\ 4 / 9 & 2 / 9 \end{matrix}]

$q_{x,y} = \begin{bmatrix} 1/3 \\ 2/3 \end{bmatrix} \begin{bmatrix} 2/3 & 1/3 \end{bmatrix} = \begin{bmatrix} 2/9 & 1/9 \\ 4/9 & 2/9 \end{bmatrix}$ che ha un valore di probabilità inferiore.

— Tom Minka
fonte

Non è possibile ottenere una soluzione analitica?

— Ben Kuhn,

θ

$\theta$

θ = {θ_{x, y}}

$\theta=\{\theta_{x,y}\}$

(x, y)

$(x,y)$

Non sospetterei che ci sia una soluzione analitica. Ho aggiunto un esempio per illustrare questo.

— Tom Minka,

Grazie. Forse è vero asintoticamente? Quindi, il condizionamento sui totali dei margini è uguale al condizionamento sulle distribuzioni dei margini (dopo la normalizzazione) e la probabilità logaritmica per ciascuna tabella di numeri interi non osservata è proporzionale alla sua entropia. Forse qualcosa con AEP allora?

— RS

Come è stato sottolineato da @Glen_b, questo non è specificato a sufficienza. Non penso che tu possa usare la massima verosimiglianza a meno che tu non possa specificarne completamente la verosimiglianza.

Se tu fossi disposto ad assumere l'indipendenza, allora il problema è abbastanza semplice (per inciso, penso che la soluzione sarebbe la massima soluzione di entropia che è stata suggerita). Se non sei disposto o in grado di imporre una struttura aggiuntiva nel tuo problema e desideri comunque un tipo di approssimazione ai valori delle celle, potresti usare i limiti della copula di Fréchet-Hoeffding . Senza ipotesi aggiuntive, non credo che tu possa andare oltre.

— F. Tusell
fonte

La probabilità in questo può essere multinomiale. Perché è insufficiente?

— RS

A quanto ho capito, la probabilità è una funzione dei parametri dati i dati. Qui, non hai valori per ogni cella, solo i margini, quindi non hai una singola funzione dei parametri che puoi calcolare, e tanto meno massimizzare. Esistono in generale molte configurazioni di celle compatibili con i margini e ognuna darebbe una diversa probabilità.

— F. Tusell,

Sì, ma va bene. I parametri sono , i dati sono i marginali. Posso ancora calcolare la probabilità dei marginali dati - è la somma su tutte le probabilità delle configurazioni delle celle che danno i marginali. Questa è una singola funzione che posso massimizzare.

p

$p$

p

$p$

— RS

$p_{x,y}$ $p_x = \sum_y p_{x,y}$ $p_y = \sum_x p_{x,y}$

Seguono cose sbagliate:

$p_{x, y}$ $X, Y$ $S_1 = S_2 = T_1 = T_2 = 10$

p = (\begin{array}{cc} \frac{1}{2} & 0 \\ 0 & \frac{1}{2} \end{array}), p = (\begin{array}{cc} \frac{1}{4} & \frac{1}{4} \\ \frac{1}{4} & \frac{1}{4} \end{array})

$p = \left(\begin{array}{cc} \frac12 & 0 \\ 0 & \frac12\end{array}\right), \qquad p = \left(\begin{array}{cc} \frac14 & \frac14 \\ \frac14 & \frac14\end{array}\right)$

$p_x$ $p_y$

$p = \left(\begin{array}{cc}a & b \\ c & d\end{array}\right)$ $0 < a \le d$ $p = \left(\begin{array}{cc}0 & b + a \\ c + a & d - a\end{array}\right)$

$X, Y$

$H(p) = -\sum_{x,y} p_{x,y} \log p_{x,y}$ $\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $\vec g(p) = 0$ $g_x(p) = \sum_y p_{x,y} - p_x$ $g_y(p) = \sum_x p_{x,y} - p_y$

\nabla H (p) = \underset{K \in X \cup Y}{Σ} λ_{K} \nabla g_{K} (p)

$\nabla H(p) = \sum_{ k \in X \cup Y} \lambda_k \nabla g_k(p)$

$g_k$

1 - \log p_{X, y} = λ_{X} + λ_{y} ⟹ p_{X, y} = e^{1 - λ_{X} - λ_{y}}

$1 - \log p_{x,y} = \lambda_x + \lambda_y \implies p_{x,y} = e^{1-\lambda_x-\lambda_y}$

$\sum_x p_{x,y} = p_y$ $\sum_{y} p_{x,y} = p_x$ $e^{1/2 - \lambda_x} = p_x$ $e^{1/2 - \lambda_y} = p_y$

p_{X, y} = p_{X} p_{y} .

$p_{x,y} = p_xp_y.$

— Ben Kuhn
fonte

S_{1} = S_{2} = T_{1} = T_{2} = 10

$S_1=S_2=T_1=T_2=10$

p

$p$

[[10, 0], [0, 10]]

$[[10,0],[0,10]]$

2^{- 20}

$2^{-20}$

p

$p$

\sum_{0 \leq a \leq 10} P r [[a, 10 - a], [10 - a, a]]

$\sum_{0\le a \le 10}{Pr[[a,10-a],[10-a,a]]}$

10 \cdot 4^{- 20}

$10\cdot 4^{-20}$

Hai calcolato le probabilità in modo errato; per esempio, hai dimenticato di includere i coefficienti binomiali. Ma hai ragione nel dire che le due matrici danno diverse distribuzioni congiunte di conteggi marginali anche se danno la stessa distribuzione marginale di conteggi marginali. (Yikes!) Ci penserò di più.

— Ben Kuhn,