Come modellare la somma delle variabili casuali di Bernoulli per i dati dipendenti?

Ho quasi le stesse domande come questa: come posso modellare in modo efficiente la somma delle variabili casuali di Bernoulli?

Ma l'impostazione è abbastanza diversa:

1. $S=\sum_{i=1,N}{X_i}$ , , ~ 20, ~ 0.1$P(X_{i}=1)=p_i$$N$$p_i$

2. Abbiamo i dati per i risultati delle variabili casuali di Bernoulli: ,$X_{i,j}$$S_j=\sum_{i=1,N}{X_{i,j}}$

3. Se stimiamo la con la stima della massima verosimiglianza (e otteniamo ), risulta che è molto più grande di allora previsti dagli altri criteri:p M L E i P { S = 3 } ( p M L E i ) P { S = 3 } ( p M L E i ) - P e x p e c t e d { S = 3 } ≈ $p_i$$\hat p^{MLE}_i$$\hat P\{S=3\} (\hat p^{MLE}_i)$$\hat P\{S=3\} (\hat p^{MLE}_i) - \hat P^{expected} \{S=3\}\approx 0.05$

4. Pertanto, e non possono essere considerati indipendenti (hanno una piccola dipendenza). X j ( j > k $X_{i}$$X_{j}$ $(j>k)$

5. Ci sono alcuni vincoli come questi: e (noto), che dovrebbe aiutare con la stima di .Σ s ≤ 2 P { S = s } = A P { S $p_{i+1} \ge p_i$$\sum_{s \le 2}\hat P\{S=s\}=A$$P\{S\}$

Come potremmo provare a modellare la somma delle variabili casuali di Bernoulli in questo caso?

Quale letteratura potrebbe essere utile per risolvere il compito?

AGGIORNATO

Ci sono altre idee:

(1) È possibile supporre che la dipendenza sconosciuta tra inizi dopo 1 o più successi in serie. Quindi quando , e . ∑ i = 1 , K X i >0 p K + 1 → p ′ K + 1 p ′ K + 1 < p K + ${X_i}$$\sum_{i=1,K}{X_i} > 0$$p_{K+1} \to p'_{K+1}$$p'_{K+1} < p_{K+1}$

(2) Per usare MLE abbiamo bisogno del modello meno discutibile. Ecco una variante:

Σ i = 1 , k X i = 0 P { X 1 , . . . , X k , X k + 1 , . . . , X $P\{X_1,...,X_k\}= (1-p_1) ... (1-p_k)$ se per qualsiasi k if e e per qualsiasi k.$\sum_{i=1,k}{X_i} = 0$∑ i = 1 , k - 1 X i = 0 X k = 1 P ′ { X k + 1 = 1 , X k + 2 = 1 $P\{X_1,...,X_k,X_{k+1},...,X_N\}= (1-p_1) ... p_k P'\{X_{k+1},...,X_N\}$$\sum_{i=1,k-1}{X_i} = 0$$X_k = 1$$P'\{X_{k+1}=1,X_{k+2}=1,...,X_N=1\} \le p_{k+1} p_{k+2} ... p_N$

(3) Poiché siamo interessati solo a , possiamo impostare (probabilità di successi per N- (k + 1) +1 somme dalla coda). E usa la parametrizzazioneP ' { x k + 1 , . . . , X N } ≈ P ″ { ∑ i = 1 , k X i = s ′ ; N - ( k + 1 ) + 1 = l } ∑ i = k + 1 , N X i P ″ { $P\{S\}$$P'\{X_{k+1},...,X_N\} \approx P''\{\sum_{i=1,k}{X_i}=s' ; N-(k+1)+1=l\}$$\sum_{i=k+1,N}{X_i}$$P''\{\sum_{i=k,N}{X_i}=s' ; N-k+1=l\}= p_{s',l}$

(4) Utilizzare MLE per il modello in base ai parametri e con per (e qualsiasi ) e alcuni altri vincoli nativi .p 0 , 1 , p 1 , 1 ; p 0 , 2 , p 1 , 2 , p 2 , 2 ; . . . p s ′ , l = 0 s ′ ≥ 6 $p_1,...,p_N$$p_{0,1}, p_{1,1}; p_{0,2}, p_{1,2}, p_{2,2};...$$p_{s',l}=0$$s' \ge 6$$l$

Va tutto bene con questo piano?

AGGIORNATO 2

Alcuni esempi di distribuzione empirica (rosso) rispetto alla distribuzione di Poisson (blu) (le medie di poisson sono 2.22 e 2.45, le dimensioni del campione sono 332 e 259):$P\{S\}$

Per i campioni (A1, A2) con le punte di poisson 2.28 e 2.51 (le dimensioni del campione sono 303 e 249):

Per samlpe unito A1 + A2 (la dimensione del campione è 552):

Sembra che una certa correzione a Poisson dovrebbe essere il modello migliore :).

Un approccio sarebbe quello di modellare le con un modello lineare generalizzato (GLM). Qui, dovresti formulare , la probabilità di successo -esimo processo come funzione (lineare logistica) della recente storia dell'osservazione. Quindi essenzialmente stai inserendo un GLM autoregressivo in cui il rumore è Bernoulli e la funzione di collegamento è logit. L'impostazione è:$X$$p_i$$i$

$p_i = f(b + a_1 X_{i-1} + a_2 X_{i-2} + \ldots a_k X_{i-k})$ , dove

$f(x) = \frac{1}{1+\exp(x)}$ e

$X_i \sim Bernoulli(p_i)$

I parametri del modello sono , che possono essere stimati mediante regressione logistica. (Tutto quello che devi fare è impostare la tua matrice di progettazione usando la parte pertinente della cronologia delle osservazioni ad ogni prova e passarla in una funzione di stima della regressione logistica; la probabilità di log è concava quindi c'è un massimo globale unico per i parametri). Se i risultati sono effettivamente indipendenti, allora gli saranno impostati a zero; positivo significa che il successivo aumenta ogni volta che si osserva un successo.a i a i p $\{b, a_1, \ldots a_k\}$$a_i$$a_i$$p_i$

Il modello non fornisce una semplice espressione della probabilità rispetto alla somma degli , ma questo è facile da calcolare mediante simulazione (filtro delle particelle o MCMC) poiché il modello ha una struttura markoviana semplice.$X_i$

Questo tipo di modello è stato utilizzato con grande successo per modellare le dipendenze temporali tra i "picchi" di neuroni nel cervello, e esiste una vasta letteratura sui modelli di processo dei punti autoregressivi. Vedi, ad esempio, Truccolo et al 2005 (sebbene questo documento utilizzi una probabilità di Poisson anziché una di Bernoulli, ma la mappatura dall'una all'altra è semplice).

Se la dipendenza è dovuta al raggruppamento, un modello composto di Poisson potrebbe essere la soluzione come modello di . Un riferimento in qualche modo casuale è questo di Barbour e Chryssaphinou.$S_j$

In una direzione completamente diversa, poiché indichi che è 20, e quindi relativamente piccolo, potrebbe essere quello di costruire un modello grafico di , ma non so se la tua configurazione e i tuoi dati lo rendono possibile. Come commenta @chl, sarà utile se descrivi quali sono gli .X i j X i , $N$$X_{ij}$$X_{i,j}$

Se gli rappresentano misurazioni sequenziali, ad esempio nel tempo, e la dipendenza è correlata a ciò, una terza possibilità - e in alcuni casi estende un compromesso tra i due suggerimenti sopra - è quella di utilizzare un modello Markov nascosto di gli . X i , $X_{i,j}$$X_{i,j}$