Passare dalla modellazione di un processo utilizzando una distribuzione di Poisson per utilizzare una distribuzione binomiale negativa?

$\newcommand{\P}{\mathbb{P}}$ Abbiamo un processo casuale che può-o-può-non si verificano più volte in un determinato periodo di tempo $T$ . Abbiamo un feed di dati da un modello preesistente di questo processo, che fornisce la probabilità che si verifichino numerosi eventi nel periodo $0 \leq t < T$ . Questo modello esistente è vecchio e dobbiamo eseguire verifiche in tempo reale sui dati dei feed per errori di stima. Il vecchio modello che produce il feed di dati (che fornisce la probabilità che $n$ si verifichino n eventi nel tempo rimanente $t$ ) è distribuito approssimativamente in Poisson.

Quindi, per verificare anomalie / errori, lasciamo $t$ il tempo rimanente e $X_t$ il numero totale di eventi che si verificano nel tempo rimanente $t$ . Il vecchio modello implica le stime $\P(X_t \leq c)$ . Quindi sotto il nostro presupposto $X_t\sim \operatorname{Poisson}(\lambda_{t})$ abbiamo:

$$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$$ Per derivare il nostro tasso di eventi $\lambda_t$ dall'output del vecchio modello (osservazioni $y_{t}$ ), utilizziamo un approccio dello spazio degli stati e modelliamo la relazione di stato come: $$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$$ Filtriamo le osservazioni dal vecchio modello, usando un modello di spazio di stato [decadimento a velocità costante] per l'evoluzione di $\lambda_t$ per ottenere lo stato filtrato $E(\lambda_t|Y_t)$ e contrassegnare un'anomalia / errore nella frequenza dell'evento stimata da i dati del feed se $E(\lambda_t|Y_t) < y_t$ .

Questo approccio funziona in modo fantastico nel rilevare errori nel conteggio degli eventi stimati per l'intero periodo $T$ , ma non così bene se vogliamo fare lo stesso per un altro periodo $0 \leq t < \sigma$ dove $\sigma < \frac{2}{3} T$ . Per ovviare a questo, abbiamo deciso che ora vogliamo passare a utilizzare la distribuzione binomiale negativa in modo da assumere ora $X_t\sim NB(r, p)$ e abbiamo:

$$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$$ dove il parametro $\lambda$ è ora sostituito da $r$ e $p$. Questo dovrebbe essere semplice da implementare, ma ho delle difficoltà con l'interpretazione e quindi ho alcune domande con cui vorrei che tu mi aiutassi:

1. Possiamo semplicemente impostare $p = \lambda$ nella distribuzione binomiale negativa? In caso contrario, perché no?

2. Supponendo che possiamo impostare $p = f(\lambda)$ dove $f$ è una funzione, come possiamo impostare correttamente $r$ (dobbiamo adattare $r$ usando i set di dati passati)?

3. Is $r$ dipende dal numero di eventi che ci aspettiamo che si verifichi nel corso di un dato processo?

---

Addendum all'estrazione di stime per $r$ (e $p$ ):

Sono consapevole che se avessimo effettivamente risolto questo problema e avessimo contato gli eventi per ciascun processo, avremmo potuto adottare lo stimatore della massima verosimiglianza per e . Ovviamente lo stimatore della massima verosimiglianza esiste solo per campioni per i quali la varianza del campione è maggiore della media del campione, ma in tal caso potremmo impostare la funzione di verosimiglianza per osservazioni distribuite identicamente indipendenti as: da cui possiamo scrivere la funzione di verosimiglianza come: p N k 1 , k 2 , … , k N L ( r , p ) = N ∏ i = 1 P ( k i ; r , p ) , l ( r , p ) = N ∑ i = 1 ln ( Γ ( k i + r ) ) - N ∑$r$$p$$N$$k_1, k_2, \ldots, k_{N}$

$$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$$ $$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$$ Per trovare il massimo prendiamo le derivate parziali rispetto a e e li uguale a zero: Impostazione e impostazione troviamo: $r$$p$ $$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$$ $\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$ $$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$$ Questa equazione non può essere risolta per r in forma chiusa usando Newton o anche EM. Tuttavia, questo non è il caso in questa situazione. Anche se abbiamo potuto utilizzare i dati del passato per ottenere una statica e questo non è davvero alcun uso come per il nostro processo, abbiamo bisogno di adattare questi parametri nel tempo, come abbiamo fatto con Poisson. $r$$p$

La distribuzione binomiale negativa è molto simile al modello di probabilità binomiale. è applicabile quando le seguenti ipotesi (condizioni) sono valide 1) Qualsiasi esperimento viene eseguito nelle stesse condizioni fino a quando non viene raggiunto un numero fisso di successi, diciamo C, 2) Il risultato di ciascun esperimento può essere classificato in una delle due categorie , successo o fallimento 3) La probabilità P di successo è la stessa per ogni esperimento 40 Ogni esperimento è indipendente da tutti gli altri. La prima condizione è l'unico fattore di differenziazione chiave tra binomiale e binomiale negativo

La distribuzione di Poisson può essere una ragionevole approssimazione del binomio in determinate condizioni come 1) La probabilità di successo per ogni prova è molto piccola. P -> 0 2) np = m (diciamo) è finito La regola più spesso usata dagli statistici è che il poisson è una buona approssimazione del binomio quando n è uguale o maggiore di 20 e p è uguale o inferiore a 5 %