Poisson è esponenziale come Gamma-Poisson è cosa?

Una distribuzione di Poisson può misurare eventi per unità di tempo e il parametro è $\lambda$ . La distribuzione esponenziale misura il tempo fino al prossimo evento, con il parametro $\frac{1}{\lambda}$ . Uno può convertire una distribuzione nell'altra, a seconda che sia più semplice modellare eventi o tempi.

Ora, un gamma-poisson è un poisson "allungato" con una varianza maggiore. Una distribuzione di Weibull è un esponenziale "allungato" con una varianza maggiore. Ma questi due possono essere facilmente convertiti l'uno nell'altro, allo stesso modo in cui Poisson può essere convertito in esponenziale?

O c'è qualche altra distribuzione che è più appropriata da usare in combinazione con la distribuzione gamma-poisson?

Il gamma-poisson è anche noto come distribuzione binomiale negativa o NBD.

— zbicyclist
fonte

Risposte:

Questo è un problema piuttosto semplice. Sebbene ci sia una connessione tra le distribuzioni binomiali di Poisson e Negative, in realtà penso che ciò non sia utile per la tua domanda specifica in quanto incoraggia le persone a pensare a processi binomiali negativi. Fondamentalmente, hai una serie di processi Poisson:

Y_{io} (t_{io}) | λ_{io} ~ P o io S S o n (λ_{io} t_{io})

$Y_i(t_i)|\lambda_i\sim Poisson(\lambda_i t_i)$

Dove è il processo e è il tempo si osserva, e denota gli individui. E stai dicendo che questi processi sono "simili" legando insieme i tassi con una distribuzione: $Y_i$ $t_i$ $i$

λ_{io} ~ sol un' m m un' (α, β)

$\lambda_i\sim Gamma(\alpha,\beta)$

Nel fare l'integrazione / mxixing su , hai: $\lambda_i$

Y_{io} (t_{io}) | α β ~ N e g B io n (α, p_{io}) w h e r e p_{io} = \frac{t_{io}}{t_{io} + β}

$Y_i(t_i)|\alpha\beta\sim NegBin(\alpha,p_i)\;\;\; where \;\;p_i=\frac{t_i}{t_i+\beta}$

Questo ha un pmf di:

P r (Y_{io} (t_{io}) = y_{io} | α β) = \frac{Γ (α + y_{io})}{Γ (α) y_{io}!} p_{io}^{y_{io}} (1 - p_{io})^{α}

$Pr(Y_i(t_i)=y_i|\alpha\beta) = \frac{\Gamma(\alpha+y_i)}{\Gamma(\alpha)y_i!}p_i^{y_i}(1-p_i)^\alpha$

Per ottenere la distribuzione dei tempi di attesa notiamo che:

P r (T_{io} \leq t_{io} | α β) = 1 - P r (T_{io} > t_{io} | α β) = 1 - P r (Y_{io} (t_{io}) = 0 | α β)

$Pr(T_i\leq t_i|\alpha\beta)=1-Pr(T_i> t_i|\alpha\beta)=1-Pr(Y_i(t_i)=0|\alpha\beta)$

= 1 - (1 - p_{io})^{α} = 1 - {(1 + \frac{t_{io}}{β})}^{- α}

$=1-(1-p_i)^\alpha=1-\left(1+\frac{t_i}{\beta}\right)^{-\alpha}$

Differenzia questo e hai il PDF:

p_{T_{i}} (t_{i} | α β) = \frac{α}{β} {(1 + \frac{t_{i}}{β})}^{- (α + 1)}

$p_{T_i}(t_i|\alpha\beta)=\frac{\alpha}{\beta}\left(1+\frac{t_i}{\beta}\right)^{-(\alpha+1)}$

Questo è un membro delle distribuzioni generalizzate di Pareto, tipo II. Lo userei come distribuzione dei tempi di attesa.

Per vedere la connessione con la distribuzione di Poisson, nota che , quindi se impostiamo $\frac{\alpha}{\beta}=E(\lambda_i|\alpha\beta)$ e quindi prendiamo il limiteotteniamo: $\beta=\frac{\alpha}{\lambda}$ $\alpha\to\infty$

lim_{α \to \infty} \frac{α}{β} {(1 + \frac{t_{i}}{β})}^{- (α + 1)} = lim_{α \to \infty} λ {(1 + \frac{λ t_{i}}{α})}^{- (α + 1)} = λ \exp (- λ t_{i})

$\lim_{\alpha\to\infty}\frac{\alpha}{\beta}\left(1+\frac{t_i}{\beta}\right)^{-(\alpha+1)}=\lim_{\alpha\to\infty}\lambda\left(1+\frac{\lambda t_i}{\alpha}\right)^{-(\alpha+1)}=\lambda\exp(-\lambda t_i)$

$\frac{1}{\alpha}$

— probabilityislogic
fonte

You can also note that the waiting time distribution is, roughly speaking, an exponential distribution with a Gamma random rate parameter and strictly speaking this is a Beta distribution of the second kind, as for any Gamma distribution with a Gamma random rate parameter.

— Stéphane Laurent

Using @probabilityislogic as a basis, I found the following article providing more detail on the relationship between NBD and Pareto: Gupta, Sunil and Donald G. Morrison. Estimating Heterogeneith in Consumers' Purchase Rates. Marketing Science, 1991, 10(3), 264-269. Thanks to all who helped me answer this question.

— zbicyclist

+1, suppongo che questa bella forma analitica potrebbe non esistere più per

P o i s s o n (λ_{i} t_{i} + c)

$Poisson(\lambda_i t_i + c)$ , dove

c

$c$ è una costante.

— Randel,

@randel - potresti ottenere un modulo "bello" notando che questo camper è la somma di due camper indipendenti ...

Z_{i} = Y_{i} + X_{i}

$Z_i=Y_i+X_i$ dove

Y_{i}

$Y_i$ è lo stesso di sopra e

X_{i} \sim p o i s s o n (c)

$X_i\sim poisson (c)$ . Come

X_{i}

$X_i$ non dipende da

λ_{i}

$\lambda_i$ o

Y_{i}

$Y_i$ il pdf di

Z_{i}

$Z_i$ è la convoluzione del pdf binomiale negativo sopra e un pdf di poisson. Per ottenere la distribuzione del tempo di attesa basta moltiplicare

P r (Y_{i} = 0)

$Pr(Y_i=0)$ nella risposta sopra di

P r (X_{i} = 0) = e^{- c}

$Pr(X_i=0)=e^{-c}$ . You then get waiting time cdf of

1 - e^{- c} {(1 + \frac{t_{i}}{β})}^{- α}

$1-e^{-c}\left(1+\frac{t_i}{\beta}\right)^{-\alpha}$ and pdf of

e^{- c} \frac{α}{β} {(1 + \frac{t_{i}}{β})}^{- (α + 1)}

$e^{-c}\frac {\alpha}{\beta}\left(1+\frac{t_i}{\beta}\right)^{-(\alpha+1)}$ .

— probabilityislogic

Questo non funzionerà in termini di distribuzione del missaggio, perché è necessario

λ_{i} < c t_{i}^{- 1}

$\lambda_i <ct_i^{-1}$ (altrimenti la media di Poisson è negativa). La distribuzione del mixaggio gamma avrebbe bisogno di essere troncata (ho anche pensato che

c > 0

$c>0$ nella mia risposta precedente). Ciò significherebbe nessuna distribuzione nb.

— probabilityislogic

One possibility: Poisson is to Exponential as Negative-Binomial is to ... Exponential!

There is a pure-jump increasing Lévy process called the Negative Binomial Process such that at time $t$ the value has a negative binomial distribution. Unlike the Poisson process, the jumps are not almost surely $1$ . Instead, they follow a logarithmic distribution. By the law of total variance, some of the variance comes from the number of jumps (scaled by the average size of the jumps), and some of the variance comes from the sizes of the jumps, and you can use this to check that it is overdispersed.

There may be other useful descriptions. See "Framing the negative binomial distribution for DNA sequencing."

Let me be more explicit about how the Negative Binomial Process described above can be constructed.

Choose $p \lt 1$ .
Let $X_1, X_2, X_3, ...$ be IID with logarithmic distributions, so $P(x_i = k) = \frac{-1}{\log(1-p)} \frac{p^k}{k}.$
Let $N$ be a Poisson process with constant rate $-\log(1-p)$ , so $N(t) = \text{Pois}(-t \log(1-p)).$
Let $NBP$ be the process so that

N B P (t) = \sum_{i = 1}^{N (t)} X_{i} .

$NBP(t) = \sum_{i=1}^{N(t)} X_i.$

$NBP$ is a pure jump process with logarithmically distributed jumps. The gaps between jumps follow an exponential distribution with rate $-\log(1-p).$

I don't think it is obvious from this description that $NBP(t)$ has a negative binomial $NB(t,p)$ distribution, but there is a short proof using probability generating functions on Wikipedia, and Fisher also proved this when he introduced the logarithmic distribution to analyze the relative frequencies of species.

— Douglas Zare
fonte

No, any compound Poisson process has an exponential waiting time. This means you add

Pois (λ t)

$\text{Pois}(\lambda t)$ IID random variables with some distribution.

— Douglas Zare,

No, questo non è ciò che si intende per processo composto di Poisson. en.wikipedia.org/wiki/Compound_Poisson_process "I salti arrivano in modo casuale secondo un processo di Poisson e anche la dimensione dei salti è casuale, con una distribuzione di probabilità specificata." Non ho detto variabili IID Poisson. Prendi il

N

$N$ la somma parziale delle variabili casuali logaritmiche IID dove

N

$N$ è il valore di un processo di Poisson.

— Douglas Zare,

Se moltiplichi un processo di Poisson per

2

$2$ , questo non è un processo di Poisson e i tempi di attesa rimangono esponenziali.

— Douglas Zare,

dobbiamo continuare questa discussione in videochat

— Douglas Zare

Non sono ancora in grado di commentare, quindi mi scuso se non è una soluzione definitiva.

Stai chiedendo la distribuzione appropriata da utilizzare con un NB ma appropriato non è del tutto definito. Se una distribuzione appropriata significa appropriata per spiegare i dati e stai iniziando con un Poisson sovradisperso, potresti dover esaminare ulteriormente la causa dell'iperdispersione. Il NB non distingue tra un Poisson con mezzi eterogenei o una dipendenza di occorrenza positiva (che un evento che si verifica aumenta la probabilità che si verifichi un altro). Nel tempo continuo esiste anche una dipendenza dalla durata, ad esempio una dipendenza positiva dalla durata significa che il passare del tempo aumenta la probabilità di un evento. È stato anche dimostrato che la dipendenza negativa dalla durata provoca asintoticamente un Poisson sovradisperso [1] . Ciò si aggiunge all'elenco di quello che potrebbe essere il modello di tempo di attesa appropriato.

— Meadowlark Bradsher
fonte

causa dell'overdispersione: si tratta dei dati di acquisto dei consumatori. I singoli consumatori sono in difficoltà, ognuno con un tasso di acquisto lambda. Ma non tutti i consumatori hanno la stessa lambda - questa è la causa della sovradispersione. Le tariffe di acquisto lambda sono considerate distribuite come gamma. Questo è un modello comune (risale a ASC Ehrenberg), ma non ho trovato nulla nei suoi scritti che risponda a questa domanda.

— zbicyclist,