Un problema di stima impossibile?

Domanda

La varianza di una distribuzione binomiale negativa (NB) è sempre maggiore della sua media. Quando la media di un campione è maggiore della sua varianza, il tentativo di adattare i parametri di un NB con la massima probabilità o con la stima del momento fallirà (non esiste una soluzione con parametri finiti).

Tuttavia, è possibile che un campione prelevato da una distribuzione NB abbia una media maggiore della varianza. Ecco un esempio riproducibile in R.

set.seed(167)
x = rnbinom(100, size=3.2, prob=.8);
mean(x) # 0.82
var(x) # 0.8157576

Esiste una probabilità diversa da zero che l'NB produrrà un campione per il quale i parametri non possono essere stimati (con la massima probabilità e metodi del momento).

È possibile fornire stime decenti per questo campione?
Cosa dice la teoria della stima quando gli stimatori non sono definiti per tutti i campioni?

A proposito della risposta

Le risposte di @MarkRobinson e @Yves mi hanno fatto capire che la parametrizzazione è il problema principale. La densità di probabilità di NB è di solito scritta come

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} (1 - p)^{r} p^{k}

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!}(1-p)^rp^k$ o come

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} {(\frac{r}{r + m})}^{r} {(\frac{m}{r + m})}^{k} .

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!} \left(\frac{r}{r+m}\right)^r \left(\frac{m}{r+m}\right)^k.$

Sotto la prima parametrizzazione, la stima della massima verosimiglianza è ogni volta che la varianza del campione è inferiore alla media, quindi non si può dire nulla di utile su . Sotto il secondo, è , quindi possiamo dare una stima ragionevole di . Infine, @MarkRobinson mostra che possiamo risolvere il problema di valori infiniti usando invece di . $(\infty, 0)$ $p$ $(\infty, \bar{x})$ $m$ $\frac{r}{1+r}$ $r$

In conclusione, non c'è nulla di fondamentalmente sbagliato in questo problema di stima, tranne per il fatto che non si possono sempre dare interpretazioni significative di e per ogni campione. Per essere onesti, le idee sono presenti in entrambe le risposte. Ho scelto quello di @MarkRobinson come quello corretto per i complementi che offre. $r$ $p$

estimation maximum-likelihood negative-binomial

— gui11aume
fonte

Non è corretto affermare che in questo caso la massima probabilità fallisce. Solo i metodi del momento possono incontrare difficoltà.

— Xi'an,

@ Xi'an Puoi espandermi? La probabilità di questo campione non ha un massimo nel dominio

(vedere anchequestoad esempio). Mi sto perdendo qualcosa? In ogni caso, se puoi fornire le stime ML dei parametri per questo caso, aggiornerò la domanda.

(0, \infty) \times (0, 1)

$(0,\infty) \times (0,1)$

— gui11aume,

La probabilità può avere il massimo a distanza infinita per

. Un problema simile ma con una diagnostica più semplice riguarda la distribuzione di Lomax : è noto che la stima ML della forma è infinita quando il campione ha un coefficiente di variazione

. Tuttavia la probabilità di questo evento è positiva per qualsiasi dimensione del campione ed è abbastanza forte per, diciamo

, e

p \to 0

$p \to 0$

r \to \infty

$r \to \infty$

CV < 1

$\text{CV} < 1$

α = 20

$\alpha = 20$

n = 200

$n = 200$ .

— Yves,

@Yves Grazie per questo altro esempio (di cui non ero a conoscenza). Cosa fanno le persone in questo caso?

— gui11aume,

Nell'esempio di Lomax, alcune persone sceglierebbero di usare la distribuzione esponenziale, che è il limite per

. Questo si riduce ad accettare una stima ML infinita. Per motivi di invarianza mediante parametrizzazione, credo che in alcuni casi possano avere senso infiniti parametri. Per il tuo esempio NB, lo stesso accade se scegliamo di usare la distribuzione di Poisson risultante da

α \to \infty

$\alpha \to \infty$

λ / α \to θ > 0

$\lambda / \alpha \to \theta >0$

r p / (1 - p) \to λ

$rp/(1-p) \to \lambda$ .

— Yves,

Risposte:

Fondamentalmente, per il tuo campione, la stima del parametro size è sul limite dello spazio dei parametri. Si potrebbe anche considerare una reparameterizzazione come d = size / (size + 1); quando size = 0, d = 0, quando size tende all'infinito, d si avvicina a 1. Si scopre che, per le impostazioni dei parametri fornite, le stime delle dimensioni dell'infinito (d vicino a 1) avvengono circa il 13% delle volte per Stime di verosimiglianza del profilo rettificato (APL) di Cox-Reid, che è un'alternativa alle stime MLE per NB (esempio mostrato qui) . Le stime del parametro medio (o 'prob') sembrano essere ok (vedi figura, le linee blu sono i valori reali, il punto rosso è la stima per il tuo seme = 167 campioni). Maggiori dettagli sulla teoria APL sono qui .

Quindi, direi 1 .: Si possono avere stime di parametri decenti .. size = infinity o dispersion = 0 è una stima ragionevole dato il campione. Considerare uno spazio di parametri diverso e le stime saranno limitate.

— Mark Robinson
fonte

Grazie per esserti unito al sito per rispondere alla mia domanda! I dettagli della probabilità del profilo modificato da Cox-Reid sembrano molto promettenti.

— gui11aume,

$p \to 0$ $r \to \infty$ $\Theta := (0,\,1)\times(0,\,\infty)$ $\lambda >0$ $[p,\,r] \in \Theta$ $p \to 0$ $r \to \infty$ $rp/(1-p) \to \lambda$

$\text{CV} < 1$ $>0.3$ $\alpha = 20$ $n = 200$

Le proprietà ML sono per una grande dimensione del campione: in condizioni di regolarità, è dimostrato che esiste una stima ML, che è unica e tende al vero parametro. Tuttavia, per una data dimensione del campione finita, la stima ML può non esistere nel dominio, ad es. Perché il limite viene raggiunto al limite. Può anche esistere in un dominio che è più grande di quello utilizzato per la massimizzazione.

$\alpha \to \infty$ $\lambda / \alpha \to \theta >0$ $\text{GPD}(\sigma,\,\xi)$ $\xi >0$ $\widehat{\xi} < 0$ $\widehat{\xi} = 0$

Per motivi di invarianza mediante la parametrizzazione, credo che in alcuni casi possano avere senso infiniti parametri.

— Yves
fonte