Stimatore di massima verosimiglianza - intervallo di confidenza

Come posso costruire un intervallo di confidenza asintotica per un parametro reale, a partire dalla MLE per quel parametro?

— Fabrizio
fonte

Un modo per affrontare questo problema è utilizzare il metodo delta: en.wikipedia.org/wiki/Delta_method

Ho notato che ci sono voti per chiudere questa domanda troppo ampia, ma non v'è un teorema generale sul comportamento asintotico di MLE che può essere affermato succintamente. Ho inserito una risposta concisa che espanderò un po 'più tardi.

— Scortchi - Ripristina Monica

Usa il fatto che per un campione iid di dimensione , date alcune condizioni di regolarità, il MLE è uno stimatore coerente del vero parametro , e la sua distribuzione asintoticamente normale, con varianza determinata dal reciproco del Informazioni Fisher: $n$ $\hat{\theta}$ $\theta_0$

\sqrt{n} (\hat{θ} - θ_{0}) \to N (0, \frac{1}{I_{1} (θ_{0})})

$\sqrt{n}\left(\hat{\theta}-\theta_0\right) \rightarrow \mathcal{N}\left(0,\frac{1}{\mathcal{I}_1(\theta_0)}\right)$ dove sono le informazioni di Fisher da un singolo campione. Le informazioni osservate al MLE tendono asintoticamente alle informazioni previste, quindi è possibile calcolare (diciamo il 95%) gli intervalli di confidenza con

I_{1} (θ_{0})

$\mathcal{I}_1(\theta_0)$

I (\hat{θ})

$I(\hat{\theta})$

\hat{θ} \pm \frac{1.96}{\sqrt{n I_{1} (\hat{θ})}}

$\hat{\theta} \pm \frac{1.96}{\sqrt{nI_1\left(\hat\theta\right)}}$

Ad esempio, se è una variabile di Poisson troncata a zero, è possibile ottenere una formula per le informazioni osservate in termini di MLE (che è necessario calcolare numericamente): $X$

f (x) = \frac{e^{- θ} θ^{x}}{x! (1 - e^{- θ})}

$\newcommand{\e}{\mathrm{e}}\newcommand{\d}{\operatorname{d}}f(x) = \frac{\e^{-\theta}\theta^x}{x!(1-e^{-\theta})}$

ℓ (θ) = - θ + x \log θ - \log (1 - e^{- θ})

$\ell(\theta)=-\theta+ x\log\theta -\log(1-\e^{-\theta})$

\frac{d ℓ (θ)}{d θ} = - 1 + \frac{x}{θ} - \frac{e^{- θ}}{1 - e^{- θ}}

$\frac{\d\ell(\theta)}{\d\theta} = -1 +\frac{x}{\theta} - \frac{\e^{-\theta}}{1-\e^{-\theta}}$

I_{1} (\hat{θ}) = - \frac{d^{2} ℓ (\hat{θ})}{{(d \hat{θ})}^{2}} = \frac{x}{\hat{θ}} - \frac{e^{- \hat{θ}}}{{(1 - e^{- \hat{θ}})}^{2}}

$I_1\left(\hat{\theta}\right)=-\frac{\d^2\ell\left(\hat\theta\right)}{\left(\d\hat\theta\right)^2} = \frac{x}{\hat\theta} - \frac{\e^{-\hat\theta}}{\left(1-\e^{-\hat{\theta}}\right)^2}$

Tra i casi notevoli esclusi dalle condizioni di regolarità vi sono quelli in cui

il parametro determina il supporto dei dati, ad esempio il campionamento da una distribuzione uniforme tra nulla e $\theta$ $\theta$
il numero di parametri fastidiosi aumenta con la dimensione del campione

— Scortchi - Ripristina Monica
fonte

Questo metodo si applica non modificato quando ci sono vincoli su , ad esempio ? Che dire di un MLE per parametri , tale che e ?

θ

$\theta$

θ \in [0, 1]

$\theta \in [0, 1]$

N

$N$

θ_{i}

$\theta_i$

i = 0, . . ., N - 1

$i=0,...,N-1$

\sum_{i = 0}^{N - 1} θ_{i} = 1

$\sum_{i=0}^{N-1} \theta_i = 1$

θ_{i} \in [0, 1]

$\theta_i \in [0,1]$

— quant_dev

If , ovvero il valore vero non è uguale a uno dei limiti.

θ \in (0, 1)

$\theta \in (0, 1)$

— Scortchi - Ripristina Monica

If e, non significherebbe che l'approssimazione normale non è applicabile e ho bisogno di più campioni?

θ \in (0, 1)

$\theta \in (0,1)$

σ (\hat{θ}) > | \hat{θ} |

$\sigma(\hat{\theta}) > |\hat{\theta}|$

— quant_dev

Sì, è solo un intervallo di confidenza asintotica.

— Scortchi - Ripristina Monica

@quant_dev: No: dovresti cercare una trasformazione dei parametri che ha reso decente l'approssimazione normale o utilizzare un altro metodo.

— Scortchi - Ripristina Monica