Cosa si intende per errore standard di una stima della massima verosimiglianza?

Sono un matematico che studia da solo le statistiche e in particolare con la lingua.

Nel libro che sto usando, c'è il seguente problema:

Una variabile casuale $X$ è data come $\text{Pareto}(\alpha,60)$ -distribuito con $\alpha>0$ . (Naturalmente, potresti prendere qualsiasi distribuzione a seconda di un parametro per il bene di questa domanda.) Quindi viene fornito un campione di cinque valori $14$ , $21$ , $6$ , $32$ , $2$ .

Prima parte: "Utilizzando il metodo della massima verosimiglianza, trovare una stima di in base [del campione]." Questo non è stato un problema. La risposta è . $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

Ma poi: "Dai un l'errore standard di ." $\hat{\alpha}$

Cosa si intende con questo? Dal momento che è solo un numero reale fisso, non vedo in che modo potrebbe avere un errore standard. Sto per determinare la deviazione standard di ? $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

Se ritieni che la domanda non sia chiara, anche questa informazione mi aiuterebbe.

maximum-likelihood

— Stefan
fonte

Cosa significa

60

$60$

— Alecos Papadopoulos,

Avete una formula per

? Ciò ti aiuterà a stimare il suo errore standard.

\hat{α}

$\hat \alpha$

— Soakley,

@Glen_b Ma se fosse il limite inferiore come potrebbe essere che tutti i valori del campione realizzato siano più piccoli?

— Alecos Papadopoulos,

@Alecos Questo è un punto eccellente. Il mio commento non ha senso; L'ho cancellato.

— Glen_b

@Alecos:

è la distribuzione con densità

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

— Stefan

Risposte:

L'altra risposta ha riguardato la derivazione dell'errore standard, voglio solo aiutarti con la notazione:

La tua confusione è dovuta al fatto che in Statistica utilizziamo esattamente lo stesso simbolo per indicare lo stimatore (che è una funzione) e una stima specifica (che è il valore che lo stimatore assume quando riceve come input uno specifico campione realizzato).

Quindi e $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ per . Quindi $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ è una funzione di variabili casuali e quindi una variabile casuale per sé, che di certo ha una varianza. $\hat \alpha(X)$

Nella stima ML, in molti casi ciò che possiamo calcolare è l' errore standard asintotico , perché la distribuzione del campione finito dello stimatore non è nota (non può essere derivata).

A rigor di $\hat \alpha$ non ha una distribuzione asintotica, dal momento che converge ad un numero reale (il vero numero in quasi tutti i casi di stima ML). Ma la quantità converge ad una variabile casuale normale (applicando il limite centrale teorema). $\sqrt n (\hat \alpha - \alpha)$

Un secondo punto di confusione notazione : la maggior parte, se non tutti i testi, scriverà ( "Avar" = varianza asintotica ") mentre ciò che significano è $\text {Avar}(\hat \alpha)$ , cioè si riferiscono alla varianza asintotica della quantità $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ , non di ... Per il caso di una distribuzione di Pareto base abbiamo $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{n} (\hat{α} - α)] = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

e così

Avar (\hat{α}) = α^{2} / n

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

(ma quello che troverete scritto è ) $\text {Avar}(\hat \alpha ) = \alpha^2$

Ora, in che senso la stima di ha una "varianza asintotica", dal momento che come detto, asintoticamente converge ad una costante? Bene, in senso approssimativo e per campioni grandi ma finiti . Vale a dire da qualche parte tra un "piccolo" campione, in cui lo stimatore è una variabile casuale con distribuzione (solitamente) sconosciuta, e un campione "infinito", in cui lo stimatore è una costante, c'è questo "territorio campione ampio ma finito" dove lo stimatore non è ancora diventato una costante e dove la sua distribuzione e varianza sono derivate in modo circolare, usando prima il Teorema del limite centrale per derivare la distribuzione propriamente asintotica della quantità $\hat \alpha$ (che è normale a causa del CLT), e poi girando le cose intorno e scrivere $Z = \sqrt n (\hat \alpha - \alpha)$ (tenendo uno indietro passo e trattamentocome finito) che mostracome funzione affine del normale variabile casuale $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$ , e così normalmente si distribuiti (sempre circa).

— Alecos Papadopoulos
fonte

+1 per distinguere tra

\hat{α}

$\hat{\alpha}$

- certamente la notazione può essere incoerente.

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

— Nate Pope,

- un rischio stimatore di massima - è una funzione di un campione casuale, e così è anche casuale (non fisso). Una stima dell'errore standard di potrebbe essere ottenuto dalle informazioni Fisher, $\hat{\alpha}$ $\hat{\alpha}$

I (θ) = - E [\frac{\partial^{2} L (θ | Y = y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

Dove è un parametro e è la funzione di verosimiglianza di condizionata dal campione casuale . Intuitivamente, le informazioni di Fisher indicano la ripidezza della curvatura della superficie di verosimiglianza attorno alla MLE, e quindi la quantità di "informazioni" che fornisce circa $\theta$ $\mathcal{L}(\theta|Y = y)$ $\theta$ $y$ $y$ $\theta$ .

Per una distribuzione con una singola realizzazione , la probabilità logaritmica in cui è noto: $\mathrm{Pareto}(\alpha,y_0)$ $Y = y$ $y_0$

Collegandosi alla definizione di informazioni di Fisher,

\begin{aligned} L (α | y, y_{0}) & = \log α + α \log y_{0} - (α + 1) \log y \\ L^{'} (α | y, y_{0}) & = \frac{1}{α} + \log y_{0} - \log y \\ L^{″} (α | y, y_{0}) & = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$

Per un campione

La massima verosimiglianza

è asintoticamente distribuito

I (α) = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$

\hat{α}

$\hat{\alpha}$

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) = N (α, \frac{α^{2}}{n}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$ Where

n

$n$ is the sample size. Because

α

$\alpha$ is unknown, we can plug in

\hat{α}

$\hat{\alpha}$ to obtain an estimate the standard error:

S E (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / n} \approx \sqrt{{4.6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

— Nate Pope
fonte

For your second to last line,

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$ , non sembra che la notazione sia corretta. Se

n \to \infty

$n \to \infty$ , poi

n

$n$ non può apparire sul lato destro. Invece, vuoi

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$

— user321627,