Il MLE di asintoticamente normale quando ?

Supponiamo che abbia il pdf $(X,Y)$

f_{θ} (x, y) = e^{- (x / θ + θ y)} 1_{x > 0, y > 0}, θ > 0

$f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0$

La densità del campione è quindi ricavata da questa popolazione $(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}$

\begin{aligned} g_{θ} (X, y) & = Π_{io = 1}^{n} f_{θ} (X_{io}, y_{io}) \\ = \exp [- Σ_{io = 1}^{n} (\frac{X_{io}}{θ} + θ y_{io})] 1_{X_{1}, ..., X_{n}, y_{1}, ..., y_{n} > 0} \\ = \exp [- \frac{n \bar{X}}{θ} - θ n \bar{y}] 1_{X_{(1)}, y_{(1)} > 0}, θ > 0 \end{aligned}

$\begin{align} g_{\theta}(\mathbf x,\mathbf y)&=\prod_{i=1}^n f_{\theta}(x_i,y_i) \\&=\exp\left[{-\sum_{i=1}^n\left(\frac{x_i}{\theta}+\theta y_i\right)}\right]\mathbf1_{x_1,\ldots,x_n,y_1,\ldots,y_n>0} \\&=\exp\left[-\frac{n\bar x}{\theta}-\theta n\bar y\right]\mathbf1_{x_{(1)},y_{(1)}>0}\quad,\,\theta>0 \end{align}$

Lo stimatore della massima probabilità di può essere derivato come $\theta$

\hat{θ} (X, Y) = \sqrt{\frac{\bar{X}}{\bar{Y}}}

$\hat\theta(\mathbf X,\mathbf Y)=\sqrt\frac{\overline X}{\overline Y}$

Vorrei sapere se la distribuzione limitante di questo MLE è normale o no.

È chiaro che una statistica sufficiente per basata sul campione è . $\theta$ $(\overline X,\overline Y)$

Ora avrei detto che l'MLE è asintoticamente normale senza dubbio se fosse un membro della normale famiglia esponenziale a un parametro. Non penso che sia così, in parte perché abbiamo una statistica bidimensionale sufficiente per un parametro unidimensionale (come nella distribuzione , per esempio). $N(\theta,\theta^2)$

Usando il fatto che e sono in realtà variabili esponenziali indipendenti, posso mostrare che l'esatta distribuzione di è tale che $X$ $Y$ $\hat\theta$

\frac{\hat{θ}}{θ} \overset{d}{=} \sqrt{F}, dove F ~ F_{2 n, 2 n}

$\frac{\hat\theta}{\theta}\stackrel{d}{=} \sqrt F\quad,\text{ where }F\sim F_{2n,2n}$

Non posso assolutamente procedere per trovare la distribuzione limitante da qui.

Invece posso sostenere da WLLN che e , in modo che . $\overline X\stackrel{P}\longrightarrow\theta$ $\overline Y\stackrel{P}\longrightarrow 1/\theta$ $\hat\theta\stackrel{P}\longrightarrow\theta$

Questo mi dice che converge nella distribuzione a . Ma ciò non sorprende, dal momento che è uno stimatore "buono" di . E questo risultato non è abbastanza forte per concludere se qualcosa come sia asintoticamente normale o meno. Neanche io potrei trovare un argomento ragionevole usando il CLT. $\hat\theta$ $\theta$ $\hat\theta$ $\theta$ $\sqrt n(\hat\theta-\theta)$

Rimane quindi da chiedersi se la distribuzione genitore qui soddisfi le condizioni di regolarità affinché la distribuzione limitante di MLE sia normale.

— StubbornAtom
fonte

Empiricamente sembra essere molto vicino alla normalità. Potresti trovare più facile impostare su (è solo un fattore di ridimensionamento) e quindi considerare se la distribuzione della radice quadrata del rapporto tra medie campionarie di variabili casuali esponenziali è asintoticamente normale. Usando il metodo delta, questo corrisponde alla distribuzione del rapporto tra medie campionarie di variabili casuali esponenziali iid asintoticamente normali. E ciò corrisponde alla distribuzione asintoticamente normale del rapporto tra due variabili iid gamma casuali all'aumentare del parametro di forma.

θ

$\theta$

1

$1$

— Henry,

La normalità asintotica degli MLE non ha nulla a che fare con le famiglie esponenziali. Intuitivamente, per mantenere la normalità asintotica, è sufficiente assicurarsi che non vi siano possibilità che la soluzione sia vicina al limite dello spazio dei parametri.

— whuber

@whuber Per quanto ne so, i pdf appartenenti alla famiglia esponenziale canonica hanno quasi sempre MLE asintoticamente normali (non che ciò sia dovuto alla famiglia exp). Questa è la connessione che stavo cercando di sottolineare.

— Testardo:

Esatto: ma la connessione è a senso unico. I risultati asintotici per MLE sono molto più generali e quindi stavo cercando di suggerire che guardare in quella direzione generale, piuttosto che concentrarsi sulle proprietà delle famiglie esponenziali, potrebbe essere un'indagine più fruttuosa.

— whuber

Una prova utilizzando CLT multivariata e il metodo delta è anche possibile, come si fa qui .

— TestardoAtom

Una prova diretta per la normalità asintotica:

La probabilità di log qui è

L = - \frac{n \bar{X}}{θ} - θ n \bar{y}

$L = -\frac {n \bar x}{\theta} - \theta n \bar y$

Il primo e il secondo derivato sono

\frac{\partial L}{\partial θ} = \frac{n \bar{X}}{θ^{2}} - n \bar{y}, \frac{\partial^{2} L}{\partial θ^{2}} = - \frac{2 n \bar{X}}{θ^{3}}

$\frac {\partial L}{\partial \theta } = \frac {n \bar x}{\theta^2} - n\bar y,\;\;\;\frac {\partial^2 L}{\partial \theta^2 } = -\frac {2n \bar x}{\theta^3}$

L'MLE soddisfa $\hat \theta_n$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta }=0$

Applicando un'espansione del valore medio attorno al valore vero abbiamo $\theta_0$

\frac{\partial L ({\hat{θ}}_{n})}{\partial θ} = \frac{\partial L (θ_{0})}{\partial θ} + \frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}} ({\hat{θ}}_{n} - θ_{0}) = 0

$\frac {\partial L(\hat \theta_n)}{\partial \theta } = \frac {\partial L(\theta_0)}{\partial \theta } + \frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }(\hat \theta_n - \theta_0) =0$

per alcuni tra e . Riordinando abbiamo, $\tilde \theta_n$ $\hat \theta_n$ $\theta_0$

({\hat{θ}}_{n} - θ_{0}) = - {(\frac{\partial^{2} L ({\tilde{θ}}_{n})}{\partial θ^{2}})}^{- 1} \frac{\partial L (θ_{0})}{\partial θ}

$(\hat \theta_n - \theta_0) = -\left(\frac {\partial^2 L(\tilde \theta_n)}{\partial \theta^2 }\right)^{-1}\frac {\partial L(\theta_0)}{\partial \theta }$

Ma nel nostro caso a parametro singolo, l'inverso è solo il reciproco, quindi, inserendo anche le espressioni specifiche dei derivati,

({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 n \bar{X}} (\frac{n \bar{X}}{θ_{0}^{2}} - n \bar{y})

$(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2n\bar x}\left(\frac {n \bar x}{\theta^2_0} - n\bar y\right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{X} θ_{0}^{2}} \sqrt{n} \cdot (\bar{X} - θ_{0}^{2} \bar{y})

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\sqrt{n}\cdot\left(\bar x - \theta_0^2\bar y \right)$

⟹ \sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = \frac{{\tilde{θ}}_{n}^{3}}{2 \bar{X} θ_{0}^{2}} \cdot (n^{- 1 / 2} Σ_{io = 1}^{n} (X_{io} - θ_{0}^{2} y_{io}))

$\implies \sqrt{n}(\hat \theta_n - \theta_0) = \frac {\tilde \theta^3_n}{2\bar x \theta_0^2}\cdot\left (n^{-1/2}\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right)$

La varianza della somma è

Var (Σ_{io = 1}^{n} (X_{io} - θ_{0}^{2} y_{io})) = 2 n θ_{0}^{2}

$\text{Var}\left(\sum_{i=1}^n(x_i-\theta_0^2 y_i)\right) = 2n\theta_0^2$

Manipolando l'espressione che possiamo scrivere, usando per la somma degli elementi iid, $S_n$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{X} θ_{0}}) \cdot \frac{Σ_{io = 1}^{n} (X_{io} - θ_{0}^{2} y_{io})}{\sqrt{n} \sqrt{2} θ_{0}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {\sum_{i=1}^n(x_i-\theta_0^2 y_i)}{\sqrt{n}\sqrt{2}\theta_0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) = (\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{X} θ_{0}}) \cdot \frac{S_{n}}{\sqrt{Var (S_{n})}}

$\sqrt{n}(\hat \theta_n - \theta_0) = \left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right)\cdot\frac {S_n}{\sqrt{\text{Var}(S_n)}}$

, abbiamo , quindi . Quindi abbiamo l'argomento di un CLT classico e si può verificare che la condizione di Lindeberg sia soddisfatta. Ne consegue che $E(x_i-\theta_0^2 y_i) = 0$ $E(S_n)=0$

\frac{S_{n}}{\sqrt{Var (S_{n})}} \to_{d} N (0, 1)

$\frac {S_n}{\sqrt{\text{Var}(S_n)}} \to_d N(0,1)$

A causa della coerenza dello stimatore, abbiamo anche

(\frac{{\tilde{θ}}_{n}^{3}}{\sqrt{2} \bar{X} θ_{0}}) \to_{p} \frac{θ_{0}}{\sqrt{2}}

$\left(\frac {\tilde \theta^3_n}{\sqrt{2}\bar x \theta_0}\right) \to_p \frac{\theta_0}{\sqrt{2}}$

e dal teorema di Slutsky arriviamo a

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \to_{d} N (0, θ_{0}^{2} / 2)

$\sqrt{n}(\hat \theta_n - \theta_0) \to_d N (0, \theta_0^2/2)$

Bello. Raddoppia l'informazione, metà della varianza (rispetto al caso in cui sulla base di un campione da una singola variabile casuale). $\theta_0$

PS: Il fatto che nelle espressioni sopra riportate appaia nel denominatore, indica il commento di @ whuber che la normalità asintotica di MLE ha bisogno che il parametro sconosciuto sia lontano dal limite dello spazio dei parametri (nel nostro caso, lontano da zero). $\theta_0$

— Alecos Papadopoulos
fonte

Scusa per il ritardo della risposta. Per tutto questo tempo ho riflettuto se questa è una famiglia esponenziale curva e quindi l'MLE potrebbe comportarsi diversamente.

— Testardo:

@StubbornAtom La normalità asintotica si perde sicuramente quando il parametro sotto valutazione è al limite del parametro (un risultato abbastanza intuitivo se ci pensate).

— Alecos Papadopoulos,