Famiglia esponenziale: statistiche sufficienti osservate vs. attese

La mia domanda sorge dalla lettura di "Stimare una distribuzione di Dirichlet" di Minka , che afferma quanto segue senza prove nel contesto della derivazione di uno stimatore della massima verosimiglianza per una distribuzione di Dirichlet basata su osservazioni di vettori casuali:

Come sempre con la famiglia esponenziale, quando il gradiente è zero, le statistiche sufficienti attese sono uguali alle statistiche sufficienti osservate.

Non ho visto la stima della massima verosimiglianza nella famiglia esponenziale presentata in questo modo, né ho trovato spiegazioni adeguate nella mia ricerca. Qualcuno può offrire informazioni sulla relazione tra statistiche sufficienti osservate e attese e forse aiutare a capire la stima della massima verosimiglianza come minimizzare la loro differenza?

— Ben Bray
fonte

Questa è una solita affermazione sulla famiglia esponenziale, ma a mio avviso, la maggior parte delle volte è dichiarata in un modo che può confondere il lettore meno esperto. Perché, preso al valore nominale, potrebbe essere interpretato come "se la nostra variabile casuale segue una distribuzione nella famiglia esponenziale, quindi se prendiamo un campione e lo inseriamo nella statistica sufficiente, otterremo il vero valore atteso della statistica ". Se solo fosse così ... Inoltre non tiene conto delle dimensioni del campione, il che può causare ulteriore confusione.

La funzione di densità esponenziale è

\begin{matrix} (1) & f_{X} (x) = h (x) e^{η (θ) T (x)} e^{- A (θ)} \end{matrix}

$f_X(x) = h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)} \tag{1}$

dove è la statistica sufficiente. $T(x)$

Poiché questa è una densità, deve integrarsi nell'unità, quindi ( è il supporto di ) $S_x$ $X$

\begin{matrix} (2) & \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = 1 \end{matrix}

$\int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =1 \tag{2}$

Eq. vale per tutti modo da poter differenziare entrambe le parti rispetto ad esso: $(2)$ $\theta$

\begin{matrix} (3) & \frac{\partial}{\partial θ} \int_{S_{x}} h (x) e^{η (θ) T (x)} e^{- A (θ)} d x = \frac{\partial (1)}{\partial θ} = 0 \end{matrix}

$\frac {\partial}{\partial \theta} \int_{S_x} h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}dx =\frac {\partial (1)}{\partial \theta} =0 \tag{3}$

Intercambiando l'ordine di differenziazione e integrazione, otteniamo

\begin{matrix} (4) & \int_{S_{x}} \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) d x = 0 \end{matrix}

$\int_{S_x} \frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right)dx =0 \tag{4}$

Effettuare la differenziazione che abbiamo

\begin{matrix} (5) & \frac{\partial}{\partial θ} (h (x) e^{η (θ) T (x)} e^{- A (θ)}) = f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] \end{matrix}

$\frac {\partial}{\partial \theta} \left(h(x)e^{\eta(\theta) T(x)}e^{-A(\theta)}\right) = f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big] \tag{5}$

$(5)$ $(4)$

\int_{S_{x}} f_{X} (x) [T (x) η^{'} (θ) - A^{'} (θ)] d x = 0

$\int_{S_x} f_X(x)\big[T(x)\eta'(\theta) - A'(\theta)\big]dx =0$

\begin{matrix} (6) & \Rightarrow η^{'} (θ) E [T (X)] - A^{'} (θ) = 0 \Rightarrow E [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} \end{matrix}

$\Rightarrow \eta'(\theta)E[T(X)] - A'(\theta) = 0 \Rightarrow E[T(X)] = \frac {A'(\theta)}{\eta'(\theta)} \tag{6}$

$(6)$ $\theta$ $\theta$ $T(X)$ $\theta_0$ $(6)$

\begin{matrix} (6a) & E_{θ_{0}} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = θ_{0}} \end{matrix}

$E_{\theta_0}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\theta_0} \tag{6a}$

$n$

L (θ ∣ x) = \sum_{i = 1}^{n} \ln h (x_{i}) + η (θ) \sum_{i = 1}^{n} T (x_{i}) - n A (θ)

$L(\theta \mid \mathbf x) = \sum_{i=1}^n\ln h(x_i) +\eta(\theta)\sum_{i=1}^nT(x_i) -nA(\theta)$

$\theta$ $0$

\begin{matrix} (7) & \hat{θ} (x) : \frac{1}{n} \sum_{i = 1}^{n} T (x_{i}) = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$\hat \theta(x) : \frac 1n\sum_{i=1}^nT(x_i) = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat \theta(x)} \tag {7}$

$(7)$ $(6a)$ $2$ $\theta$ $\hat \theta$ $3,4,5,6$ $\hat \theta$ $6a$ $\hat \theta$

\begin{matrix} (6b) & E_{\hat{θ} (x)} [T (X)] = \frac{A^{'} (θ)}{η^{'} (θ)} |_{θ = \hat{θ} (x)} \end{matrix}

$E_{\hat\theta(x)}[T(X)] = \frac {A'(\theta)}{\eta'(\theta)}\Big |_{\theta =\hat\theta(x)} \tag{6b}$

$(7)$

E_{\hat{θ} (x)} [T (X)] = \frac{1}{n} \sum_{i = 1}^{n} T (x_{i})

$E_{\hat\theta(x)}[T(X)] = \frac 1n\sum_{i=1}^nT(x_i)$

$\hat \theta(x)$ $\theta$ $\mathbf x$

$n=1$

— Alecos Papadopoulos
fonte

Potresti approfondire ulteriormente il motivo per cui la transizione da 6a a 6b è valida, per favore?

— Teoden,

(2)

$(2)$

(3)

$(3)$

(2)

$(2)$

θ

$\theta$

\hat{θ}

$\hat \theta$

3, 4, 5, 6

$3,4,5,6$

\hat{θ}

$\hat \theta$

@AlecosPapadopoulos la tua prova di seguito sembra suggerire che cosa dici all'inizio - "se la nostra variabile casuale segue una distribuzione nella famiglia esponenziale, quindi se prendiamo un campione e lo inseriamo nella statistica sufficiente, otterremo il vero valore atteso della statistica "è vero. Voglio dire, posso sempre farlo per (2), sostituendolo con stat sufficiente osservato e ottenere il risultato. Cosa mi sto perdendo qui? Non capisco bene.

— user10024395

6 a

$6a$

θ

$\theta$

6 b

$6b$

Potresti spiegare perché possiamo scambiare l'ordine di differenziazione e integrazione in eq. (3) per favore?

— Markus777,