Come capire che MLE of Variance è distorto in una distribuzione gaussiana?

Sto leggendo PRML e non capisco l'immagine. Potresti dare qualche suggerimento per capire il quadro e perché l'MLE della varianza in una distribuzione gaussiana è distorta?

formula 1.55: formula 1.56

$$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$$ $$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$$

Intuizione

La tendenza è "proveniente da" (per niente un termine tecnico) il fatto che è distorto per . La domanda naturale è: "beh, qual è l'intuizione del perché è distorto per "? L'intuizione è che in una media campionaria non quadrata, a volte ci manca il vero valore sopravvalutando e talvolta sottostimando. Ma, senza quadrare, la tendenza a sopravvalutare e sottostimare si annullerà a vicenda. Tuttavia, quando quadriamo la tendenza a sottovalutare (manca il vero valore di$E[\bar{x}^2]$$\mu^2$$E[\bar{x}^2]$$\mu^2$$\mu$$\bar{x}$$\mu$da un numero negativo) diventa anche quadrato e diventa quindi positivo. Pertanto, non si cancella più e c'è una leggera tendenza a sopravvalutare.

Se l'intuizione dietro perché è distorta per è ancora chiara, prova a capire l'intuizione dietro la disuguaglianza di Jensen (una buona spiegazione intuitiva qui ) e applicala a .$x^2$$\mu^2$$E[x^2]$

Dimostriamo che l'MLE della varianza per un campione iid è distorto. Quindi verificheremo analiticamente la nostra intuizione.

Prova

Lascia che .$\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

Vogliamo mostrare .$E[\hat{\sigma}^2] \neq \sigma^2$

$$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$$

Usando il fatto che e ,$\sum_{n = 1}^N x_n = N\bar{x}$$\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

$$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$$

Con l'ultimo passaggio che segue, dato che è uguale su causa della stessa distribuzione.$E[x_n^2]$$n$

Ora, ricorda la definizione di varianza che dice . Da qui, otteniamo quanto segue$\sigma^2_x = E[x^2] - E[x]^2$

$$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$$

Si noti che abbiamo eliminato adeguatamente la costante quando la estraiamo da . Presta particolare attenzione a questo!$\frac{1}{N}$$Var()$

$$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$$

che ovviamente non è uguale a .$\sigma_x^2$

Verifica analiticamente la nostra intuizione

Possiamo in qualche modo verificare l'intuizione assumendo di conoscere il valore di e collegandolo alla dimostrazione di cui sopra. Dato che ora conosciamo , non abbiamo più la necessità di stimare e quindi non lo sopravvalutiamo mai con . Vediamo che questo "rimuove" il bias in .$\mu$$\mu$$\mu^2$$E[\bar{x}^2]$$\hat{\sigma}^2$

Lascia che .$\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

Dalla prova precedente, prendiamo da sostituendo con il valore reale .ˉ x$E[x_n^2] - E[\bar{x}^2]$$\bar{x}$$\mu$

$$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$$

che è imparziale!