C'è un esempio in cui MLE produce una stima distorta della media?

17

Potete fornire un esempio di uno stimatore MLE della media distorta?

Non sto cercando un esempio che rompe gli stimatori MLE in generale violando le condizioni di regolarità.

Tutti gli esempi che posso vedere su Internet si riferiscono alla varianza e non riesco a trovare nulla di correlato alla media.

MODIFICARE

@MichaelHardy ha fornito un esempio in cui otteniamo una stima parziale della media della distribuzione uniforme usando MLE secondo un determinato modello proposto.

tuttavia

https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

suggerisce che MLE è uno stimatore imparziale minimo uniformemente uniforme della media, chiaramente secondo un altro modello proposto.

A questo punto non è ancora molto chiaro per me cosa si intende per stima MLE se si tratta di un modello molto ipotizzato dipendente invece di dire uno stimatore della media del campione che è neutro nel modello. Alla fine sono interessato a stimare qualcosa sulla popolazione e non mi interessa davvero la stima di un parametro di un modello ipotizzato.

MODIFICA 2

Come @ChristophHanck ha mostrato il modello con informazioni aggiuntive ha introdotto una distorsione, ma non è riuscito a ridurre l'MSE.

Abbiamo anche risultati aggiuntivi:

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (slide 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (diapositiva 5)

"Se esiste uno stimatore imparziale più efficiente ˆθ di θ (ovvero ˆθ è imparziale e la sua varianza è uguale al CRLB), il metodo di stima della massima verosimiglianza lo produrrà."

"Inoltre, se esiste uno stimatore efficiente, è lo stimatore ML."

Poiché l'MLE con parametri del modello libero è imparziale ed efficiente, per definizione è questo "lo" stimatore della massima verosimiglianza?

MODIFICA 3

@AlecosPapadopoulos ha un esempio con distribuzione Half Normal sul forum di matematica.

/math/799954/can-the-maximum-likelihood-estimator-be-unbiased-and-fail-to-achieve-cramer-rao

Non sta ancorando nessuno dei suoi parametri come nel caso uniforme. Direi che lo risolve, sebbene non abbia dimostrato la propensione dello stimatore medio.

maximum-likelihood mean bias

— Cagdas Ozgenc
fonte

10

La media di un'uniforme su zero e theta.

— Christoph Hanck,

1

Non posso seguire la tua distinzione tra "stimare qualcosa sulla popolazione" e "un parametro di un modello ipotizzato". In tutte le statistiche parametriche, parametrizziamo una popolazione in base ad alcuni parametri. Naturalmente, potremmo quindi incorrere in problemi di errata specificazione, ma ciò non sembra essere rilevante per il problema in questione.

— Christoph Hanck,

5

Ad esempio, una popolazione può essere caratterizzata dai suoi parametri / momenti, come la media e la varianza (che sarebbe sufficiente per una popolazione normale, per esempio). E: non penso che le persone siano più o meno pedanti con te che con chiunque altro su questo forum.

— Christoph Hanck il

2

Se ti senti insoddisfatto dell'apparente gioco di prestigio di passare tra "parametro" e "media", lasciami definire una certa distribuzione non negativa in termini di media

μ

$\mu$ , con densità

\frac{1}{2 μ}

$\frac{1}{2\mu}$ sul suo supporto di

[0, 2 μ]

$[0, 2\mu]$ ...

— Silverfish

1

Per quanto riguarda la modifica 2, molti di questi risultati sono derivati in condizioni di regolarità che non sono soddisfatte per l'esempio uniforme discusso in questo thread, per il quale lo spazio del campione dipende dal parametro.

— Christoph Hanck,

32

Christoph Hanck non ha pubblicato i dettagli del suo esempio proposto. Presumo che significhi la distribuzione uniforme sull'intervallo $[0,\theta],$ basato su un campione iid $X_1,\ldots,X_n$ di dimensione superiore a $n=1.$

La media è $\theta/2$ .

Il MLE della media è $\max\{X_1,\ldots,X_n\}/2.$

Questo è distorto poiché quindi $\Pr(\max < \theta) = 1,$ $\operatorname{E}({\max}/2)<\theta/2.$

PS: Forse dovremmo notare che il miglior stimatore imparziale della media non è la media del campione, ma è piuttostoLa media del campione è una pessima stima di perché per alcuni campioni, la media del campione è inferiore a ed è chiaramente impossibile per essere inferiore afine di PS $\theta/2$

\frac{n + 1}{2 n} \cdot max {X_{1}, \dots, X_{n}} .

$\frac{n+1} {2n} \cdot \max\{X_1,\ldots,X_n\}.$

θ / 2

$\theta/2$

\frac{1}{2} max {X_{1}, \dots, X_{n}},

$\dfrac 1 2 \max\{X_1,\ldots,X_n\},$

θ / 2

$\theta/2$

max / 2.

${\max}/2.$

Sospetto che la distribuzione di Pareto sia un altro caso del genere. Ecco la misura della probabilità: Il valore atteso èIl MLE del valore atteso è dove

α {(\frac{κ}{x})}^{α} \frac{d x}{x} for x > κ .

$\alpha\left( \frac \kappa x \right)^\alpha\ \frac{dx} x \text{ for } x >\kappa.$

\frac{α}{α - 1} κ .

$\dfrac \alpha {\alpha -1 } \kappa.$

\frac{n}{n - \sum_{i = 1}^{n} ((\log X_{i}) - \log (min))} \cdot min

$\frac n {n - \sum_{i=1}^n \big((\log X_i) - \log(\min)\big)} \cdot \min$

min = min {X_{1}, \dots, X_{n}} .

$\min = \min\{X_1,\ldots,X_n\}.$

Non ho calcolato il valore atteso dell'MLE per la media, quindi non so quale sia la sua propensione.

— Michael Hardy
fonte

12

Cagdas, Non è lecito chiedere un esempio comune e poi negare che proporresti qualcos'altro! È come chiedere un esempio di un frutto che non è rosso, viene mostrato un mirtillo e poi dire che non conta perché non ti piacciono i mirtilli.

— whuber

7

Questo non è rilevante per la domanda che hai posto.

— whuber

8

@CagdasOzgenc: se l'MLE è distorto o meno dipende dal modello. Non esiste un MLE senza un modello. E se si modifica il modello, si modifica l'MLE.

— Michael Hardy,

8

@CagdasOzgenc Ecco una domanda socratica: la media del campione è uno stimatore imparziale di cosa? È necessario un modello per avere un parametro da stimare.

— Matthew Drury,

9

La media di un campione iid è uno stimatore imparziale della media della popolazione, ma non si può parlare di uno stimatore della massima verosimiglianza di qualcosa senza più struttura di quanto sia necessario per parlare di uno stimatore imparziale di qualcosa.

— Michael Hardy,

18

Ecco un esempio che penso che alcuni potrebbero trovare sorprendente:

Nella regressione logistica, per qualsiasi dimensione del campione finita con esiti non deterministici (cioè ), qualsiasi coefficiente di regressione stimato non è solo distorto, la media del coefficiente di regressione è in realtà non definita. $0 < p_{i} < 1$

Questo perché per qualsiasi dimensione finita del campione, esiste una probabilità positiva (sebbene molto piccola se il numero di campioni è grande rispetto al numero di parametri di regressione) di ottenere una perfetta separazione dei risultati. Quando ciò accade, i coefficienti di regressione stimati saranno o . La probabilità positiva di essere o implica che il valore atteso non è definito. $-\infty$ $\infty$ $-\infty$ $\infty$

Per ulteriori informazioni su questo particolare problema, vedere l' effetto Hauck-Donner .

— Cliff AB
fonte

1

Questo è abbastanza intelligente. Mi chiedo se il MLE dei coefficienti di regressione logistica sia imparziale condizionato alla non-circolarità dell'effetto Hauck-Donner?

— gung - Ripristina Monica

3

@gung: Risposta breve: ignorando l'effetto Hauck-Donner, vi è ancora una tendenza al rialzo nei coefficienti di regressione assoluta (cioè i coefficienti negativi hanno una tendenza al ribasso, un positivo ha una tendenza al rialzo). È interessante notare che sembra esserci una propensione verso 0,5 nelle probabilità stimate. Ho iniziato a scriverne su questo post , ma non ho messo i miei risultati sui pregiudizi delle probabilità stimate.

— Cliff AB,

10

Sebbene @MichaelHardy abbia chiarito il punto, ecco un argomento più dettagliato sul perché l'MLE del massimo (e quindi quello della media , per invarianza) non è imparziale, sebbene si trovi in un modello diverso (vedi la modifica di seguito). $\theta/2$

$U[0,\theta]$ $y_{(n)}$ $y$ $y_{(n)}$ Pertanto, la sua densità è

\begin{array}{rcl} F_{y_{(n)}} (x) & = & Pr {Y_{1} ⩽ x, \dots, Y_{n} ⩽ x} \\ = & Pr {Y_{1} ⩽ x}^{n} \\ = & {\begin{cases} 0 & for x < 0 \\ {(\frac{x}{θ})}^{n} & for 0 ⩽ x ⩽ θ \\ 1 & for x > θ \end{cases} \end{array}

$\begin{eqnarray*} F_{y_{(n)}}(x)&=&\Pr\{Y_1\leqslant x,\ldots,Y_n\leqslant x\}\\ &=&\Pr\{Y_1\leqslant x\}^n\\ &=&\begin{cases} 0&\qquad\text{for}\quad x<0\\ \left(\frac{x}{\theta}\right)^n&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 1&\qquad\text{for}\quad x>\theta \end{cases} \end{eqnarray*}$

Quindi,

f_{y_{(n)}} (x) = {\begin{cases} \frac{n}{θ} {(\frac{x}{θ})}^{n - 1} & for 0 ⩽ x ⩽ θ \\ 0 & else \end{cases}

$f_{y_{(n)}}(x)= \begin{cases} \frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}&\qquad\text{for}\quad 0\leqslant x\leqslant\theta\\ 0&\qquad\text{else} \end{cases}$

\begin{array}{rcl} E [Y_{(n)}] & = & \int_{0}^{θ} x \frac{n}{θ} {(\frac{x}{θ})}^{n - 1} d x \\ = & \int_{0}^{θ} n {(\frac{x}{θ})}^{n} d x \\ = & \frac{n}{n + 1} θ \end{array}

$\begin{eqnarray*} E[Y_{(n)}]&=&\int_0^\theta x\frac{n}{\theta}\left(\frac{x}{\theta}\right)^{n-1}dx\\ &=&\int_0^\theta n\left(\frac{x}{\theta}\right)^{n}dx\\ &=&\frac{n}{n+1}\theta \end{eqnarray*}$

EDIT: E 'davvero il caso che (vedi la discussione nei commenti) la MLE è imparziale per la media nel caso in cui sia il limite inferiore e limite superiore sono sconosciuti. Quindi, il minimo è l'MLE per , con (dettagli omessi) valore atteso $a$ $b$ $Y_{(1)}$ $a$ mentre

E (Y_{(1)}) = \frac{n a + b}{n + 1}

$E(Y_{(1)})=\frac{na+b}{n+1}$

modo che il MLE per

sia

E (Y_{(n)}) = \frac{n b + a}{n + 1}

$E(Y_{(n)})=\frac{nb+a}{n+1}$

(a + b) / 2

$(a+b)/2$

con valore atteso

\frac{Y_{(1)} + Y_{(n)}}{2}

$\frac{Y_{(1)}+Y_{(n)}}{2}$

E (\frac{Y_{(1)} + Y_{(n)}}{2}) = \frac{n a + b + n b + a}{2 (n + 1)} = \frac{a + b}{2}

$E\left(\frac{Y_{(1)}+Y_{(n)}}{2}\right)=\frac{na+b+nb+a}{2(n+1)}=\frac{a+b}{2}$

EDIT 2: Per approfondire il punto di Henry, ecco una piccola simulazione per il MSE degli stimatori della media, mostrando che mentre il MLE se non sappiamo che il limite inferiore è zero è imparziale, gli MSE per le due varianti sono identici , suggerendo che lo stimatore che incorpora la conoscenza del limite inferiore riduce la variabilità.

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

— Christoph Hanck
fonte

Perché Wikipedia sta proponendo un modello diverso per cominciare. Ecco dove sta la mia confusione.

— Cagdas Ozgenc,

a = 0

$a=0$

(m a x + 0) / 2

$(max+0)/2$

2

Non ho elaborato i dettagli, ma l'MLE in quel modello potrebbe essere imparziale se il minimo sopravvaluta il limite inferiore dello stesso importo del massimo sottovaluta il massimo, in modo che il punto medio venga stimato senza distorsioni.

— Christoph Hanck il

4

@CagdasOzgenc: l'imparzialità non è l'unica o addirittura la misura più importante del meglio . Conoscendo con precisione un'estremità del supporto, è possibile perdere l'equilibrio tra gli errori nella stima della media, ma si ottiene (ad esempio) una migliore stima dell'intervallo

— Henry,

6

Maximum likelihood estimators are not always "best" across all criteria for small sample sizes. So what? They don't pretend to be, either. If you want to use a different estimator for your problem that has better properties according to some criterion for sample sizes that are in the neighborhood of your actual sample size, you're free to do so. I do so, and so do other people. No one is claiming that using MLE is justified in all situations just because it's MLE.

— jbowman

5

Completing here the omission in my answer over at math.se referenced by the OP,

assume that we have an i.i.d. sample of size $n$ of random variables following the Half Normal distribution. The density and moments of this distribution are

f_{H} (x) = \sqrt{2 / π} \cdot \frac{1}{v^{1 / 2}} \cdot \exp {- \frac{x^{2}}{2 v}} E (X) = \sqrt{2 / π} \cdot v^{1 / 2} \equiv μ, Var (X) = (1 - \frac{2}{π}) v

$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v} \big\} \\ E(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu,\;\; \operatorname{Var}(X) = \left(1-\frac 2 \pi \right)v$

The log-likelihood of the sample is

L (v ∣ x) = n \ln \sqrt{2 / π} - \frac{n}{2} \ln v - \frac{1}{2 v} \sum_{i = 1}^{n} x_{i}^{2}

$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac 1 {2v} \sum_{i=1}^n x_i^2$

The first derivative with respect to $v$ is

\frac{\partial}{\partial v} L (v ∣ x) = - \frac{n}{2 v} + \frac{1}{2 v^{2}} \sum_{i = 1}^{n} x_{i}^{2}, ⟹ {\hat{v}}_{MLE} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}

$\frac {\partial}{\partial v}L(v\mid\mathbf x) = -\frac n{2v} + \frac 1 {2v^2} \sum_{i=1}^n x_i^2,\implies \hat v_\text{MLE} = \frac 1n \sum_{i=1}^nx_i^2$

so it is a method of moments estimator. It is unbiased since,

E ({\hat{v}}_{MLE}) = E (X^{2}) = Var (X) + [E (X)])^{2} = (1 - \frac{2}{π}) v + \frac{2}{π} v = v

$E(\hat v_\text{MLE}) = E(X^2) = \operatorname{Var}(X) + [E(X)])^2 = \left(1-\frac 2 \pi \right)v + \frac 2 \pi v = v$

But, the resulting estimator for the mean is downward biased due to Jensen's inequality

\begin{aligned} {\hat{μ}}_{MLE} = \sqrt{2 / π} \cdot \sqrt{{\hat{v}}_{MLE}} ⟹ & E ({\hat{μ}}_{MLE}) = \sqrt{2 / π} \cdot E (\sqrt{{\hat{v}}_{MLE}}) \\ < \sqrt{2 / π} \cdot [\sqrt{E ({\hat{v}}_{MLE})}] = \sqrt{2 / π} \cdot \sqrt{v} = μ \end{aligned}

$\begin{align} \hat \mu_\text{MLE} = \sqrt{2/\pi}\cdot \sqrt {\hat v_\text{MLE}} \implies & E\left(\hat \mu_\text{MLE}\right) = \sqrt{2/\pi}\cdot E\left(\sqrt {\hat v_\text{MLE}}\,\right) \\[6pt] & < \sqrt{2/\pi}\cdot \left[\sqrt {E(\hat v_\text{MLE})}\,\right] = \sqrt{2/\pi}\cdot \sqrt v = \mu \end{align}$

— Alecos Papadopoulos
fonte

4

The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.

Take $(X_i, Y_i) \sim \mathcal{N}\left(\mu_i, \sigma^2 \right)$ . The MLE of $\mu_i$ is $(X_i + Y_i)/2$ and of $\sigma^2$ is $\hat{\sigma}^2 = \sum_{i=1}^n \frac{1}{n} s_i^2$ with $s_i^2 = (X_i - \hat{\mu}_i)^2/2 + (Y_i - \hat{\mu}_i)^2/2 = (X_i - Y_i)^2 / 4$ which has expected value $\sigma^2/4$ and so biased by a factor of 2.

— AdamO
fonte

2

While this example holds true, this actually defies one of the basic regularity conditions for asymptotic results of MLE's: that

k / n \to 0

$k / n \rightarrow 0$ , where

k

$k$ is the number of parameters estimated and

n

$n$ is the sample size.

— Cliff AB

1

@CliffAB the assumption violation is that the parametric dimension is not fixed. The dimension of

Θ

$\Theta$ goes to

\infty

$\infty$ as

n \to \infty

$n \rightarrow \infty$ . I think that's what you're saying, but don't know what

k

$k$ means. The practical illustration of this example of course is that these results would be biased even in small samples and you have to use conditional likelihood, like a mixed effects model, to estimate

σ

$\sigma$ in this case.

— AdamO

3

Da allora esiste una gamma infinita di esempi per questo fenomeno

lo stimatore della massima verosimiglianza di una trasformazione biiettiva $\Psi(\theta)$ di un parametro $\theta$ è la trasformazione biiettiva dello stimatore della massima probabilità di $\theta$ , $\Psi(\hat{\theta}_\text{MLE})$ ;
l'attesa della trasformazione biiettiva dello stimatore della massima verosimiglianza di $\theta$ , $\Psi(\hat{\theta}_\text{MLE})$ , $\mathbb{E}[\Psi(\hat{\theta}_\text{MLE})]$ non è la trasformazione biiettiva delle aspettative dello stimatore della massima verosimiglianza, $\Psi(\mathbb{E}[\hat{\theta}_\text{MLE}])$ ;
la maggior parte delle trasformazioni $\Psi(\theta)$ sono aspettative di qualche trasformazione dei dati, $\mathfrak{h}(X)$ , almeno per le famiglie esponenziali, a condizione che possa essere applicata una trasformazione inversa di Laplace.

— Xi'an
fonte