L'errore al quadrato medio viene utilizzato per valutare la superiorità relativa di uno stimatore rispetto a un altro?

13

Supponiamo di avere due stimatori e per alcuni parametri . Per determinare quale stimatore è "migliore", osserviamo l'MSE (errore quadratico medio)? In altre parole, osserviamo dove è il bias dello stimatore e è la varianza dello stimatore? Qualunque abbia un MSE maggiore è uno stimatore peggiore? $\alpha_1$ $\alpha_2$ $x$

M S E = β^{2} + σ^{2}

$MSE = \beta^2+ \sigma^2$

β

$\beta$

σ^{2}

$\sigma^2$

estimation mse

— Damien
fonte

10

Se avete due stimatori concorrenti e , anche vi dice che è lo stimatore migliore dipende interamente dalla vostra definizione di "migliore". Ad esempio, se si confrontano stimatori e "migliore" vuoi dire ha varianza minore, allora, sì, questo implicherebbe che è meglio. $\hat \theta_1$ $\hat \theta_2$

M S E ({\hat{θ}}_{1}) < M S E ({\hat{θ}}_{2})

${\rm MSE}(\hat \theta_1) < {\rm MSE}(\hat \theta_2)$

{\hat{θ}}_{1}

$\hat \theta_1$

{\hat{θ}}_{1}

$\hat \theta_1$

M S E

$\rm MSE$ è un criterio popolare a causa della sua connessione con i minimi quadrati e la verosimiglianza gaussiana ma, come molti criteri statistici, si dovrebbe essere avvertiti dall'utilizzare ciecamente

come misura della qualità dello stimatore senza prestare attenzione all'applicazione.

M S E

$\rm MSE$

Ci sono alcune situazioni in cui la scelta di uno stimatore per minimizzare potrebbe non essere una cosa particolarmente sensata da fare. Mi vengono in mente due scenari: ${\rm MSE}$

Se in un set di dati ci sono valori anomali molto grandi, questi possono influenzare drasticamente l'MSE e quindi lo stimatore che minimizza l'MSE può essere indebitamente influenzato da tali valori anomali. In tali situazioni, il fatto che uno stimatore minimizzi l'MSE non ti dice molto poiché, se hai rimosso i valori anomali, puoi ottenere una stima molto diversa. In tal senso, l'MSE non è "robusto" per gli outlier. Nel contesto della regressione, questo fatto è ciò che ha motivato lo stimatore M Huber (che discuterò in questa risposta), che minimizza una diversa funzione di criterio (che è una miscela tra errore al quadrato ed errore assoluto) quando ci sono errori a coda lunga .
$\rm MSE$ $\sigma^2$ $\rm MSE$ $\sigma^4$ $\rm MSE$ $\sigma^4$

$\rm MSE$

$X_1, ..., X_n$ $t$ $\nu>2$ $\nu/(\nu-2)$

{\hat{θ}}_{1} : t h e u n b i a s e d s a m p l e v a r i a n c e

$\hat \theta_{1}: {\rm the \ unbiased \ sample \ variance}$

{\hat{θ}}_{2} = 0, r e g a r d l e s s o f t h e d a t a

$\hat \theta_{2} = 0,{\rm \ regardless \ of \ the \ data}$

M S E ({\hat{θ}}_{2}) = \frac{ν^{2}}{(ν - 2)^{2}}

$\rm MSE(\hat \theta_{2}) = \frac{\nu^2}{(\nu-2)^2}$

M S E ({\hat{θ}}_{1}) = {\begin{cases} \infty & if ν \leq 4 \\ \frac{ν^{2}}{(ν - 2)^{2}} (\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) & if ν > 4 . \end{cases}

${\rm MSE}(\hat \theta_{1}) = \begin{cases} \infty &\mbox{if } \nu \leq 4 \\ \frac{\nu^2}{(\nu-2)^2} \left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) & \mbox{if } \nu>4 . \end{cases}$

t

$t$ $\rm MSE$ $\nu < 4$

(\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) > 1

$\left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) > 1$

t

$t$

{\hat{θ}}_{2}

$\hat \theta_{2}$

M S E

$\rm MSE$

{\hat{θ}}_{1}

$\hat \theta_1$

$\rm MSE$ $\rm MSE$ $\hat \theta$

S (\hat{θ}) = \frac{\hat{θ}}{ν / (ν - 2)} - 1 - \log (\frac{\hat{θ}}{ν / (ν - 2)})

$S(\hat \theta) = \frac{ \hat \theta}{\nu/(\nu-2)} - 1 - \log \left( \frac{ \hat \theta}{\nu/(\nu-2)} \right)$

$S(\hat \theta_1)=\infty$

— macro
fonte

(+1) Bella discussione. Ad essere onesti, probabilmente dovrebbe essere sottolineato che argomenti simili possono essere fatti valere a favore e contro altri criteri (altre funzioni di perdita).

— Martedì

2

Di solito, si valutano gli stimatori osservando le loro funzioni di rischio, che tracciano la perdita attesa rispetto ai parametri. Qui, correggendo i parametri, potresti aver prodotto un'analisi fuorviante. Dopotutto, è sempre il caso che uno stimatore stupido (costante, ignorante dei dati) possa produrre una perdita attesa molto bassa: basta impostarlo uguale al parametro corretto! Questo mi lascia chiedendomi cosa la simulazione abbia davvero mostrato qui.

— whuber

@whuber, ho modificato questa risposta per dare l'esempio analiticamente, il che forse lo rende più chiaro. Ho anche offerto una funzione di perdita alternativa che potrebbe essere più appropriata.

— Macro,

ν

$\nu$

2

$L(\alpha_i) = (\alpha_i - \alpha)^2$ . La funzione di perdita degli errori al quadrato è molto popolare ma solo una delle tante. La procedura descritta è corretta in caso di perdita quadrata dell'errore; la domanda è se questo è appropriato nel tuo problema o no.

— JMS
fonte

2

Perché la funzione $f(x) = x^2$ è differenziabile, facilita la ricerca dell'MSE minimo sia dal punto di vista teorico che numerico. Ad esempio, nei minimi quadrati ordinari è possibile risolvere esplicitamente la pendenza e l'intercettazione adattate. Da un punto di vista numerico, hai risolutori più efficienti anche quando hai un derivato.

A mio avviso, l'errore quadratico medio in genere sovrastima i valori anomali. Questo è il motivo per cui è spesso più robusto utilizzare l'errore assoluto medio, ovvero l'uso $f(x) = |x|$ come funzione di errore. Tuttavia, poiché non è differenziabile, rende le soluzioni più difficili con cui lavorare.

MSE è probabilmente una buona scelta se i termini di errore sono normalmente distribuiti. Se hanno code più larghe, è preferibile una scelta più solida come il valore assoluto.

— aprokopiw
fonte

0

In Case & Berger Statistical Inference 2nd edition Pagina 332 afferma che MSE penalizza equamente per sovrastima e sottovalutazione, il che va bene nel caso della localizzazione. Nel caso della scala, tuttavia, 0 è un limite inferiore naturale, quindi il problema di stima non è simmetrico. L'uso dell'MSE in questo caso tende a perdonare la sottovalutazione.

Potresti voler controllare quale stimatore soddisfa le proprietà UMVUE, il che significa che usa il limite inferiore di Cramer-Rao. Pagina 341.

— Tu.2
fonte