Stimatori incoerenti sono mai preferibili?

La coerenza è ovviamente uno stimatore di proprietà naturale e importante, ma ci sono situazioni in cui potrebbe essere meglio usare uno stimatore incoerente piuttosto che coerente?

Più specificamente, ci sono esempi di uno stimatore incoerente che supera un ragionevole stimatore coerente per tutte le finite (rispetto ad alcune funzioni di perdita adeguate)? $n$

estimation consistency

— MånsT
fonte

Esiste un interessante compromesso in termini di prestazioni tra la coerenza della selezione del modello e la coerenza dei parametri nei problemi di stima usando il lazo e le sue (molte!) Varianti. Questo è dettagliato, ad esempio, nel recente testo di Bühlmann e van der Geer.

— cardinale il

L'argomento nella mia risposta, ora eliminata, non sarebbe ancora valido? Vale a dire: in piccoli campioni è meglio avere uno stimatore imparziale con bassa varianza. Oppure si può dimostrare che uno stimatore coerente ha sempre una varianza inferiore rispetto a qualsiasi altro stimatore imparziale?

— Bob Jansen,

Forse, @Bootvis! Hai un esempio di stimatore incoerente con MSE basso?

— Martedì

@Bootvis: Se ti capita di guardare i commenti estesi su una risposta a una domanda recente che chiede coerenza vs. imparzialità, vedrai che uno stimatore coerente può avere un comportamento arbitrariamente selvaggio sia della varianza che della distorsione (anche, contemporaneamente!) . Ciò dovrebbe rimuovere tutti i dubbi riguardanti il tuo commento.

— cardinale il

Pensavo di avere uno dei due libri, ma a quanto pare mi sbagliavo anche su quello! L'esempio non si trova da nessuna parte. @cardinal: Sembra interessante, lo verificherà

— Bob Jansen il

Questa risposta descrive un problema realistico in cui uno stimatore coerente naturale è dominato (sovraperformato per tutti i possibili valori dei parametri per tutte le dimensioni del campione) da uno stimatore incoerente. È motivato dall'idea che la coerenza sia la più adatta alle perdite quadratiche, quindi l'uso di una perdita che si discosta fortemente da quella (come una perdita asimmetrica) dovrebbe rendere la coerenza quasi inutile nella valutazione delle prestazioni degli stimatori.

Supponiamo che il tuo cliente desideri stimare la media di una variabile (si presume abbia una distribuzione simmetrica) da un campione iid , ma sono contrari a (a) sottovalutarlo o (b) gravemente sopravvalutarlo . $(x_1, \ldots, x_n)$

Per vedere come ciò potrebbe funzionare, adottiamo una semplice funzione di perdita, comprendendo che in pratica la perdita potrebbe differire da questa quantitativamente (ma non qualitativamente). Scegli le unità di misura in modo che sia il più grande sovrastimabile tollerabile e imposta la perdita di una stima quando la media vera è uguale a ogni volta che e uguale a altrimenti. $1$ $t$ $\mu$ $0$ $\mu \le t\le \mu+1$ $1$

I calcoli sono particolarmente semplici per una famiglia normale di distribuzioni con media e varianza , per cui la media di esempio ha un valore normale distribuzione. La media del campione è uno stimatore coerente di , come è ben noto (ed evidente). Scrivendo per il normale CDF standard, la perdita attesa della media del campione è pari a : deriva dalla probabilità del 50% che la media del campione sottostimerà la vera media e deriva dalla possibilità di sopravvalutare la vera media di oltre $\mu$ $\sigma^2 \gt 0$ $\bar{x}=\frac{1}{n}\sum_i x_i$ $(\mu, \sigma^2/n)$ $\mu$ $\Phi$ $1/2 + \Phi(-\sqrt{n}/\sigma)$ $1/2$ $\Phi(-\sqrt{n}/\sigma)$ $1$ .

Perdite

La perdita prevista di uguale all'area blu in questo PDF normale standard. L'area rossa indica la perdita attesa dello stimatore alternativo, di seguito. Differiscono sostituendo l'area blu solida tra e con l'area rossa solida più piccola tra e . Questa differenza cresce all'aumentare di . $\bar{x}$ $-\sqrt{n}/(2\sigma)$ $0$ $\sqrt{n}/(2\sigma)$ $\sqrt{n}/\sigma$ $n$

Uno stimatore alternativo fornito da ha una perdita attesa di . La simmetria e l'unimodalità delle distribuzioni normali implicano che la perdita attesa è sempre migliore di quella della media campionaria. (Ciò rende inammissibile la media del campione per questa perdita.) In effetti, la perdita attesa della media del campione ha un limite inferiore di mentre quella dell'alternativa converge a quando cresce. Tuttavia, l'alternativa è chiaramente incoerente: man mano che cresce, converge in probabilità a . $\bar{x}+1/2$ $2\Phi(-\sqrt{n}/(2\sigma))$ $1/2$ $0$ $n$ $n$ $\mu+1/2 \ne \mu$

Funzioni di perdita

I punti blu mostrano la perdita per e i punti rossi mostrano la perdita per in funzione della dimensione del campione . $\bar{x}$ $\bar{x}+1/2$ $n$

— whuber
fonte

(+1) Il tuo commento "la coerenza è più adatta per le perdite quadratiche" mi interessa anche ma non è palesemente ovvio per me (e forse altri) da dove provenga. Chiaramente la convergenza in è più adatta alle perdite quadratiche e la convergenza implica la convergenza in probabilità, ma qual è la motivazione di questa citazione nel contesto di una convergenza quasi sicura, nota anche come "forte coerenza"?

L_{2}

$L_2$

L_{2}

$L_2$

— Macro

@Macro Il pensiero è in qualche modo indiretto e non inteso per essere rigoroso, ma credo sia naturale: la perdita quadratica implica la minimizzazione della varianza che (tramite Chebyshev) porta alla convergenza della probabilità. Di conseguenza, un'euristica per trovare un controesempio dovrebbe concentrarsi su perdite che sono così lontane dal quadratico che tali manipolazioni non hanno successo.

— whuber

Non capisco le basi del tuo commento, @Michael: guarda l'ultimo grafico. La perdita attesa per lo stimatore coerente diminuisce a mentre quella dello stimatore incoerente diminuisce (esponenzialmente) a : è quindi esponenzialmente migliore di quella consistente man mano che cresce.

1 / 2

$1/2$

0

$0$

n

$n$

— whuber

@Michael OK, grazie per averlo spiegato. In questo contesto, con una perdita non quadratica, un "vantaggio" non è espresso in termini di distorsione. Si potrebbe criticare questa funzione di perdita, ma non voglio rifiutarla del tutto: modella le situazioni in cui, ad esempio, i dati sono misurazioni di un articolo fabbricato secondo determinate tolleranze e sarebbe disastroso (come in caso di guasto dell'o-ring dello Shuttle o fallimento aziendale disastroso) perché il vero mezzo esca da quelle tolleranze.

— whuber

(+1) Ottima risposta, @whuber! In particolare mi piace che non sembri troppo patologico - posso pensare a molte situazioni in cui questo tipo di perdita sarebbe applicabile.

— Martedì