Qual è la differenza tra uno stimatore coerente e uno stimatore imparziale?

125

Sono davvero sorpreso che nessuno sembra averlo già chiesto ...

Quando si parla di stimatori, due termini usati frequentemente sono "coerenti" e "imparziali". La mia domanda è semplice: qual è la differenza?

Le precise definizioni tecniche di questi termini sono piuttosto complicate ed è difficile avere un'idea intuitiva di ciò che significano . Posso immaginare un buon stimatore e un cattivo stimatore, ma ho difficoltà a vedere come qualsiasi stimatore potrebbe soddisfare una condizione e non l'altra.

unbiased-estimator estimators consistency

— MathematicalOrchid
fonte

Hai esaminato la prima cifra dell'articolo di Wikipedia sugli stimatori coerenti , che spiega in modo specifico questa distinzione?

— whuber

Ho letto gli articoli sia per coerenza che per pregiudizio, ma ancora non capisco davvero la distinzione. (La cifra a cui ti riferisci afferma che lo stimatore è coerente ma distorto, ma non spiega perché .)

— MathematicalOrchid

Con quale parte della spiegazione hai bisogno di aiuto? La didascalia sottolinea che ciascuno degli stimatori nella sequenza è distorto e spiega anche perché la sequenza è coerente. Hai bisogno di una spiegazione di come la distorsione in questi stimatori è evidente dalla figura?

— whuber

+1 Il thread di commenti che segue una di queste risposte è molto illuminante, sia per quello che rivela sull'argomento sia come esempio interessante di come una comunità online può lavorare per esporre e correggere idee sbagliate.

— whuber

Correlati: stats.stackexchange.com/questions/173152/…

— kjetil b halvorsen

Risposte:

126

Per definire i due termini senza usare troppo linguaggio tecnico:

Uno stimatore è coerente se, all'aumentare della dimensione del campione, le stime (prodotte dallo stimatore) "convergono" al valore reale del parametro da stimare. Per essere leggermente più precisi, la coerenza significa che, all'aumentare della dimensione del campione, la distribuzione campionaria dello stimatore si concentra sempre più sul valore del parametro reale.
Uno stimatore è imparziale se, in media, raggiunge il valore del parametro vero. Cioè, la media della distribuzione campionaria dello stimatore è uguale al valore del parametro vero.
I due non sono equivalenti: l' unicità è un'affermazione sul valore atteso della distribuzione campionaria dello stimatore. Coerenza è una dichiarazione su "dove sta andando la distribuzione campionaria dello stimatore" all'aumentare della dimensione del campione.

È certamente possibile che una condizione sia soddisfatta, ma non l'altra - fornirò due esempi. Per entrambi gli esempi consideriamo un campione da una popolazione . $X_1, ..., X_n$ $N(\mu, \sigma^2)$

Non distorto ma non coerente: supponiamo che stiate valutando . Quindi è uno stimatore imparziale di poiché . Ma non è coerente poiché la sua distribuzione non diventa più concentrata attorno a quando la dimensione del campione aumenta - è sempre ! $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
Coerente ma non imparziale: supponiamo che stiate valutando . Lo stimatore di massima verosimiglianza è dove è la media del campione. È un dato di fatto che prima, che può essere derivato usando le informazioni qui . Pertanto è distorto per qualsiasi dimensione del campione finita. Possiamo anche facilmente derivare che Da questi fatti possiamo vedere informalmente che il distribuzione di $\sigma^2$
${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ $E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ $v a r ({\hat{σ}}^{2}) = \frac{2 σ^{4} (n - 1)}{n^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ sta diventando sempre più concentrato a all'aumentare della dimensione del campione poiché la media sta convergendo a e la varianza sta convergendo a . ( Nota: questo costituisce una prova di coerenza, usando lo stesso argomento di quello usato nella risposta qui ) $\sigma^2$ $\sigma^2$ $0$

— macro
fonte

(+1) Tuttavia, non tutti gli MLE sono coerenti: il risultato generale è che esiste una sottosequenza coerente nella sequenza degli MLE. Per un'adeguata coerenza sono necessari alcuni requisiti aggiuntivi, ad esempio identificabilità. Esempi di MLE non coerenti si trovano in alcuni modelli di errori in variabili (in cui il "massimo" risulta essere un punto di sella).

— Martedì

Bene, gli MLE dell'EIV che ho citato non sono forse buoni esempi, poiché la funzione di probabilità è illimitata e non esiste un massimo. Sono buoni esempi di come l'approccio ML possa fallire :) Mi dispiace di non poter fornire un link rilevante in questo momento - Sono in vacanza.

— Martedì

Grazie @ MånsT. Le condizioni necessarie sono state delineate nel collegamento ma ciò non era chiaro dalla formulazione.

— Macro

Solo una nota a margine: lo spazio dei parametri non è certamente compatto in questo caso, a differenza delle condizioni di quel collegamento, né la probabilità di log concava wrt stessa. Il risultato di coerenza dichiarato vale ancora, ovviamente.

σ^{2}

$\sigma^2$

— cardinale il

Hai ragione, @cardinal, eliminerò quel riferimento. È abbastanza chiaro che e ma non voglio allontanarmi dal trasformandolo in un esercizio per dimostrare la coerenza di .

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

— Macro

La coerenza di uno stimatore significa che quando la dimensione del campione aumenta, la stima si avvicina sempre di più al valore reale del parametro. L'unicità è una proprietà del campione finita che non è influenzata dall'aumento della dimensione del campione. Una stima è imparziale se il suo valore atteso è uguale al valore del parametro vero. Questo sarà vero per tutte le dimensioni del campione ed è esatto mentre la coerenza è asintotica e solo approssimativamente uguale e non esatta.

Dire che uno stimatore è imparziale significa che se si prelevano molti campioni di dimensione e si calcola la stima ogni volta che la media di tutte queste stime si avvicina al valore del parametro reale e si avvicina man mano che aumenta il numero di volte che si fa . La media del campione è sia coerente che imparziale. La stima del campione della deviazione standard è distorta ma coerente. $n$

Aggiornamento a seguito della discussione nei commenti con @cardinal e @Macro: come descritto di seguito ci sono casi apparentemente patologici in cui la varianza non deve andare a 0 affinché lo stimatore sia fortemente coerente e la distorsione non deve nemmeno andare a 0 neanche.

— Michael Chernick
fonte

@MichaelChernick +1 per la tua risposta ma, per quanto riguarda il tuo commento, la varianza di uno stimatore coerente non va necessariamente a . Ad esempio se è un campione da , , quindi è uno stimatore (forte) coerente di , ma , per tutti .

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

@Procrastinator: (+2) Neanche la distorsione si riduce a zero, anche quando esiste la media per ogni

n

$n$

— cardinale

Michael, il corpo della tua risposta è abbastanza buono; Penso che la confusione sia stata introdotta dal tuo primo commento, che porta a due affermazioni che sono chiaramente false e potenziali punti di confusione. (In effetti, molti studenti si allontanano da una lezione introduttiva di statistica dei laureati con esattamente queste idee sbagliate a causa della scarsa delineazione tra le diverse modalità di convergenza e il loro significato. Il tuo ultimo commento potrebbe essere considerato un po 'duro.)

— Cardinale

Sfortunatamente, le prime due frasi nel tuo primo commento e l'intero secondo commento sono false. Ma temo che non sia fruttuoso cercare di convincerti ulteriormente di questi fatti.

— cardinale il

Ecco un esempio certamente assurdo, ma semplice . L'idea è di illustrare esattamente cosa può andare storto e perché. E non ha applicazioni pratiche. Esempio : considerare il tipico modello iid con il secondo momento finito. Sia dove è indipendente da e ciascuno con probabilità ed è zero altrimenti, con arbitrario. Poi è imparziale, ha varianza delimitata seguito da , e

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$ quasi sicuramente (è fortemente coerente). Lascio come esercizio il caso relativo al pregiudizio.

— cardinale il

-5

Coerenza: molto ben spiegato prima [all'aumentare della dimensione del campione, le stime (prodotte dallo stimatore) "convergono" al valore reale del parametro da stimare]

Impedenza: soddisfa i presupposti 1-5 MLR noti come teorema di Gauss-Markov

linearità,
campionamento Casuale
aspettativa di errore media condizionale zero
nessuna perfetta collinearità
omoschedasticità

Quindi si dice che lo stimatore sia BLU (il miglior stimatore lineare imparziale

— Nikolina Langura
fonte