Perché abbiamo bisogno di uno stimatore per essere coerenti?


15

Penso di aver già capito la definizione matematica di uno stimatore coerente. Correggimi se sbaglio:

Wn è uno stimatore coerente per ifθϵ>0

limnP(|Wnθ|>ϵ)=0,θΘ

Dove, Θ è lo spazio parametrico. Ma voglio capire la necessità che uno stimatore sia coerente. Perché uno stimatore non coerente è negativo? Potresti darmi qualche esempio?

Accetto simulazioni in R o Python.


3
Uno stimatore non coerente non è sempre negativo. Prendiamo ad esempio uno stimatore incoerente ma imparziale. Vedi l'articolo di Wikipedia su Consistent Estimator en.wikipedia.org/wiki/Consistent_estimator , in particolare la sezione su Bias contro coerenza
compbiostats

La coerenza sta approssimativamente parlando di un comportamento asintotico ottimale di uno stimatore. Scegliamo uno stimatore che si avvicina al vero valore di θ a lungo termine. Poiché questa è solo una convergenza in probabilità, questa discussione potrebbe essere utile: stats.stackexchange.com/questions/134701/… .
Testardo:

@StubbornAtom, starei attento a definire uno stimatore così coerente "ottimale", dato che quel termine è in genere riservato a stimatori che sono anche, in un certo senso, efficienti.
Christoph Hanck,

Risposte:


22

Se lo stimatore non è coerente, non converge con probabilità nel valore reale . In altre parole, c'è sempre una probabilità che lo stimatore e il valore reale abbiano una differenza, indipendentemente dal numero di punti dati che hai. Questo in realtà è negativo, perché anche se raccogli una quantità immensa di dati, la tua stima avrà sempre una probabilità positiva di essere un po ' diverso dal valore reale. In pratica, puoi considerare questa situazione come se stessi usando uno stimatore di una quantità tale che anche il rilevamento di tutta la popolazione, invece di un piccolo campione, non ti aiuterà.ϵ>0


21

Considera osservazioni dalla distribuzione standard di Cauchy, che è la stessa della distribuzione t di Student con 1 grado di libertà. Le code di questa distribuzione sono sufficientemente pesanti da non avere alcun mezzo; la distribuzione è centrata sulla sua medianan=10000η=0.

Una sequenza di esempio significa che non è coerente per il centro della distribuzione di Cauchy. In parole povere, la difficoltà è che si verificano osservazioni molto estreme (positive o negative) con sufficiente regolarità che non ha alcuna possibilità di convergere in (Gli non sono solo lenti a convergere, non lo fanno mai converge. La distribuzione di è di nuovo standard Cauchy [ prova ].)Aj=1ji=1jXiXiAjη=0.AjAj

Al contrario, in qualsiasi fase di un processo di campionamento continuo, circa la metà delle osservazioni troverà su entrambi i lati di modo che la sequenza delle mediane campione converge inXiη,Hjη.

Questa mancanza di convergenza di e di convergenza di è illustrata dalla seguente simulazione.AjHj

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

inserisci qui la descrizione dell'immagine

Ecco un elenco di passaggi in cui Puoi vedere l'effetto di alcune di queste osservazioni estreme sulle medie correnti nel grafico a sinistra (sulle linee tratteggiate rosse verticali).|Xi|>1000.

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

Coerenza nella stima importante: nel campionamento da una popolazione di Cauchy, la media campionaria di un campione di osservazioni non è migliore per stimare il centro di una sola osservazione. Al contrario, la mediana del campione coerente converge in quindi campioni più grandi producono stime migliori.n=10000ηη,


1
Nitpicking un po ', ma la tua simulazione mostra il fallimento del campione significa convergere quasi sicuramente, non in probabilità, nel centro di Cauchy (consistenza forte vs. debole).
aleshing

9

Un esempio molto semplice del perché è importante pensare alla coerenza, che non credo abbia abbastanza attenzione, è quello di un modello troppo semplificato.

Come esempio teorico, supponiamo di voler adattare un modello di regressione lineare su alcuni dati, in cui i veri effetti erano in realtà non lineari. Quindi le tue previsioni non possono essere coerenti con la vera media per tutte le combinazioni di covariate, mentre una più flessibile potrebbe essere in grado di farlo. In altre parole, il modello semplificato presenterà carenze che non possono essere superate utilizzando più dati.


yi=y^i+e^i

8

@BruceET ha già dato un'ottima risposta tecnica, ma vorrei aggiungere un punto sull'interpretazione di tutto ciò.

Uno dei concetti fondamentali nelle statistiche è che all'aumentare della dimensione del nostro campione, possiamo giungere a conclusioni più precise sulla nostra distribuzione sottostante. Potresti pensarlo come l'idea che prendere molti campioni elimini il jitter casuale nei dati, quindi otteniamo una nozione migliore della struttura sottostante.

(Xi)iN E[X1]<

1nk=1nXkE[X]   a.s.

Ora, richiedere che uno stimatore sia coerente è richiedere che segua anche questa regola: poiché il suo compito è stimare un parametro sconosciuto, vorremmo che convergesse a quel parametro (leggi: stimare quel parametro arbitrariamente bene) come il nostro campione la dimensione tende all'infinito.

L'equazione

limnP(|Wnθ|>ϵ)=0,ϵ>0 θ Θ

Wnθ

[θε,θ+ε]θ

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.