Perché abbiamo bisogno di uno stimatore per essere coerenti?

Penso di aver già capito la definizione matematica di uno stimatore coerente. Correggimi se sbaglio:

$W_n$ è uno stimatore coerente per if$\theta$$\forall \epsilon>0$

Dove, $\Theta$ è lo spazio parametrico. Ma voglio capire la necessità che uno stimatore sia coerente. Perché uno stimatore non coerente è negativo? Potresti darmi qualche esempio?

Accetto simulazioni in R o Python.

Se lo stimatore non è coerente, non converge con probabilità nel valore reale . In altre parole, c'è sempre una probabilità che lo stimatore e il valore reale abbiano una differenza, indipendentemente dal numero di punti dati che hai. Questo in realtà è negativo, perché anche se raccogli una quantità immensa di dati, la tua stima avrà sempre una probabilità positiva di essere un po ' diverso dal valore reale. In pratica, puoi considerare questa situazione come se stessi usando uno stimatore di una quantità tale che anche il rilevamento di tutta la popolazione, invece di un piccolo campione, non ti aiuterà.$\epsilon>0$

Considera osservazioni dalla distribuzione standard di Cauchy, che è la stessa della distribuzione t di Student con 1 grado di libertà. Le code di questa distribuzione sono sufficientemente pesanti da non avere alcun mezzo; la distribuzione è centrata sulla sua mediana$n = 10\,000$$\eta = 0.$

Una sequenza di esempio significa che non è coerente per il centro della distribuzione di Cauchy. In parole povere, la difficoltà è che si verificano osservazioni molto estreme (positive o negative) con sufficiente regolarità che non ha alcuna possibilità di convergere in (Gli non sono solo lenti a convergere, non lo fanno mai converge. La distribuzione di è di nuovo standard Cauchy [ prova ].)$A_j = \frac 1j \sum_{i=1}^j X_i$$X_i$$A_j$$\eta = 0.$$A_j$$A_j$

Al contrario, in qualsiasi fase di un processo di campionamento continuo, circa la metà delle osservazioni troverà su entrambi i lati di modo che la sequenza delle mediane campione converge in$X_i$$\eta,$$H_j$$\eta.$

Questa mancanza di convergenza di e di convergenza di è illustrata dalla seguente simulazione.$A_j$$H_j$

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

Ecco un elenco di passaggi in cui Puoi vedere l'effetto di alcune di queste osservazioni estreme sulle medie correnti nel grafico a sinistra (sulle linee tratteggiate rosse verticali).$|X_i| > 1000.$

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

Coerenza nella stima importante: nel campionamento da una popolazione di Cauchy, la media campionaria di un campione di osservazioni non è migliore per stimare il centro di una sola osservazione. Al contrario, la mediana del campione coerente converge in quindi campioni più grandi producono stime migliori.$n = 10\,000$$\eta$$\eta,$

Un esempio molto semplice del perché è importante pensare alla coerenza, che non credo abbia abbastanza attenzione, è quello di un modello troppo semplificato.

Come esempio teorico, supponiamo di voler adattare un modello di regressione lineare su alcuni dati, in cui i veri effetti erano in realtà non lineari. Quindi le tue previsioni non possono essere coerenti con la vera media per tutte le combinazioni di covariate, mentre una più flessibile potrebbe essere in grado di farlo. In altre parole, il modello semplificato presenterà carenze che non possono essere superate utilizzando più dati.

@BruceET ha già dato un'ottima risposta tecnica, ma vorrei aggiungere un punto sull'interpretazione di tutto ciò.

Uno dei concetti fondamentali nelle statistiche è che all'aumentare della dimensione del nostro campione, possiamo giungere a conclusioni più precise sulla nostra distribuzione sottostante. Potresti pensarlo come l'idea che prendere molti campioni elimini il jitter casuale nei dati, quindi otteniamo una nozione migliore della struttura sottostante.

$(X_i)_{i\in\mathbb{N}} \ $$\mathbb{E}[X_1] < \infty$

Ora, richiedere che uno stimatore sia coerente è richiedere che segua anche questa regola: poiché il suo compito è stimare un parametro sconosciuto, vorremmo che convergesse a quel parametro (leggi: stimare quel parametro arbitrariamente bene) come il nostro campione la dimensione tende all'infinito.

L'equazione

$W_n$$\theta$

$[\theta - \varepsilon, \theta + \varepsilon]$$\theta$