Qual è la relazione tra stimatore e stima?

21

estimation terminology estimators

5

"In statistica, uno stimatore è una regola per calcolare una stima di una determinata quantità sulla base dei dati osservati: in questo modo si distinguono la regola e il suo risultato (la stima)". (Prima riga dell'articolo di Wikipedia en.wikipedia.org/wiki/Estimator ).

— whuber

+1 Sto valutando questa domanda (nonostante la presenza di una risposta ben formulata su un'ovvia pagina di Wikipedia) perché i tentativi iniziali di rispondere qui hanno indicato alcune sottigliezze.

— whuber

@whuber, posso dire che le stime dei parametri del modello sono lo stimatore?

— avocado,

2

@loganecolss Uno stimatore è una funzione matematica. Ciò si distingue dal valore (la stima) che potrebbe raggiungere per qualsiasi set di dati. Un modo per apprezzare la differenza è notare che determinati insiemi di dati produrranno le stesse stime , ad esempio, della pendenza in una regressione lineare utilizzando diversi stimatori (come il massimo rischio o i minimi quadrati ripetuti iterativamente, per esempio). Senza distinguere le stime dagli stimatori utilizzati per produrre tali stime, non saremmo in grado di comprendere ciò che dice tale affermazione.

— whuber

@whuber, anche con un determinato set di dati

, uno stimatore diverso potrebbe anche fornire stime diverse, no?

D

$D$

— avocado,

13

EL Lehmann, nella sua teoria classica della stima puntuale , risponde a questa domanda a pagina 1-2.

Le osservazioni sono ora postulate per essere i valori assunti da variabili casuali che si presume seguano una distribuzione di probabilità congiunta, , appartenente ad una classe nota ... $P$

... specializziamoci ora sulla stima puntuale ... supponiamo che sia una funzione a valore reale definita [sulla classe di distribuzione stipulata] e che vorremmo conoscere il valore di [a qualunque sia la distribuzione effettiva in effetto, ]. Sfortunatamente, , e quindi , non è noto. Tuttavia, i dati possono essere utilizzati per ottenere una stima di , un valore che si spera sia vicino a . $g$ $g$ $\theta$ $\theta$ $g(\theta)$ $g(\theta)$ $g(\theta)$

In parole: uno stimatore è una procedura matematica definita che fornisce un numero (la stima ) per ogni possibile insieme di dati che un particolare problema potrebbe produrre. Quel numero è destinato a rappresentare alcune proprietà numeriche definite ( ) del processo di generazione dei dati; potremmo chiamarlo "estimand". $g(\theta)$

Lo stesso stimatore non è una variabile casuale: è solo una funzione matematica. Tuttavia, la stima che produce si basa su dati che sono essi stessi modellati come variabili casuali. Questo rende la stima (ritenuta dipendente dai dati) in una variabile casuale e una stima particolare per un particolare insieme di dati diventa una realizzazione di quella variabile casuale.

In una formulazione (convenzionale) dei minimi quadrati ordinari, i dati sono costituiti da coppie ordinate . La è stata determinata dallo sperimentatore (ad esempio, possono essere quantità di un farmaco somministrato). Ciascun (una risposta al farmaco, per esempio) si presume provenire da una distribuzione di probabilità che è normale, ma con media incognita e comune varianza . Inoltre, si presume che i mezzi siano correlati alla tramite una formula $(x_i, y_i)$ $x_i$ $y_i$ $\mu_i$ $\sigma^2$ $x_i$ . Questi tre parametri - , e determinano la distribuzione sottostante di per qualsiasi valore di . Pertanto,qualsiasiproprietà di tale distribuzione può essere considerata come una funzione di . Esempi di tali proprietà sono l'intercetta , la pendenza , il valore di $\mu_i = \beta_0 + \beta_1 x_i$ $\sigma$ $\beta_0$ $\beta_1$ $y_i$ $x_i$ $(\sigma, \beta_0, \beta_1)$ $\beta_0$ $\beta_1$ , o anche la media al valore, che (secondo questa formulazione) deve essere. $\cos(\sigma + \beta_0^2 - \beta_1)$ $x=2$ $\beta_0 + 2 \beta_1$

In questo contesto OLS, un non esempio di uno stimatore sarebbe una procedura per indovinare il valore di se fosse impostato uguale a 2. Questo non è uno stimatore perché questo valore di è casuale (in un modo completamente separato da la casualità dei dati): non è una proprietà (definita numerica) della distribuzione, anche se è correlata a quella distribuzione. (Come abbiamo appena visto, tuttavia , si può stimare l' aspettativa di per , pari a ). $y$ $x$ $y$ $y$ $x=2$ $\beta_0 + 2 \beta_1$

Nella formulazione di Lehmann, quasi ogni formula può essere uno stimatore di quasi tutte le proprietà. Non esiste alcun legame matematico inerente tra uno stimatore e uno stimatore. Tuttavia, possiamo valutare - in anticipo - la possibilità che uno stimatore sia ragionevolmente vicino alla quantità che intende stimare. I modi per farlo, e come sfruttarli, sono oggetto della teoria della stima.

— whuber
fonte

1

(+1) Una risposta molto precisa e dettagliata.

— chl

2

Una funzione di una variabile casuale non è anche una variabile casuale?

— jsk

@jsk Credo che la distinzione che stavo cercando di fare qui può essere chiarita considerando la composizione di funzioni

La prima funzione è una variabile casuale

; il secondo (chiamalo

) qui è definito uno stimatore , e la composizione dei due

è una "stima" o "procedura di stima", che è - come dici giustamente - un caso variabile.

Ω \to R^{n} \to R .

$\Omega\to\mathbb{R}^n\to\mathbb{R}.$

X

$X$

t

$t$

t \circ X : Ω \to R

$t\circ X:\Omega\to\mathbb{R}$

— whuber

1

@whuber Nel tuo post dici "Lo stesso stimatore non è una variabile casuale". Ho tentato una modifica al tuo post per chiarire il punto su cui tu ed io sembriamo concordare, ma sembra che qualcuno abbia rifiutato la mia modifica. Forse preferirebbero la tua modifica!

— jsk

Continuiamo questa discussione in chat .

— whuber

7

In breve: uno stimatore è una funzione e una stima è un valore che riassume un campione osservato.

Uno stimatore è una funzione che mappa un campione casuale alla stima dei parametri:

Si noti che uno stimatore dinvariabili casualiè una variabile casuale . Ad esempio, uno stimatore è la media del campione:

\hat{Θ} = t (X_{1}, X_{2}, . . ., X_{n})

$\hat{\Theta}=t(X_1,X_2,...,X_n)$

X_{1}, X_{2}, . . ., X_{n}

$X_1,X_2,...,X_n$

\hat{Θ}

$\hat{\Theta}$

Unastima

è il risultato dell'applicazione della funzione stimatore minuscola osservati campione

:

\bar{X} = \frac{1}{n} Σ_{n = 1}^{n} X_{io}

$\overline{X}=\frac{1}{n}\sum_{n=1}^nX_i$

\hat{θ}

$\hat{\theta}$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

Ad esempio, una stima del campione osservatoè il campione

\hat{θ} = t (X_{1}, X_{2}, . . ., X_{n})

$\hat{\theta}=t(x_1,x_2,...,x_n)$

x_{1}, x_{2}, . . ., x_{n}

$x_1,x_2,...,x_n$

\hat{μ} = \bar{X} = \frac{1}{n} Σ_{n = 1}^{n} X_{io}

$\hat{\mu}=\overline{x}=\frac{1}{n}\sum_{n=1}^nx_i$

— uomo libero
fonte

lo stimatore è un camper, mentre la stima è una costante?

— Parthiban Rajendran,

Le tue conclusioni non sono in conflitto con quelle di @ whuber? Qui dici che lo stimatore è RV, ma whuber dice il contrario.

— Parthiban Rajendran,

Sì, non sono d'accordo con l'affermazione di @ whuber "Lo stesso stimatore non è una variabile casuale: è solo una funzione matematica". Una funzione di variabile casuale è anche una variabile casuale. onlinecourses.science.psu.edu/stat414/node/128

— Freeman

3

Potrebbe essere utile illustrare la risposta di Whuber nel contesto di un modello di regressione lineare. Supponiamo che tu abbia alcuni dati bivariati e usi i minimi quadrati ordinari per elaborare il seguente modello:

Y = 6X + 1

A questo punto, puoi prendere qualsiasi valore di X, collegarlo al modello e prevedere il risultato, Y. In questo senso, potresti pensare ai singoli componenti della forma generica del modello ( mX + B ) come stimatori . I dati di esempio (che presumibilmente hai inserito nel modello generico per calcolare i valori specifici per m e B sopra) hanno fornito una base su cui potresti fornire stime per m e B rispettivamente.

Coerentemente con i punti di @ whuber nel nostro thread di seguito, qualunque sia il valore di Y generato da un particolare insieme di stimatori, nel contesto della regressione lineare, viene considerato come valore previsto.

(modificato - alcune volte - per riflettere i commenti qui sotto)

— ashaw
fonte

1

Hai ben definito un predittore. È leggermente (ma soprattutto) diverso da uno stimatore. Lo stimatore in questo contesto è la formula dei minimi quadrati utilizzata per calcolare i parametri 1 e 6 dai dati.

— whuber

Hmm, non intendevo in questo modo, @whuber, ma penso che il tuo commento illustri un'importante ambiguità nella mia lingua che non avevo notato prima. Il punto principale qui è che puoi pensare alla forma generica dell'equazione Y = mX + B (come usato sopra) come uno stimatore, mentre i particolari valori previsti generati da esempi specifici di quella formula (ad es. 1 + 6X) sono stime. Vorrei provare a modificare il paragrafo sopra per catturare quella distinzione ...

— riscosso il

btw, sto cercando di spiegare questo senza introdurre la notazione "hat" che ho riscontrato nella maggior parte delle discussioni sui libri di testo di questo concetto. Forse questa è la strada migliore dopo tutto?

— sciopero

2

Penso che tu abbia colto un bel mezzo tra precisione e tecnicità nella tua risposta originale: continuate così! Non hai bisogno di cappelli, ma se riesci a mostrare come uno stimatore si distingue da altre cose simili, sarebbe molto utile. Si noti tuttavia la distinzione tra la previsione di un valore Y e la stima di un parametro come m o b . Y potrebbe essere interpretato come una variabile casuale; m e b non lo sono (tranne in un ambiente bayesiano).

— whuber

anzi, un ottimo punto in termini di parametri rispetto a valori lì. Editing again ...

— svelato il

0

Supponiamo di aver ricevuto alcuni dati e di avere una variabile osservata chiamata theta. Ora i tuoi dati possono provenire da una distribuzione di dati, per questa distribuzione c'è un valore corrispondente di theta che tu deduci che è una variabile casuale. È possibile utilizzare la MAP o la media per calcolare la stima di questa variabile casuale ogni volta che cambia la distribuzione dei dati. Quindi la variabile casuale theta è conosciuta come una stima , un singolo valore della variabile non osservata per un particolare tipo di dati.

Mentre lo stimatore sono i tuoi dati, che è anche una variabile casuale. Per diversi tipi di distribuzioni hai diversi tipi di dati e quindi hai una stima diversa e quindi questa corrispondente variabile casuale è chiamata stimatore .

— Ankur Kothari
fonte