Stimatore James-Stein con varianze ineguali

Ogni affermazione che trovo dello stimatore di James-Stein presuppone che le variabili casuali stimate abbiano la stessa (e unità) varianza.

Ma tutti questi esempi menzionano anche che lo stimatore JS può essere usato per stimare quantità senza nulla a che fare l'una con l'altra. L' esempio di Wikipedia è la velocità della luce, il consumo di tè a Taiwan e il peso del maiale nel Montana. Ma presumibilmente le tue misurazioni su queste tre quantità avrebbero varianze "vere" diverse. Questo presenta un problema?

Ciò si lega a un problema concettuale più ampio che non capisco, correlato a questa domanda: Stimatore James-Stein: In che modo Efron e Morris hanno calcolato nel fattore di restringimento per il loro esempio di baseball? $\sigma^2$ Calcoliamo il fattore di restringimento come segue: $c$

c = 1 - \frac{(k - 3) σ^{2}}{\sum (y - \bar{y})^{2}}

$c = 1 - \frac{(k-3) \sigma^2} {\sum (y - \bar{y})^2}$

Intuitivamente, penso che il termine sia in realtà - diverso per ogni quantità stimata. Ma la discussione in quella domanda parla solo dell'uso della varianza aggregata ... $\sigma^2$ $\sigma^2_i$

Gradirei davvero se qualcuno potesse chiarire questa confusione!

estimation shrinkage steins-phenomenon

— exp1orer
fonte

Se la varianza è possiamo semplicemente moltiplicare a sinistra per per tornare al problema di James-Stein. Se è sconosciuto, ma ogni "osservazione" nel problema è una media campionaria calcolata sulla base delle osservazioni , possiamo stimare con qualche e sperare di ottenere anche una situazione di James-Stein se pre-moltiplichiamo per invece.

D = diag (σ_{1}^{2}, \dots, σ_{n}^{2})

$D = \mbox{diag}(\sigma_1^2, \ldots, \sigma_n^2)$

D^{- 1 / 2}

$D^{-1/2}$

D

$D$

m_{i}

$m_i$

D

$D$

\hat{D}

$\hat D$

{\hat{D}}^{- 1 / 2}

$\hat D^{-1/2}$

— ragazzo,

@guy: questo è un suggerimento ragionevole (+1), tuttavia ciò comporterà lo stesso fattore di restringimento per tutte le variabili, mentre si vorrebbe ridurre le variabili in modo diverso, a seconda della loro varianza / incertezza. Vedi la risposta che ho appena pubblicato.

— ameba dice Ripristina Monica il

@amoeba Certo; Non stavo suggerendo che il mio stimatore fosse pratico, solo che illustrava il motivo per cui la gente dice le cose che OP ha menzionato nel suo secondo paragrafo.

— ragazzo

A questa domanda fu esplicitamente risposto nella serie classica di articoli sullo stimatore di James-Stein nel contesto di Empirical Bayes scritto negli anni '70 da Efron & Morris. Mi riferisco principalmente a:

Efron e Morris, 1973, la regola di stima di Stein e i suoi concorrenti: un approccio empirico a Bayes
Efron e Morris, 1975, Analisi dei dati con lo stimatore di Stein e le sue generalizzazioni
Efron e Morris, 1977, Stein's Paradox in Statistics

Il documento del 1977 è un'esposizione non tecnica da leggere. Lì introducono l'esempio dell'ovatta da baseball (che è discusso nel thread a cui sei collegato); in questo esempio si suppone che le varianze di osservazione siano uguali per tutte le variabili e il fattore di contrazione sia costante. $c$

Tuttavia, continuano a dare un altro esempio, che sta valutando i tassi di toxoplasmosi in un certo numero di città in El Salvador. In ogni città è stato esaminato un numero diverso di persone, quindi si può pensare che le singole osservazioni (tasso di toxoplasmosi in ciascuna città) abbiano varianze diverse (più basso è il numero di persone intervistate, maggiore è la varianza). L'intuizione è certamente che i punti dati con bassa varianza (bassa incertezza) non devono necessariamente essere ridotti tanto quanto i punti dati con elevata varianza (alta incertezza). Il risultato della loro analisi è mostrato nella figura seguente, dove si può effettivamente vedere che ciò sta accadendo:

inserisci qui la descrizione dell'immagine

Gli stessi dati e analisi sono presentati anche nel documento molto più tecnico del 1975, in una figura molto più elegante (purtroppo non mostra le singole varianze), vedere la Sezione 3:

inserisci qui la descrizione dell'immagine

Lì presentano un trattamento Empirical Bayes semplificato che procede come segue. Lascia che dove è sconosciuta. Nel caso in cui tutti i siano identici, il trattamento standard di Empirical Bayes consiste nel stimare come e calcolare la media a posteriori di come che è nulla altro che lo stimatore di James-Stein.

X_{i} | θ_{i} \sim N (θ_{i}, D_{i}) θ_{i} \sim N (0, A)

$X_i|\theta_i \sim \mathcal N(\theta_i, D_i)\\ \theta_i \sim \mathcal N(0, A)$

A

$A$

D_{i} = 1

$D_i=1$

1 / (1 + A)

$1/(1+A)$

(k - 2) / \sum X_{j}^{2}

$(k-2)/\sum X_j ^2$

θ_{i}

$\theta_i$

{\hat{θ}}_{i} = (1 - \frac{1}{1 + A}) X_{i} = (1 - \frac{k - 2}{\sum X_{j}^{2}}) X_{i},

$\hat \theta_i = \left(1-\frac{1}{1+A}\right)X_i = \left(1-\frac{k-2}{\sum X_j^2}\right)X_i,$

Se ora , la regola di aggiornamento di Bayes è e possiamo usare lo stesso trucco di Bayes empirico per stimare , anche se in questo caso non esiste una formula chiusa per (vedere il documento). Tuttavia, lo notano $D_i \ne 1$

{\hat{θ}}_{i} = (1 - \frac{D_{i}}{D_{i} + A}) X_{i}

$\hat \theta_i = \left(1-\frac{D_i}{D_i+A}\right)X_i$

A

$A$

\hat{A}

$\hat A$

... questa regola non si riduce a quella di Stein quando tutti sono uguali, e invece usiamo una variante minore di questo stimatore derivata [nel documento del 1973] che si riduce a quella di Stein. La regola della variante stima un valore diverso per ogni città. La differenza tra le regole è minore in questo caso, ma potrebbe essere importante se fosse più piccolo. $D_j$ $\hat A_i$ $k$

La sezione pertinente nel documento del 1973 è la Sezione 8, ed è un po 'più difficile da leggere. È interessante notare che hanno un commento esplicito lì sul suggerimento fatto da @guy nei commenti sopra:

Un modo molto semplice per generalizzare la regola di James-Stein per questa situazione è definire , in modo che , applica [la regola originale di James-Stein] ai dati trasformati, quindi torna alle coordinate originali. La regola risultante stima di Ciò non è attraente poiché ogni è ridotto verso l'origine dallo stesso fattore. $\tilde x_i = D_i^{-1/2} x_i, \tilde \theta_i = D_i^{-1/2} \theta_i$ $\tilde x_i \sim \mathcal N(\tilde \theta_i, 1)$ $\theta_i$
${\hat{θ}}_{i} = (1 - \frac{k - 2}{\sum [X_{j}^{2} / D_{j}]}) X_{i} .$ $\hat \theta_i = \left(1-\frac{k-2}{\sum [X_j^2 / D_j]}\right)X_i.$ $X_i$

Quindi continuano e descrivono la loro procedura preferita per stimare che devo confessare di non aver letto completamente (è un po 'coinvolto). Ti suggerisco di guardare lì se sei interessato ai dettagli. $\hat A_i$

— ameba dice Reinstate Monica
fonte