L'intuizione dietro il perché il paradosso di Stein si applica solo in dimensioni

Esempio di Stein mostra che la probabilità stima massimo di $n$ variabili normalmente distribuite con mezzi $\mu_1,\ldots,\mu_n$ e varianze $1$ è inammissibile (sotto una funzione di perdita quadrato) sse $n\ge 3$ . Per una chiara dimostrazione, vedi il primo capitolo dell'Inferenza su larga scala: metodi di Bayes empirici per la stima, il test e la previsione di Bradley Effron.

$x \sim \mathcal N(\mu,1)$ $\mathbb{E}\|x\|^2\approx \|\mu\|^2+n$

La mia domanda è piuttosto: a quale proprietà dello spazio dimensionale (per ) manca che facilita l'esempio di Stein? Le possibili risposte potrebbero riguardare la curvatura della sfera o qualcosa di completamente diverso. $n$ $n\ge 3$ $\mathbb{R}^2$ $n$

In altre parole, perché l'MLE è ammissibile in ? $\mathbb{R}^2$

Modifica 1: in risposta a @mpiktas preoccupazione circa 1,31 seguito da 1,30:

E_{μ} (‖ z - \hat{μ} ‖^{2}) = E_{μ} (S {(\frac{N - 2}{S})}^{2}) = E_{μ} (\frac{(N - 2)^{2}}{S}) .

$E_\mu\left(\|z-\hat{\mu}\|^2\right)=E_\mu\left(S\left(\frac{N-2}{S}\right)^2\right)=E_\mu\left(\frac{(N-2)^2}{S}\right).$

\hat{μ_{i}} = (1 - \frac{N - 2}{S}) z_{i}

$\hat{\mu_i} = \left(1-\frac{N-2}{S}\right)z_i$ soPertanto abbiamo:

E_{μ} (\frac{\partial \hat{μ_{i}}}{\partial z_{i}}) = E_{μ} (1 - \frac{N - 2}{S} + 2 \frac{z_{i}^{2}}{S^{2}}) .

$E_\mu\left(\frac{\partial\hat{\mu_i}}{\partial z_i} \right)=E_\mu\left( 1-\frac{N-2}{S}+2\frac{z_i^2}{S^2}\right).$

2 \sum_{i = 1}^{N} E_{μ} (\frac{\partial \hat{μ_{i}}}{\partial z_{i}}) = 2 N - 2 E_{μ} (\frac{N (N - 2)}{S}) + 4 E_{μ} (\frac{(N - 2)}{S}) = 2 N - E_{μ} \frac{2 (N - 2)^{2}}{S} .

$2\sum_{i=1}^N E_\mu\left(\frac{\partial\hat{\mu_i}}{\partial z_i} \right)=2N-2E_\mu\left(\frac{N(N-2)}{S}\right)+4E_\mu\left(\frac{(N-2)}{S}\right)\\=2N-E_\mu\frac{2(N-2)^2}{S}.$

Modifica 2 : In questo documento , Stein dimostra che l'MLE è ammissibile per . $N=2$

— Har
fonte

@mpiktas Non è così inapplicabile come sembra. La situazione è simile a un'ANOVA dopo l'applicazione di una riduzione di sufficienza. Ciò suggerisce che le consuete stime ANOVA delle medie di gruppo sono inammissibili, a condizione che stiamo cercando di stimare le medie di più di 3 gruppi (che risulta essere vero). Vorrei raccomandare di esaminare le prove che l'MLE è ammissibile per e di vedere dove falliscono quando si tenta di estendere a piuttosto che guardare solo le prove che lo stimatore di Stein fa quello che sostiene di fare, il che è facile una volta in realtà hai in mente lo stimatore.

N = 1, 2

$N = 1, 2$

N = 3

$N = 3$

— ragazzo,

... e so usare il Lemma di Stein. Immagino che in realtà sia un po 'meno semplice di quanto pensassi 6 minuti fa.

— ragazzo,

Sono d'accordo. Hai qualche buona referenza per questo (a parte il documento originale). Ho trovato il documento originale di Stein eccessivamente computazionale e speravo che qualcuno avrebbe sviluppato un metodo diverso negli ultimi cinquant'anni.

— Har

La prova che mi è stato insegnato è stata quella di Brown e Hwang del 1983 che credo abbia usato un metodo suggerito da Blyth dai primi anni '50. È piuttosto generale (più generale del risultato di Stein in quanto funziona per la famiglia esponenziale) e, credo, abbastanza diverso da Stein. Ma non è banale.

— ragazzo,

@Har grande domanda! (+1)

— suncoolsu

Risposte:

La dicotomia tra i casi e per l'ammissibilità dell'MLE della media di una variabile casuale normale multivariata dimensionale è certamente scioccante. $d < 3$ $d \geq 3$ $d$

C'è un altro esempio molto famoso in probabilità e statistica in cui esiste una dicotomia tra i casi e . Questa è la ricorrenza di una semplice passeggiata casuale sul reticolo . Cioè, la semplice passeggiata casuale dimensionale è ricorrente in 1 o 2 dimensioni, ma è transitoria in dimensioni . Anche l'analogo del tempo continuo (sotto forma di moto browniano) vale. $d < 3$ $d \geq 3$ $\mathbb{Z}^d$ $d$ $d \geq 3$

Si scopre che i due sono strettamente correlati.

Larry Brown ha dimostrato che le due domande sono sostanzialmente equivalenti. Cioè, il miglior stimatore invariante di un -dimensionale multivariata vettore normale media è ammissibile se e solo se il dimensionale moto browniano è ricorrente. $\hat{\mu} \equiv \hat{\mu}(X) = X$ $d$ $d$

In effetti, i suoi risultati vanno molto oltre. Per ogni stimatore sensibile (cioè Bayes generalizzato) con rischio limitato (generalizzato) , esiste una diffusione dimensionale corrispondente esplicita (!) Tale che il stimatore è ammissibile se e solo se la diffusione corrispondente è ricorrente. $\tilde{\mu} \equiv \tilde{\mu}(X)$ $L_2$ $d$ $\tilde{\mu}$

La media locale di questa diffusione è essenzialmente la discrepanza tra i due stimatori, vale a dire, e la covarianza della diffusione è . Da questo, è facile intuire che nel caso dell'MLE , recuperiamo il moto browniano (riscalato). $\tilde{\mu} - \hat{\mu}$ $2 I$ $\tilde{\mu} = \hat{\mu} = X$

Quindi, in un certo senso, possiamo vedere la questione della ricevibilità attraverso la lente dei processi stocastici e usare proprietà ben studiate delle diffusioni per arrivare alle conclusioni desiderate.

Riferimenti

L. Brown (1971). Stimatori ammissibili, diffusioni ricorrenti e problemi di valore limite insolubili . Ann. Matematica. Statistica. , vol. 42, n. 3, pagg. 855–903.
RN Bhattacharya (1978). Criteri per la ricorrenza e l'esistenza di misure invarianti per le diffusioni multidimensionali . Ann. Prob. , vol. 6, n. 4, 541–553.

— cardinale
fonte

In realtà, qualcosa del genere è quello che speravo. Una connessione con un altro campo della matematica (che si tratti di geometria differenziale o processi stocastici) che dimostra che l'ammissibilità per non era solo un colpo di fortuna. Bella risposta!

n = 2

$n=2$

— Har

Ispirato dalla tua risposta, ho fornito alcuni dettagli e ho anche aggiunto una spiegazione geometrica in risposta a questo problema su MO: mathoverflow.net/questions/93745/…

— Henry.L

@cardinal ha dato un'ottima risposta (+1), ma l'intera questione rimane misteriosa a meno che non si abbia familiarità con le prove (e non lo sono). Quindi penso che la domanda rimanga su quale sia una ragione intuitiva per cui il paradosso di Stein non appare in e . $\mathbb R$ $\mathbb R^2$

Trovo molto utile una prospettiva di regressione offerta in Stephen Stigler, 1990, Una prospettiva galtoniana sugli stimatori di contrazione . Considera misure indipendenti , ognuna delle quali misura alcuni sottostanti (non osservati) e campionati da . Se in qualche modo conoscessimo il , potremmo creare un diagramma a dispersione di coppie : $X_i$ $\theta_i$ $\mathcal N(\theta_i, 1)$ $\theta_i$ $(X_i, \theta_i)$

Paradosso di Stein: prospettiva di regressione

La linea diagonale corrisponde a zero rumore e stima perfetta; in realtà il rumore è diverso da zero e quindi i punti vengono spostati dalla linea diagonale in direzione orizzontale . Di conseguenza, può essere visto come una linea di regressione di su . Tuttavia, conosciamo e vogliamo stimare , quindi dovremmo piuttosto considerare una linea di regressione di su - che avrà una pendenza diversa, distorta orizzontalmente , come mostrato nella figura (linea tratteggiata). $\theta = X$ $\theta = X$ $X$ $\theta$ $X$ $\theta$ $\theta$ $X$

Citando dal documento dello Stigler:

Questa prospettiva galtoniana sul paradosso di Stein lo rende quasi trasparente. Gli stimatori "ordinari" sono derivati dalla linea di regressione teorica di su . Quella riga sarebbe utile se il nostro obiettivo fosse predire da , ma il nostro problema è il contrario, vale a dire predire da usando la somma degli errori al quadrato come un criterio. Per quel criterio, gli stimatori lineari ottimali sono dati dalla linea di regressione dei minimi quadrati di su $\hat \theta_i^0 = X_i$ $X$ $\theta$ $X$ $\theta$ $\theta$ $X$ $\sum (\theta_i - \hat \theta_i)^2$ $\theta$ $X$ e gli stimatori James-Stein ed Efron-Morris sono essi stessi stimatori di quell'ottimizzatore lineare ottimale. Gli stimatori "ordinari" sono derivati dalla linea di regressione sbagliata, gli stimatori James-Stein ed Efron-Morris sono derivati dalle approssimazioni alla linea di regressione corretta.

E ora arriva la parte cruciale (enfasi aggiunta):

Possiamo anche vedere perché è necessario: se o , la linea dei minimi quadrati di su deve passare attraverso i punti , e quindi per o , il due linee di regressione (di su e di su ) devono concordare su ogni . $k\ge 3$ $k=1$ $2$ $\theta$ $X$ $(X_i, \theta_i)$ $k=1$ $2$ $X$ $\theta$ $\theta$ $X$ $X_i$

Penso che questo renda molto chiaro cosa c'è di speciale in e . $k=1$ $k=2$

— ameba dice Reinstate Monica
fonte