Perché lo stimatore James-Stein è chiamato stimatore del "restringimento"?

Ho letto dello stimatore di James-Stein. È definito, in queste note , come

\hat{θ} = (1 - \frac{p - 2}{‖ X ‖^{2}}) X

$\hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X$

Ho letto la prova ma non capisco la seguente dichiarazione:

Dal punto di vista geometrico, lo stimatore di James-Stein riduce ogni componente di $X$ verso l'origine ...

Che cosa significa esattamente "restringe ogni componente di $X$ verso l'origine"? Stavo pensando a qualcosa come

‖ \hat{θ} - 0 ‖^{2} < ‖ X - 0 ‖^{2},

$\|\hat{\theta} - 0\|^2 < \|X - 0\|^2,$ che è vero in questo caso fintanto che

(p + 2) < ‖ X ‖^{2}

$(p+2) < \|X\|^2$ , poiché

‖ \hat{θ} ‖ = \frac{‖ X ‖^{2} - (p + 2)}{‖ X ‖^{2}} ‖ X ‖ .

$\|\hat{\theta}\| = \frac{\|X\|^2 - (p+2)}{\|X\|^2} \|X\|.$

È questo ciò che le persone intendono quando dicono "ridursi verso zero" perché, nel senso della norma $L^2$ , lo stimatore JS è più vicino a zero di $X$ ?

Aggiornamento dal 22/09/2017 : oggi mi sono reso conto che forse sto complicando troppo le cose. Sembra che la gente significhi davvero che una volta moltiplicato $X$ per qualcosa che è più piccolo di $1$ , vale a dire il termine $\frac{\|X\|^2 - (p + 2)}{\|X\|^2}$ , ogni componente di $X$ sarà più piccolo di prima.

— 3x89g2
fonte

Un'immagine a volte vale più di mille parole, quindi permettetemi di condividerne una con voi. Di seguito puoi vedere un'illustrazione che proviene dal paradosso di Stein sulla statistica di Bradley Efron (1977) . Come puoi vedere, ciò che fa lo stimatore di Stein è avvicinare ciascuno dei valori alla media generale. Rende i valori maggiori della media generale più piccoli e i valori più piccoli della media generale, più grandi. Per restringimento intendiamo spostare i valori verso la media , o verso lo zero in alcuni casi - come la regressione regolarizzata - che riduce i parametri verso lo zero.

Naturalmente, non si tratta solo di ridursi, ma ciò che Stein (1956) e James e Stein (1961) hanno dimostrato è che lo stimatore di Stein domina lo stimatore di massima verosimiglianza in termini di errore al quadrato totale,

E_{μ} (‖ {\hat{μ}}^{J S} - μ ‖^{2}) < E_{μ} (‖ {\hat{μ}}^{M L E} - μ ‖^{2})

$E_\mu(\| \boldsymbol{\hat\mu}^{JS} - \boldsymbol{\mu} \|^2) < E_\mu(\| \boldsymbol{\hat\mu}^{MLE} - \boldsymbol{\mu} \|^2)$

dove , è lo stimatore di Stein e , dove entrambi gli stimatori sono stimati sul campione . Le prove sono riportate nei documenti originali e nell'appendice del documento a cui si fa riferimento. In parole povere , ciò che hanno dimostrato è che se fai simultaneamente ipotesi, quindi in termini di errore al quadrato totale, faresti meglio a ridurle, rispetto ad attenersi alle tue ipotesi iniziali. $\boldsymbol{\mu} = (\mu_1,\mu_2,\dots,\mu_p)'$ $\hat\mu^{JS}_i$ $\hat\mu^{MLE}_i = x_i$ $x_1,x_2,\dots,x_p$ $p > 2$

Infine, lo stimatore di Stein non è certamente l'unico stimatore che dà l'effetto di restringimento. Per altri esempi, è possibile controllare questo post di blog o il libro di analisi dei dati bayesiani di riferimento di Gelman et al. Puoi anche controllare i thread sulla regressione regolarizzata, ad es. Quale problema risolvono i metodi di contrazione? o quando utilizzare i metodi di regolarizzazione per la regressione? , per altre applicazioni pratiche di questo effetto.

— Tim
fonte

L'articolo sembra utile e lo leggerò. Ho aggiornato la mia domanda per spiegare ulteriormente i miei pensieri. Potresti dare un'occhiata? Grazie!

— 3x89g2

@Tim Penso che l'argomento Misakov sia legittimo in quanto lo stimatore James-Stein porta lo stimatore di più vicino a zero rispetto al MLE. Zero ha un ruolo centrale e centrale in questo stimatore e gli stimatori di James-Stein possono essere costruiti che si restringono verso altri centri o addirittura sottospazi (come in George, 1986). Ad esempio, Efron e Morris (1973) si restringono verso la media comune, che equivale al sottospazio diagonale.

θ

$\theta$

— Xi'an,