Vista unificata sulla contrazione: qual è la relazione (se presente) tra il paradosso di Stein, la regressione della cresta e gli effetti casuali nei modelli misti?

Considera i seguenti tre fenomeni.

1. Paradosso di Stein: dati alcuni dalla distribuzione normale multivariata in , la media campionaria non è un ottimo stimatore della media vera. Si può ottenere una stima con errore quadratico medio inferiore se si riducono tutte le coordinate della media campionaria verso zero [o verso la loro media, o effettivamente verso qualsiasi valore, se capisco correttamente].$\mathbb R^n, \: n\ge 3$

   NB: di solito il paradosso di Stein è formulato prendendo in considerazione un solo punto dati da ; per favore correggimi se questo è cruciale e la mia formulazione sopra non è corretta.$\mathbb R^n$

2. Regressione della cresta: date alcune variabili dipendenti e alcune variabili indipendenti , la regressione standard tende sovrautilizzare i dati e portare a scarse prestazioni fuori campione. Spesso si può ridurre il sovradimensionamento riducendo allo zero: .$\mathbf y$$\mathbf X$$\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y$$\beta$$\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y$

3. Effetti casuali in modelli multilivello / misti: data una variabile dipendente (ad es. L'altezza dello studente) che dipende da alcuni predittori categorici (ad es. ID scuola e genere dello studente), si consiglia spesso di considerare alcuni predittori come "casuali", cioè supporre l'altezza media dello studente in ogni scuola deriva da una distribuzione normale sottostante. Ciò si traduce in una riduzione delle stime dell'altezza media per scuola verso la media globale.$y$

Ho la sensazione che tutti questi siano vari aspetti dello stesso fenomeno del "restringimento", ma non ne sono sicuro e certamente privo di una buona intuizione al riguardo. Quindi la mia domanda principale è: c'è davvero una profonda somiglianza tra queste tre cose o è solo una parvenza superficiale? Qual è il tema comune qui? Qual è l'intuizione corretta al riguardo?

Inoltre, ecco alcuni pezzi di questo puzzle che non si adattano perfettamente a me:

• Nella regressione della cresta, non viene ridotto in modo uniforme; il restringimento della cresta è in realtà correlato alla decomposizione del valore singolare di , con le direzioni a bassa varianza che si restringono di più (vedere ad esempio The Elements of Statistical Learning 3.4.1). Ma lo stimatore di James-Stein prende semplicemente la media del campione e la moltiplica per un fattore di scala. Come si adatta insieme?$\beta$$\mathbf X$

  Aggiornamento: vedere James-Stein Estimator con varianze disuguali e, ad esempio, qui per quanto riguarda le varianze dei coefficienti .$\beta$

• La media del campione è ottimale nelle dimensioni inferiori a 3. Significa che quando ci sono solo uno o due predittori nel modello di regressione, la regressione della cresta sarà sempre peggiore dei minimi quadrati ordinari? In realtà, vieni a pensarci bene, non riesco a immaginare una situazione in 1D (cioè una regressione semplice e non multipla) in cui il restringimento della cresta sarebbe utile ...

  Aggiornamento: No. Vedi esattamente in quali condizioni la regressione della cresta è in grado di fornire un miglioramento rispetto alla normale regressione dei minimi quadrati?

• D'altra parte, la media del campione è sempre non ottimale in dimensioni superiori a 3. Significa che con più di 3 predittori la regressione della cresta è sempre migliore di OLS, anche se tutti i predittori non sono correlati (ortogonali)? Di solito la regressione della cresta è motivata dalla multicollinearità e dalla necessità di "stabilizzare" il termine .$(\mathbf X^\top \mathbf X)^{-1}$

  Aggiornamento: Sì! Vedi la stessa discussione sopra.

• Ci sono spesso discussioni accese sul fatto che vari fattori in ANOVA debbano essere inclusi come effetti fissi o casuali. Non dovremmo, secondo la stessa logica, considerare sempre un fattore come casuale se ha più di due livelli (o se ci sono più di due fattori? Ora sono confuso)?

  Aggiornamento :?

---

Aggiornamento: ho ottenuto delle risposte eccellenti, ma nessuna fornisce un quadro abbastanza ampio, quindi lascerò la domanda "aperta". Posso promettere di assegnare una taglia di almeno 100 punti a una nuova risposta che supererà quelle esistenti. Sono principalmente alla ricerca di una visione unificante che possa spiegare come il fenomeno generale del restringimento si manifesti in questi vari contesti e sottolineare le principali differenze tra loro.

Collegamento tra lo stimatore di James-Stein e la regressione della cresta

Sia un vettore di osservazione di di lunghezza , , lo stimatore di James-Stein è In termini di regressione della cresta, possiamo stimare via dove la soluzione è È facile vedere che i due stimatori sono nella stessa forma, ma dobbiamo stimare$\mathbf y$$\boldsymbol \theta$$m$${\mathbf y} \sim N({\boldsymbol \theta}, \sigma^2 I)$

$$\widehat{\boldsymbol \theta}_{JS} = \left( 1 - \frac{(m-2) \sigma^2}{\|{\mathbf y}\|^2} \right) {\mathbf y}.$$ $\boldsymbol \theta$$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\boldsymbol{\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2 ,$ $$\widehat{\boldsymbol \theta}_{\mathrm{ridge}} = \frac{1}{1+\lambda}\mathbf y.$$ $\sigma^2$ nello stimatore di James-Stein e determina nella regressione della cresta tramite validazione incrociata.$\lambda$

Collegamento tra stimatore di James-Stein e modelli di effetti casuali

Parliamo prima dei modelli di effetti misti / casuali in genetica. Il modello è Se non ci sono effetti fissi e , il modello diventa che equivale all'impostazione dello stimatore James-Stein, con alcuni Idea bayesiana.

$$\mathbf {y}=\mathbf {X}\boldsymbol{\beta} + \boldsymbol{Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $\mathbf {Z}=I$ $$\mathbf {y}=\boldsymbol{\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I),$$

Connessione tra modelli di effetti casuali e regressione della cresta

Se ci concentriamo sui modelli di effetti casuali sopra, La stima equivale a risolvere il problema quando . La prova può essere trovata nel capitolo 3 di Riconoscimento dei modelli e apprendimento automatico .

$$\mathbf {y}=\mathbf {Z\theta}+\mathbf {e}, \boldsymbol{\theta}\sim N(\mathbf{0},\sigma^2_{\theta} I), \textbf{e}\sim N(\mathbf{0},\sigma^2 I).$$ $$\min_{\boldsymbol{\theta}} \|\mathbf{y}-\mathbf {Z\theta}\|^2 + \lambda\|\boldsymbol{\theta}\|^2$$ $\lambda=\sigma^2/\sigma_{\theta}^2$

Collegamento tra modelli di effetti casuali (multilivello) e quello in genetica

Nel modello di effetti casuali sopra, la dimensione di è e quella di è . Se vettorializziamo come e ripetiamo conseguenza, allora abbiamo la struttura gerarchica / cluster, i cluster e ognuno con unità. Se regrediamo su ripetuti , allora possiamo ottenere l'effetto casuale di su per ciascun cluster, sebbene sia un po 'come una regressione inversa.$\mathbf y$$m\times 1,$$\mathbf Z$$m \times p$$\mathbf Z$$(mp)\times 1,$$\mathbf y$$p$$m$$\mathrm{vec}(\mathbf Z)$$\mathbf y$$Z$$y$

Riconoscimento : i primi tre punti sono in gran parte appresi da questi due articoli cinesi, 1 , 2 .

Lascio che sia un esercizio per la comunità dare corpo a questa risposta, ma in generale il motivo per cui gli stimatori del restringimento * domineranno * stimatori imparziali in campioni finiti è perché Bayes stimatori non possono essere dominati , e molti stimatori di contrazione possono essere derivati ​​come Bayes. $^1$$^2$$^3$$^4$

Tutto ciò rientra nell'egida della teoria delle decisioni. Un riferimento esauriente, ma piuttosto ostile, è "Teoria della stima puntuale" di Lehmann e Casella. Forse altri possono entrare con riferimenti più amichevoli?

---

$^1$ Uno stimatore del parametro sui dati è dominato da un altro stimatore se per ogni il rischio (ad es. Errore quadratico medio) di è uguale o maggiore di e batte per almeno un . In altre parole, ottieni prestazioni uguali o migliori per ovunque nello spazio dei parametri.$\delta_1(X)$$\theta \in \Omega$$X$$\delta_2(X)$$\theta \in \Omega$$\delta_1$$\delta_2$$\delta_2$$\delta_1$$\theta$$\delta_2$

$^2$ Uno stimatore è Bayes (comunque sotto perdita di errore al quadrato) se è l'aspettativa posteriore di , dati i dati, sotto alcuni precedenti , ad esempio, , dove l'attesa è presa con il posteriore. Naturalmente, diversi priori comportano rischi diversi per diversi sottogruppi di . Un esempio importante giocattolo è la prima che mette tutti prima massa attorno al punto . Quindi puoi mostrare che lo stimatore di Bayes è la funzione costante$\theta$$\pi$$\delta(X) = E(\theta | X)$$\Omega$

$$\pi_{\theta_0} = \begin{cases} 1 & \mbox{if } \theta = \theta_0 \\ 0 & \theta \neq \theta_0 \end{cases}$$ $\theta_0$$\delta(X) = \theta_0$, che ovviamente ha prestazioni estremamente buone in e vicino a , e prestazioni pessime altrove. Tuttavia, non può essere dominato, poiché solo quello stimatore porta a zero rischi a .$\theta_0$$\theta_0$

$^3$ Una domanda naturale è se uno stimatore che non può essere dominato (chiamato ammissibile , anche se l'indomabile non sarebbe sneakerer) deve essere Bayes? La risposta è quasi Vedi "teoremi di classe completi".

$^4$ Per esempio, la regressione crinale si pone come una procedura bayesiana quando si effettua una normale (0, ) precedenti il , e casuali modelli di effetto nascono come una procedura bayesiana empirica in un contesto simile . Questi argomenti sono complicati dal fatto che la versione vaniglia dei teoremi di ammissibilità bayesiana presume che ogni parametro abbia un precedente adeguato posto su di esso. Anche nella regressione della cresta, questo non è vero, perché il "precedente" è posto sulla varianza$1/\lambda^2$$\beta$$\sigma^2$del termine di errore è la funzione costante (misura di Lebesgue), che non è una distribuzione di probabilità (integrabile) corretta. Tuttavia, molti di questi stimatori "parzialmente" di Bayes possono essere considerati ammissibili dimostrando che sono il "limite" di una sequenza di stimatori che sono Bayes propri. Ma le prove qui diventano piuttosto contorte e delicate. Vedi "stimatori generalizzati di bayes".

• James-Stein assume che la dimensione della risposta sia almeno 3. Nella regressione della cresta standard la risposta è monodimensionale. Stai confondendo il numero di predittori con la dimensione della risposta.

• Detto questo, vedo la somiglianza tra queste situazioni, ma cosa fare esattamente, ad esempio se un fattore deve essere fisso o casuale, quanta contrazione applicare, se non del tutto, dipende dal particolare set di dati. Ad esempio, più i predittori sono ortogonali, meno ha senso selezionare la regressione di Ridge rispetto alla regressione standard. Maggiore è il numero di parametri, più ha senso estrarre il precedente dal set di dati stesso tramite Empirical Bayes e quindi utilizzarlo per ridurre le stime dei parametri. Maggiore è il rapporto segnale-rumore, minori saranno i benefici del restringimento, ecc.

Come altri hanno già detto, la connessione tra i tre è il modo in cui si incorporano le informazioni precedenti nella misurazione.

1. Nel caso del paradosso di Stein, sai che la vera correlazione tra le variabili di input dovrebbe essere zero (e tutte le possibili misure di correlazione, poiché vuoi implicare l'indipendenza, non solo la non correlazione), quindi puoi costruire una variabile migliore della semplice campionare la media e sopprimere le varie misure di correlazione. Nel quadro bayesiano, è possibile costruire un precedente che pesa letteralmente gli eventi che portano alla correlazione tra i mezzi di campionamento e su pesa gli altri.
2. In caso di regressione della cresta, si desidera trovare una buona stima per il valore di aspettativa condizionale E (y | x). In linea di principio si tratta di un problema di dimensione infinita e mal definito poiché abbiamo solo un numero finito di misurazioni. Tuttavia, la conoscenza precedente è che stiamo cercando una funzione continua che modella i dati. Questo è ancora mal definito, poiché ci sono ancora infinitamente molti modi per modellare le funzioni continue, ma l'insieme è un po 'più piccolo. La regressione della cresta è solo un modo semplice per ordinare le possibili funzioni continue, testarle e fermarsi ad un ultimo grado di libertà. Un'interpretazione è l'immagine della dimensione VC: durante la regressione della cresta, si controlla che il modello af (x, p1, p2 ...) con un determinato grado di libertà descriva l'incertezza inerente ai dati. In pratica, misura quanto bene può f (x, p1, p2 ... ) e la P empirica (p1, p2 ...) può ricostruire l'intera distribuzione P (y | x) e non solo E (y | x). In questo modo vengono soppesati i modelli con troppi gradi di libertà (che di solito si adattano eccessivamente), poiché più parametri dopo un certo grado di libertà daranno maggiori correlazioni tra i parametri e di conseguenza P (f (x, p1, p2) molto più ampi. ..)) distribuzioni. Un'altra interpretazione è che la funzione di perdita originale è anche un valore di misura e che la valutazione su un dato campione comporta un'incertezza, quindi il vero compito non è minimizzare la funzione di perdita ma trovare un minimo significativamente inferiore al valore altri (praticamente passare da un grado di libertà all'altro è una decisione bayesiana, quindi si cambia il numero di parametri solo se danno una riduzione significativa della funzione di perdita). La regressione della cresta può essere interpretata come un'approssimazione di queste due immagini (dimensione CV, perdita attesa). In alcuni casi si desidera preferire gradi più elevati di libertà, ad esempio nella fisica delle particelle si studia la collisione di particelle in cui ci si aspetta che il numero prodotto di particelle sia una distribuzione di Poisson, quindi si ricostruisce la traccia di particelle su un'immagine (una foto ad esempio ) in un modo che preferisce un determinato numero di tracce e sopprime i modelli che hanno una interpretazione del numero di traccia più piccola o più alta dell'immagine.
3. Il terzo caso tenta anche di implementare un'informazione precedente nella misurazione, vale a dire che dalle misurazioni precedenti è noto che l'altezza degli studenti può essere modellata molto bene dalle distribuzioni gaussiane e non da un Cauchy, per esempio.

Quindi, in breve, la risposta è che puoi ridurre l'incertezza di una misurazione se sai cosa aspettarti e classificare i dati con alcuni dati precedenti (le informazioni precedenti). Questi dati precedenti sono ciò che vincola la funzione di modellazione utilizzata per adattarsi alle misurazioni. In casi semplici puoi annotare il tuo modello nel framework bayesiano, ma a volte è poco pratico, come integrare tutte le possibili funzioni continue per trovare quello che ha il valore bayesiano massimo A posteriore.

Stimatore di James Stein e regressione di Ridge

Tener conto di

$\mathbf y=\mathbf{X}\beta+\mathbf{\epsilon}$

Con $\mathbf{\epsilon}\sim N(0,\sigma^2I)$

La soluzione meno quadrata è nella forma

$\hat \beta= \mathbf S^{-1}\mathbf{X}'\mathbf{y}$ dove .$\mathbf S= \mathbf X'\mathbf X$

$\hat \beta$ è imparziale per e ha una matrice di covriance . Quindi possiamo scrivere$\beta$$\sigma^2 \mathbf S^{-1}$

$\hat \beta \sim N(\beta, \sigma^2\mathbf S^{-1})$ Nota che sono le stime di massima verosimiglianza, MLE.$\hat \beta$

James Stein

Per semplicità per la Jame Stein assumeremo . James e Stein aggiungeranno quindi un precedente sulla , del modulo$\mathbf S=\mathbf I$$\beta$

$\beta \sim N(0,a\mathbf I)$

E otterrà un posteriore della forma , loro stimerà quindi con e otterrà uno stimatore di James Stein del modulo$\frac{a}{a+\sigma^2}\hat \beta=(1-\frac{\sigma^2}{a+\sigma^2})\hat \beta$$\frac{1}{a+\sigma^2}$$\frac{p-2}{\|\hat \beta\|^2}$

$\hat \beta=(1-\frac{p-2}{\|\hat \beta\|^2})\hat \beta$ .

Regressione della cresta

Nella regressione della cresta è generalmente standardizzato (media 0, vairance 1 per ogni colonna di ) in modo che i parametri di regressione siano comparabili. Quando questo è per .$\mathbf X$$\mathbf X$$\beta=(\beta_1,\beta_2,\ldots, \beta_p)$$S_{ii}=1$$i=1,2,\ldots,p$

Una stima di regressione della cresta di è definita come, , essere$\beta$$\lambda\geq0$

$\hat \beta (\lambda) =(\mathbf S+\lambda I)^{-1}\mathbf X'\mathbf y=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$ nota che è l'MLE.$\hat \beta$

Come è stato derivato ?? Richiamare$\hat \beta (\lambda)$

$\hat \beta \sim N(\hat \beta, \sigma^2\mathbf S^{-1})$ e se aggiungiamo un precedente bayesiano

$\beta\sim N(0,\frac{\sigma^2}{\lambda}\mathbf I)$

Quindi otteniamo

$\text{E}\left(\beta|\hat \beta\right)=(\mathbf S +\lambda\mathbf I)^{-1}\mathbf S \hat \beta$

Come per la stima della regressione della cresta . Quindi la forma originale di James Stein qui fornita prende e .$\hat \beta (\lambda)$$\mathbf S=\mathbf I$$a=\frac{\sigma^2}{\lambda}$