Lo stimatore di Bayes è immune da errori di selezione

Gli stimatori di Bayes sono immuni da errori di selezione?

La maggior parte degli articoli che discutono la stima in alta dimensione, ad esempio i dati dell'intera sequenza del genoma, solleveranno spesso il problema della distorsione della selezione. La distorsione della selezione deriva dal fatto che, sebbene abbiamo migliaia di potenziali predittori, solo pochi saranno selezionati e l'inferenza verrà fatta sui pochi selezionati. Quindi il processo si articola in due passaggi: (1) seleziona un sottoinsieme di predittori (2) esegue l'inferenza sugli insiemi di selezione, ad esempio, stima i rapporti di probabilità. Dawid nel suo documento sul paradosso del 1994 si concentrava su stimatori imparziali e stimatori di Bayes. Semplifica il problema selezionando l'effetto più grande, che potrebbe essere un effetto terapeutico. Quindi afferma che gli stimatori imparziali sono influenzati dalla distorsione della selezione. Ha usato l'esempio: assume poi ciascuno

Z_{i} \sim N (δ_{i}, 1), i = 1, \dots, N

$Z_i\sim N(\delta_i,1),\quad i=1,\ldots,N$

Z_{i}

$Z_i$ è imparziale per . Sia , lo stimatore è comunque distorto ( positivamente) per

. Questa affermazione può essere facilmente dimostrata con la disuguaglianza di Jensen. Pertanto, se sapessimo

, l'indice del più grande

, utilizzeremo semplicemente

come suo stimatore che è imparziale. Ma poiché non lo sappiamo, usiamo

invece che diventa distorto (positivamente).

δ_{i}

$\delta_i$

Z = (Z_{1}, Z_{2}, \dots, Z_{N})^{T}

$\mathbf{Z}=(Z_1,Z_2,\ldots,Z_N)^T$

γ_{1} (Z) = max {Z_{1}, Z_{2}, \dots, Z_{N}}

$\gamma_1(\mathbf{Z})=\max\{Z_1,Z_2,\ldots,Z_N\}$

max {δ_{1}, δ_{2}, \dots, δ_{N}}

$\max\{\delta_1,\delta_2,\ldots,\delta_N\}$

i_{max}

$i_{\max}$

δ_{i}

$\delta_i$

Z_{i_{max}}

$Z_{i_{\max}}$

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$

Ma la preoccupante affermazione di Dawid, Efron e di altri autori è che gli stimatori di Bayes sono immuni da errori di selezione. Se ora precedenza su , diciamo , Allora lo stimatore Bayes di è dato da dove , con lo standard gaussiano. $\delta_i$ $\delta_i\sim g(.)$ $\delta_i$

E {δ_{i} ∣ Z_{i}} = z_{i} + \frac{d}{d z_{i}} m (z_{i})

$\text{E}\{\delta_i\mid Z_i\}=z_i+\frac{d}{dz_i}m(z_i)$

m (z_{i}) = \int φ (z_{i} - δ_{i}) g (δ_{i}) d δ_{i}

$m(z_i)=\int \varphi(z_i-\delta_i)g(\delta_i)d\delta_i$

φ (.)

$\varphi(.)$

Se definiamo il nuovo stimatore di come qualunque cosa si sceglie di stimare con , sarà lo stesso se la selezione si è basata su .Questo segue perché è monotona in . Sappiamo anche che shrinkes verso lo zero con il termine, $\delta_{i_{\max}}$

γ_{2} (Z) = max {E {δ_{1} ∣ Z_{1}}, E {δ_{2} ∣ Z_{2}}, \dots, E {δ_{N} ∣ Z_{N}}},

$\gamma_2(\mathbf{Z})=\max\{\text{E}\{\delta_1\mid Z_1\},\text{E}\{\delta_2\mid Z_2\},\ldots,\text{E}\{\delta_N\mid Z_N\}\},$

i

$i$

δ_{i_{max}}

$\delta_{i_{\max}}$

γ_{1} (Z)

$\gamma_1(\mathbf{Z})$

i

$i$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

γ_{2} (Z)

$\gamma_2(\mathbf{Z})$

Z_{i}

$Z_i$

E {δ_{i} ∣ Z_{i}}

$\text{E}\{\delta_i\mid Z_i\}$

Z_{i}

$Z_i$

\frac{d}{d z_{i}} m (z_{i})

$\frac{d}{dz_i}m(z_i)$ che riduce alcuni dei pregiudizi positivi in . Ma come possiamo concludere che gli stimatori di Bayes sono immuni da errori di selezione. Davvero non capisco.

Z_{i}

$Z_i$

— Chamberlain Foncha
fonte

Dato che stai riferendo un reclamo in un pezzo di letteratura, puoi per favore fornire una situazione completa e un riferimento alla pagina, in modo che possiamo leggere l'intero contesto di questo reclamo.

— Ben - Ripristina Monica

Definire uno stimatore come il massimo degli stimatori di Bayes è ancora uno stimatore di Bayes?

— Xi'an,

Esempio 1 nel documento.

— Chamberlain Foncha,

Risposte:

Come descritto sopra, il problema sta con l'inferenza del disegno sull'indice e sul valore, (i⁰, μ⁰), della media più grande di un campione di camper normale. Ciò che trovo sorprendente nella presentazione di Dawid è che l'analisi bayesiana non suona molto bayesiana. Se viene dato l'intero campione, un approccio bayesiano dovrebbe produrre una distribuzione posteriore su (i⁰, μ⁰), piuttosto che seguire le fasi di stima, dalla stima di i⁰ alla stima della media associata. E se necessario, gli stimatori dovrebbero derivare dalla definizione di una particolare funzione di perdita. Quando, invece, dato il punto più grande del campione, e solo quel punto, la sua distribuzione cambia, quindi sono abbastanza confuso dall'affermazione che non è necessario alcun aggiustamento.

La modellazione precedente è anche piuttosto sorprendente in quanto i priori sui mezzi dovrebbero essere congiunti piuttosto che un prodotto di normali indipendenti, poiché questi mezzi sono confrontati e quindi comparabili. Ad esempio, un precedente gerarchico sembra più appropriato, con posizione e scala da stimare da tutti i dati. Creazione di una connessione tra i mezzi ... Un'obiezione rilevante all'uso di priori impropri indipendenti è che la media massima μ⁰ non ha quindi una misura ben definita. Tuttavia, non credo che una critica di alcuni priori contro altri sia un attacco rilevante a questo "paradosso".

— Xi'an
fonte

Mi sembra che tutta la protezione necessaria dovrebbe essere codificata nel precedente che collega tutti i mezzi sconosciuti. Se il precedente rende molto improbabili grandi differenze tra i mezzi, ciò si rifletterà sul posteriore rendendolo perfetto.

— Frank Harrell,

@ Xi'an puoi fare un esempio di come piazzerai un precedente ?

(i, μ)

$(i,\mu)$

— Chamberlain Foncha,

@Frank Harrel, considera ad esempio e . La stimatore è . Lo stimatore Bayes di è . Il if è il più grande così è , perché lo stimatore di Bayes è monotono in . Non importa quanto sia informativo il precedente, questo non cambierà. Tuttavia, riduce i Bayes positivi in . Ma se è stato scelto l' sbagliato, lo stimatore di Bayes non può correggerlo.

δ_{i} \sim N (a, 1)

$\delta_i \sim N(a,1)$

Z_{i} \sim N (δ_{i}, 1)

$Z_i\sim N(\delta_i,1)$

δ_{i}

$\delta_i$

Z_{i}

$Z_i$

δ_{i}

$\delta_i$

E (δ_{i} | Z_{i})

$E(\delta_i|Z_i)$

Z_{i^{0}}

$Z_{i^0}$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i}

$Z_i$

E (δ_{i^{0}} | Z_{i^{0}})

$E(\delta_{i^0}|Z_{i^0})$

Z_{i^{0}}

$Z_{i^0}$

i^{0}

$i^0$

— Chamberlain Foncha,

@ChamberlainFoncha: lo stimatore di Bayes è solo quando i sono a priori indipendenti. Un precedente comune su e li rende effettivamente dipendenti.

E [δ_{i} | Z_{i}]

$\mathbb{E}[\delta_i|Z_i]$

δ_{i}

$\delta_i$

i

$i$

μ_{i}

$\mu_i$

— Xi'an,

E qualsiasi precedente è accettabile dal punto di vista bayesiano, ad esempio una distribuzione uniforme sull'indice e un precedente gerarchico su 's.

μ_{i}

$\mu_i$

— Xi'an,

Anche se un po 'controintuitivo, l'affermazione è corretta. Supponiamo per questo esperimento, quindi il posteriore per è in realtà . Questo fatto contro-intuitivo è un po 'simile al fatto che Bayes è immune alle (segrete) fermate anticipate (che è anche molto contro-intuitive). $i^*=5$ $\mu_5$ $N(x_5,\sigma^2)$

Il ragionamento bayesiano porterebbe a false conclusioni se per ciascuno di questi esperimenti (immagina di ripeterlo alcune volte), solo i risultati per la migliore varietà sarebbero conservati. Ci sarebbe la selezione dei dati e i metodi bayesiani non sono chiaramente immuni alla selezione (segreta) dei dati. In realtà nessun metodo statistico è immune alla selezione dei dati.

Se fosse stata fatta una tale selezione, un completo ragionamento bayesiano che tenesse conto di questa selezione avrebbe facilmente corretto l'illusione.

Tuttavia, la frase "Lo stimatore di Bayes è immune da errori di selezione" è un po 'pericolosa. È facile immaginare situazioni in cui "selezione" significa qualcos'altro, come ad esempio la selezione di variabili esplicative o la selezione di dati. Bayes non è chiaramente immune da questo.

— Benoit Sanchez
fonte