Esiste un'interpretazione bayesiana per REML?

È disponibile un'interpretazione bayesiana di REML? A mio avviso, REML ha una forte somiglianza con le cosiddette procedure empiriche di stima di Bayes , e mi chiedo se sia stato dimostrato un qualche tipo di equivalenza asintotica (secondo una classe di priori adatta). Sia Bayes empirico che REML sembrano approcci di stima "compromessi" adottati di fronte a parametri di disturbo , ad esempio.

Principalmente, ciò che cerco con questa domanda è l'intuizione di alto livello che questi tipi di argomenti tendono a cedere. Naturalmente, se un argomento di questa natura per qualche motivo non può essere utilmente perseguito per REML, una spiegazione del perché è così fornirebbe anche una visione benvenuta!

bayesian asymptotics reml

— David C. Norris
fonte

Questo documento sembra essere rilevante: Foulley J. (1993). Un semplice argomento che mostra come derivare la massima verosimiglianza. J. Dairy Sci. 76, 2320–2324. 10,3168 / jds.S0022-0302 (93) 77.569-4 sciencedirect.com/science/article/pii/...

— DJW

Le interpretazioni bayesiane esistono solo nell'ambito dell'analisi bayesiana, per gli stimatori che si riferiscono a una distribuzione posteriore. Quindi, l'unico modo in cui allo stimatore REML potrebbe essere data un'interpretazione bayesiana (cioè un'interpretazione come stimatore presa dal posteriore) è se consideriamo la probabilità logaritmica limitata nell'analisi REML di essere il log-posteriore in un corrispondente Analisi di Bayes; in questo caso lo stimatore REML sarebbe uno stimatore MAP dalla teoria bayesiana, con la sua corrispondente interpretazione bayesiana.

Impostare lo stimatore REML come uno stimatore MAP: è relativamente semplice vedere come impostare la probabilità logaritmica limitata nell'analisi REML come log-posteriore in un'analisi Bayes. Per fare ciò, richiediamo che il log-before sia negativo della parte della verosimiglianza che viene rimossa dal processo REML. Supponiamo di avere verosimiglianza log dove è la probabilità logaritmica residua e è il parametro di interesse (con come parametro di disturbo). L'impostazione del precedente a dà il posteriore corrispondente: $\ell_\mathbf{x}(\theta, \nu) = \ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta)$ $\ell_{\text{RE}}(\theta)$ $\theta$ $\nu$ $\pi(\theta, \nu) \propto \exp(-\ell_*(\theta, \nu))$

\begin{aligned} π (θ | x) & \propto \int L_{x} (θ, ν) π (θ, ν) d ν \\ \propto \int \exp (ℓ_{x} (θ, ν)) \exp (- ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{x} (θ, ν) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{*} (θ, ν) + ℓ_{RE} (θ) - ℓ_{*} (θ, ν)) d ν \\ = \int \exp (ℓ_{RE} (θ)) d ν \\ = \int L_{RE} (θ) d ν \\ \propto L_{RE} (θ) . \end{aligned}

$\begin{equation} \begin{aligned} \pi(\theta|\mathbf{x}) &\propto \int L_\mathbf{x}(\theta, \nu) \pi(\theta, \nu) d\nu \\[6pt] &\propto \int \exp(\ell_\mathbf{x}(\theta, \nu)) \exp(-\ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_\mathbf{x}(\theta, \nu) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_*(\theta, \nu) + \ell_{\text{RE}}(\theta) - \ell_*(\theta, \nu)) d\nu \\[6pt] &= \int \exp(\ell_{\text{RE}}(\theta)) d\nu \\[6pt] &= \int L_{\text{RE}}(\theta) d\nu \\[6pt] &\propto L_{\text{RE}}(\theta). \\[6pt] \end{aligned} \end{equation}$

Questo ci dà:

{\hat{θ}}_{MAP} = \arg max_{θ} π (θ | x) = \arg max_{θ} L_{RE} (θ) = {\hat{θ}}_{REML} .

$\hat{\theta}_\text{MAP} = \arg \max_\theta \pi(\theta|\mathbf{x}) = \arg \max_\theta L_{\text{RE}}(\theta) = \hat{\theta}_\text{REML}.$

Questo risultato ci consente di interpretare lo stimatore REML come uno stimatore MAP, quindi la corretta interpretazione bayesiana dello stimatore REML è che è lo stimatore che massimizza la densità posteriore rispetto al precedente .

Avendo illustrato il metodo per fornire un'interpretazione bayesiana allo stimatore REML, notiamo ora che ci sono alcuni grossi problemi con questo approccio. Un problema è che il precedente viene formato utilizzando il componente di verosimiglianza log , che dipende dai dati. Quindi, il "priore" necessario per ottenere questa interpretazione non è un vero priore, nel senso di essere una funzione che può essere formata prima di vedere i dati. Un altro problema è che il precedente sarà spesso improprio (cioè non si integra con uno) e potrebbe effettivamente aumentare di peso quando i valori dei parametri diventano estremi. (Mostreremo un esempio di questo di seguito.) $\ell_*(\theta, \nu)$

Sulla base di questi problemi, si potrebbe sostenere che non esiste un'interpretazione bayesiana ragionevole per lo stimatore REML. In alternativa, si potrebbe sostenere che lo stimatore REML mantiene ancora la suddetta interpretazione bayesiana, essendo uno stimatore massimo a posteriori in un "precedente" che deve coincidere casualmente con i dati osservati nella forma specificata e può essere estremamente improprio.

Illustrazione con dati normali: il classico esempio di stima REML si riferisce al caso di dati normali cui sei interessato alla precisione e la media è un parametro fastidioso. In questo caso hai la funzione di verosimiglianza: $x_1,...,x_n \sim \text{N}(\nu, 1/\theta)$ $\theta$ $\nu$

ℓ_{x} (ν, θ) = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} .

$\ell_\mathbf{x}(\nu,\theta) = - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2.$

In REML abbiamo diviso questa verosimiglianza nei due componenti:

\begin{aligned} ℓ_{*} (ν, θ) & = - \frac{n}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2} \\ ℓ_{RE} (θ) & = - \frac{n - 1}{2} \ln θ - \frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} . \end{aligned}

$\begin{equation} \begin{aligned} \ell_*(\nu,\theta) &= - \frac{n}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \\[10pt] \ell_\text{RE}(\theta) &= - \frac{n-1}{2} \ln \theta - \frac{\theta}{2} \sum_{i=1}^n (x_i-\bar{x})^2. \end{aligned} \end{equation}$

Otteniamo lo stimatore REML per il parametro di precisione massimizzando la probabilità residua, che fornisce uno stimatore imparziale per la varianza:

\frac{1}{{\hat{θ}}_{REML}} = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} .

$\frac{1}{\hat{\theta}_\text{REML}} = \frac{1}{n-1} \sum_{i=1}^n (x_i-\bar{x})^2.$

In questo caso, lo stimatore REML corrisponderà a uno stimatore MAP per la densità "precedente":

π (θ) \propto θ^{n / 2} \exp (\frac{θ}{2} \sum_{i = 1}^{n} (x_{i} - ν)^{2}) .

$\pi(\theta) \propto \theta^{n/2} \exp \Bigg( \frac{\theta}{2} \sum_{i=1}^n (x_i-\nu)^2 \Bigg).$

Come puoi vedere, questo "precedente" in realtà dipende dai valori dei dati osservati, quindi non può essere effettivamente formato prima di vedere i dati. Inoltre, possiamo vedere che è chiaramente un precedente "improprio" che mette sempre più peso sui valori estremi di e . (In realtà, questo precedente è piuttosto disgustoso.) Se per "coincidenza" dovessi formare un precedente che corrispondesse a questo risultato, lo stimatore REML sarebbe uno stimatore MAP sotto quello precedente, e quindi avrebbe un'interpretazione bayesiana come stimatore che massimizza il posteriore sotto quello precedente. $\theta$ $\nu$

— Ben - Ripristina Monica
fonte

Che risposta immensamente chiara! Di conseguenza, ritengo che REML sia molto meglio, il che è stato in gran parte il mio obiettivo principale. Il tuo approccio nell'aprire il tuo argomento sembra essere stato essenzialmente quello di fare l'identificazione, quindi "risolvere per" il priore. Quindi procedi a demolire quel precedente, che mi sembra una critica (dal punto di vista bayesiano) diretta contro REML. Ben fatto!

— David C. Norris,

Sì, questo è il metodo che ho usato. Per analogia, di solito diamo alla MLE un'interpretazione bayesiana con lo stesso metodo --- cioè, capendo che la MLE è la MAP sotto un precedente uniforme. Quindi, in generale, quando vogliamo trovare l'analogo bayesiano con uno stimatore classico che si forma massimizzando alcune funzioni, impostiamo quella funzione sul posteriore e poi risolviamo per il precedente. Se questo dà un buon senso, allora abbiamo una buona interpretazione bayesiana; se il priore è pazzo (come con REML), allora abbiamo una buona argomentazione sul fatto che non esiste una buona interpretazione bayesiana.

— Ben - Ripristina Monica il