Che cos'è la "massima probabilità limitata" e quando dovrebbe essere utilizzata?

73

Ho letto nell'abstract di questo documento che:

"La procedura di massima verosimiglianza (ML) di Hartley aud Rao viene modificata adattando una trasformazione di Patterson e Thompson che suddivide la verosimiglianza in due parti, una delle quali priva degli effetti fissi. Massimizzare questa parte produce ciò che viene chiamato verosimiglianza massima limitata Stimatori (REML) ".

Ho anche letto nell'abstract di questo documento che REML:

"tiene conto della perdita in gradi di libertà derivante dalla stima di effetti fissi".

Purtroppo non ho accesso al testo completo di quei documenti (e probabilmente non capirei se lo facessi).

Inoltre, quali sono i vantaggi di REML rispetto a ML? In quali circostanze può essere preferito REML rispetto a ML (o viceversa) quando si adatta un modello di effetti misti? Per favore, dai una spiegazione adatta a qualcuno con un background di matematica al liceo (o appena oltre)!

mixed-model maximum-likelihood reml

— Joe King
fonte

vedi stats.stackexchange.com/questions/99895/…

62

Secondo la risposta di Ocram, ML è di parte per la stima dei componenti della varianza. Ma osserva che il bias si riduce per campioni di dimensioni maggiori. Quindi, in risposta alle vostre domande " ... quali sono i vantaggi di REML rispetto a ML? In quali circostanze si può preferire REML a ML (o viceversa) quando si adatta un modello di effetti misti? ", Per REML è preferibile utilizzare campioni di piccole dimensioni. Tuttavia, i test del rapporto di verosimiglianza per REML richiedono esattamente la stessa specifica di effetti fissi in entrambi i modelli. Pertanto, per confrontare i modelli con diversi effetti fissi (uno scenario comune) con un test LR, è necessario utilizzare ML.

REML tiene conto del numero di parametri (effetti fissi) stimati, perdendo 1 grado di libertà per ciascuno. Ciò si ottiene applicando ML ai residui dei minimi quadrati, che sono indipendenti dagli effetti fissi.

— Robert Long
fonte

8

In effetti, lo stimatore REML di un componente di varianza è generalmente (approssimativamente) imparziale, mentre lo stimatore ML è influenzato negativamente. Tuttavia, lo stimatore ML di solito presenta un errore quadratico medio (MSE) inferiore rispetto allo stimatore REML. Quindi, se vuoi avere ragione in media, vai con REML, ma paghi per questo con una maggiore variabilità nelle stime. Se vuoi essere più vicino al valore reale in media, vai con ML, ma paghi per questo con un orientamento negativo.

— Wolfgang,

3

Nel caso semplice di una media costante e varianza costante, ML sta dividendo SSR con mentre REML sta dividendo SSR con . Quindi REML è una generalizzazione di questa procedura!

n

$n$

(n - 1)

$(n-1)$

— kjetil b halvorsen,

"ML è distorto per la stima dei componenti di varianza". Significa la varianza degli effetti casuali o anche gli errori standard dei coefficienti ad effetto fisso?

— skan

54

Ecco una risposta veloce ...

Esempio illustrativo standard

Sia un campione di una distribuzione normale ). Sia che sono sconosciuti. Lo stimatore di massima verosimiglianza di , ottenuto prendendo la derivata della verosimiglianza log rispetto a e pari a zero, è dove è lo stimatore della massima verosimiglianza di . Possiamo mostrare che [ Inizia riscrivendo $y = (y_1, \dotsc, y_n)$ $\mathrm{N}(\mu, \sigma^2$ $\mu$ $\sigma^2$ $\sigma^2$ $\sigma^2$

{\hat{σ}}_{ML}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}

$\hat{\sigma}^2_{\textrm{ML}} = \frac{1}{n} \sum_{i=1}^n (y_i -\bar{y})^2$

\bar{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}

$\bar{y} = \frac{1}{n} \sum_{i=1}^n y_i$

μ

$\mu$

E ({\hat{σ}}_{ML}^{2}) = \frac{n - 1}{n} σ^{2} .

$\mathrm{E}(\hat{\sigma}^2_{\textrm{ML}}) = \frac{n-1}{n} \sigma^2.$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ as ]. Pertanto, è di parte. Nota che se avessimo conosciuto , allora l'MLE per sarebbe stato imparziale. Quindi, il problema con sembra essere collegato al fatto che nella stima abbiamo sostituito con la media sconosciuta . L'idea intuitiva della stima REML è quella di finire con una probabilità che contenga tutte le informazioni su ma non contenga più le informazioni su .

\frac{1}{n} \sum_{i = 1}^{n} {((y_{i} - μ) + (μ - \bar{y}))}^{2}

$\frac{1}{n} \sum_{i=1}^n \left((y_i - \mu) + (\mu - \bar{y})\right)^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$

μ

$\mu$

σ^{2}

$\sigma^2$

{\hat{σ}}_{ML}^{2}

$\hat{\sigma}^2_{\textrm{ML}}$ $\bar{x}$

σ^{2}

$\sigma^2$

μ

$\mu$

Più tecnicamente, la probabilità REML è una probabilità di combinazioni lineari dei dati originali: invece della probabilità di , consideriamo la probabilità di , dove la matrice è tale che . $y$ $Ky$ $K$ $\mathrm{E}[Ky] = 0$

La stima REML viene spesso utilizzata nel contesto più complicato di modelli misti. Ogni libro sui modelli misti ha una sezione che spiega la stima REML in maggiori dettagli.

modificare

@Joe King: ecco uno dei miei libri preferiti su modelli misti che è completamente disponibile online. La sezione 2.4.2 tratta della stima dei componenti della varianza. Buona lettura :-)

— OCRAM
fonte

Grazie - questo è utile - anche se non ho un facile accesso ai libri su modelli misti. Per favore, potresti mettere in relazione la tua risposta con le 2 citazioni nel mio post?

— Joe King,

Mi chiedo come un gaussiano multivariato cambi la storia? stats.stackexchange.com/questions/167494/…

— Sibbs Gambling

9

Il metodo ML sottostima i parametri di varianza perché presume che i parametri fissi siano noti senza incertezza nella stima dei parametri di varianza.

Il metodo REML utilizza un trucco matematico per rendere le stime per i parametri di varianza indipendenti dalle stime per gli effetti fissi. REML funziona ottenendo prima i residui di regressione per le osservazioni modellate dalla porzione di effetti fissi del modello, ignorando a questo punto qualsiasi componente di varianza.

Le stime ML sono imparziali per gli effetti fissi ma distorte per gli effetti casuali, mentre le stime REML sono distorte per gli effetti fissi e imparziali per gli effetti casuali.

— skan
fonte