Qual è la migliore verosimiglianza massima o marginale e perché?

Mentre eseguiamo la regressione se andiamo dalla definizione di: Qual è la differenza tra una probabilità parziale, la probabilità del profilo e la probabilità marginale?

quello, massima verosimiglianza
Trova β e θ che massimizza L (β, θ | dati).

Mentre, verosimiglianza marginale
Integriamo θ dall'equazione di verosimiglianza sfruttando il fatto che siamo in grado di identificare la distribuzione di probabilità di θ condizionata a β.

Qual è la metodologia migliore per massimizzare e perché?

regression maximum-likelihood

— Ankit Chiplunkar
fonte

Risposte:

Ognuno di questi darà risultati diversi con una diversa interpretazione. Il primo trova la coppia , che è il più probabile, mentre il secondo trova il che è (marginalmente) il più probabile. Immagina che la tua distribuzione assomigli a questo: $\beta$ $\theta$ $\beta$

$\beta=1$ $\beta=2$
$\theta=1$ 0.0 0.2
$\theta=2$ 0.1 0.2
$\theta=3$ 0.3 0.2

Quindi la risposta di massima verosimiglianza è ( ), mentre la risposta di massima verosimiglianza marginale è (poiché, marginalizzando su , ). $\beta=1$ $\theta=3$ $\beta=2$ $\theta$ $P(\beta=2)=0.6$

Direi che in generale, la probabilità marginale è spesso ciò che vuoi - se davvero non ti importa dei valori dei parametri allora dovresti semplicemente crollare su di essi. Ma probabilmente in pratica questi metodi non produrranno risultati molto diversi: in tal caso, potrebbe indicare una instabilità di base nella soluzione, ad esempio modalità multiple con diverse combinazioni di , che forniscono previsioni simili. $\theta$ $\beta$ $\theta$

— Chris
fonte

Ho trovato risultati diversi per i metodi di verosimiglianza massima / marginale e quindi la domanda. Direi che i due risultati nel mio caso danno interpretazioni diverse ma possibili risultati.

— Ankit Chiplunkar,

Sto affrontando questa domanda da solo adesso. Ecco un risultato che può essere utile. Considera il modello lineare

y = X β + ϵ, ϵ \sim N (0, σ^{2})

$y = X\beta + \epsilon, \quad \epsilon \sim N(0,\sigma^2)$

dove e $y \in \mathbb{R}^n, \beta \in \mathbb{R}^p,$ $\beta$ e sono i parametri di interesse. La probabilità congiunta è $\sigma^2$

L (β, σ^{2}) = (2 π σ^{2})^{- n / 2} e x p (- \frac{| | y - X β | |^{2}}{2 σ^{2}})

$L(\beta,\sigma^2) = (2 \pi \sigma^2)^{-n/2} exp\left(-\frac{||y-X\beta||^2}{2\sigma^2}\right)$

Ottimizzazione dei rendimenti di probabilità congiunta

\hat{β} = X^{+} y

$\hat{\beta} = X^+ y$

{\hat{σ}}^{2} = \frac{1}{n} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n}||r||^2$

dove è il pseudoinversa di e è il vettore dei residui vestibilità. Si noti che in abbiamo invece dei gradi di libertà familiari corretto rapporto . Questo stimatore è noto per essere distorto nel caso del campione finito. $X^+$ $X$ $r=y-X\hat{\beta}$ $\hat{\sigma}^2$ $1/n$ $1/(n-p)$

Ora supponiamo invece di ottimizzare sia su che , integriamo out e stimiamo dalla probabilità integrata risultante: $\beta$ $\sigma^2$ $\beta$ $\sigma^2$

{\hat{σ}}^{2} = {max}_{σ^{2}} \int_{R^{p}} L (β, σ^{2}) d β

$\hat{\sigma}^2 = \text{max}_{\sigma^2} \int_{\mathbb{R}^p} L(\beta,\sigma^2) d\beta$

Usando l'algebra lineare elementare e la formula integrale gaussiana, puoi dimostrarlo

{\hat{σ}}^{2} = \frac{1}{n - p} | | r | |^{2}

$\hat{\sigma}^2 = \frac{1}{n-p} ||r||^2$

Questo ha la correzione del grado di libertà che la rende imparziale e generalmente favorita rispetto alla stima ML congiunta.

Da questo risultato ci si potrebbe chiedere se c'è qualcosa di intrinsecamente vantaggioso nella probabilità integrata, ma non conosco alcun risultato generale che risponda a tale domanda. Il consenso sembra essere che ML integrato è meglio nel tenere conto dell'incertezza nella maggior parte dei problemi di stima. In particolare, se si sta stimando una quantità che dipende da altre stime di parametri (anche implicitamente), l'integrazione con gli altri parametri spiegherà meglio le loro incertezze.

— Paolo
fonte

Questo è interessante. Sono, tuttavia, un po 'turbato dal fatto che "integrare

" utilizza una distribuzione marginale non valida, nonché dall'assenza di qualsiasi giustificazione apparente per l'utilizzo di questo (improprio) marginale rispetto a qualsiasi altro. Che cosa pensi di questi problemi?

β

$\beta$

— whuber

@whuber Condivido le tue preoccupazioni e non ho una risposta pronta, ma nota che la probabilità di essere emarginato è solo un posteriore con un precedente improprio uniforme su

, quindi penso che questo sia legato all'approccio "obiettivo bayesiano". Non ci importa se un parametro come

ha una distribuzione precedente impropria, purché il posteriore sia integrabile.

β

$\beta$

β

$\beta$

— Paul,

In realtà, sulla base di questo post e dei commenti, penso che ML integrato, non ML marginale, sia il termine giusto per quello che stiamo facendo qui. Modificato di conseguenza.

— Paolo,

+1 So che sono abbastanza tardi per questa festa, ma non sto integrando gli effetti fissi mettendo un'uniforme impropria prima di loro esattamente ciò che REML fa, quindi in realtà hai appena ottenuto la stima REML e questa correzione df è esattamente la ragione qui che REML è meglio per campioni più piccoli?

— 1818

@Chaconne sì, questo post è stato motivato dal tentativo di comprendere REML! Non ho (quasi) nessuna educazione statistica formale, quindi derivarne era tutto nuovo per me.

— Paolo,

$\beta$ $\beta$ $\theta$ $\theta$ $\theta$ $\theta$ $\theta_i$ $p(\theta_i)$ $\theta$ $data$ , you can optimize the marginal likelihood w.r.t. $\beta$ .

— Seeda
fonte