Quali distribuzioni hanno soluzioni in forma chiusa per la stima della massima verosimiglianza?

21

Quali distribuzioni hanno soluzioni in forma chiusa per le stime della massima verosimiglianza dei parametri da un campione di osservazioni indipendenti?

distributions mathematical-statistics maximum-likelihood

— Colonnello Panico
fonte

25

Senza alcuna perdita apprezzabile di generalità possiamo supporre che la densità di probabilità (o massa) per qualsiasi osservazione (su osservazioni) sia strettamente positiva, permettendoci di scriverla come esponenziale $f(x_i)$ $x_i$ $n$

f (x_{i}) = \exp (g (x_{i}, θ))

$f(x_i) = \exp{(g(x_i,\theta))}$

per un vettore di parametri . $\theta = (\theta_j)$

L'equazione del gradiente della funzione di verosimiglianza log a zero (che trova i punti stazionari della verosimiglianza, tra i quali saranno tutti i massimi globali interni se ne esiste uno) fornisce un insieme di equazioni della forma

\underset{io}{Σ} \frac{d g (X_{io}, θ)}{d θ_{j}} = 0,

$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$

uno per ogni . Per uno di questi per avere una soluzione pronta, vorremmo essere in grado di separare le termini dalle termini . (Tutto scaturisce da questa idea chiave, motivata dal Principio di pigrizia matematica : fai il minor lavoro possibile; pensa prima di calcolare; affronta prima le versioni facili dei problemi difficili.) Il modo più generale per farlo è quello di prendere le equazioni il modulo $j$ $x_i$ $\theta$

\underset{io}{Σ} (η_{j} (θ) τ_{j} (X_{io}) - α_{j} (θ)) = η_{j} (θ) \underset{io}{Σ} τ_{j} (X_{io}) - n α_{j} (θ)

$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$

per funzioni note , e , poiché la soluzione si ottiene risolvendo le equazioni simultanee $\eta_j$ $\tau_j$ $\alpha_j$

\frac{n α_{j} (θ)}{η_{j} (θ)} = \underset{io}{Σ} τ_{j} (X_{io})

$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$

per . In generale questi saranno difficili da risolvere, ma a condizione che l'insieme di valori di fornisca informazioni complete su , potremmo usa semplicemente questo vettore al posto di stesso (in tal modo generalizzando in qualche modo l'idea di una soluzione di "forma chiusa", ma in modo altamente produttivo). In tal caso, l'integrazione rispetto ai rendimenti di $\theta$ $\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$ $\theta$ $\theta$ $\theta_j$

g (X, θ) = τ_{j} (X) \int^{θ} η_{j} (θ) d θ_{j} - \int^{θ} α_{j} (θ) d θ_{j} + B (X, θ_{j}^{'})

$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$

(dove sta per tutti i componenti di tranne ). Poiché il lato sinistro è funzionalmente indipendente da , dobbiamo avere per alcune funzioni fisse ; che non deve dipendere affatto da ; e il sono derivati di qualche funzione e il sono derivati di qualche altra funzione , entrambi funzionalmente indipendenti dai dati. da cui $\theta_j'$ $\theta$ $\theta_j$ $\theta_j$ $\tau_j(x)=T(x)$ $T$ $B$ $\theta$ $\eta_j$ $H(\theta)$ $\alpha_j$ $A(\theta)$

g (X, θ) = H (θ) T (X) - UN (θ) + B (X) .

$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$

Le densità che possono essere scritte in questa forma formano la famosa famiglia Koopman-Pitman-Darmois , o esponenziale . Comprende importanti famiglie parametriche, sia continue che discrete, tra cui Gamma, Normale, Chi-quadrato, Poisson, Multinomiale e molte altre .

— whuber
fonte

E per quelli che non hanno forme chiuse, potremmo usare l'algoritmo EM. Ad esempio, considera il moddel di Poisson

— Damien,

0

Non so se potrei elencarli tutti. Vengono in mente esponenziali, normali e binomiali e rientrano tutti nella classe delle famiglie esponenziali. La famiglia esponenziale ha la sua statistica sufficiente nell'esponente e la mle è spesso una bella funzione di questa statistica sufficiente.

— Michael R. Chernick
fonte

8

Questa domanda è incredibilmente ampia, ma sembra che l'OP potrebbe chiedere cosa caratterizza una distribuzione che ha una soluzione in formato chiuso per l'MLE piuttosto che chiedere un elenco esaustivo. In ogni caso, un elenco esaustivo non è nemmeno possibile.

— Macro,

2

Non è sempre una "bella funzione", ad esempio, la statistica sufficiente della distribuzione beta è , da cui sono richiesti metodi numerici per trovare i parametri di forma e .

[\log x \log (1 - x)]^{T}

$[\log x\; \log (1-x)]^{\rm T}$

a

$a$

b

$b$

— Neil G,

Thnaks Neil per averlo sottolineato. Immagino che non tutte le distribuzioni familiari esponenziali abbiano soluzioni in forma chiusa.

— Michael R. Chernick,