Stima della massima verosimiglianza EM per la distribuzione di Weibull

24

Nota: sto pubblicando una domanda di un mio ex studente incapace di pubblicare da solo per motivi tecnici.

Dato un esempio iid da una distribuzione Weibull con pdf c'è un'utile rappresentazione variabile mancante e quindi un algoritmo EM (aspettativa-massimizzazione) associato che potrebbe essere usato per trovare l'MLE di , invece di usare semplice ottimizzazione numerica? $x_1,\ldots,x_n$

f_{k} (x) = k x^{k - 1} e^{- x^{k}} x > 0

$f_k(x) = k x^{k-1} e^{-x^k} \quad x>0$

f_{k} (x) = \int_{Z} g_{k} (x, z) d z

$f_k(x) = \int_\mathcal{Z} g_k(x,z)\,\text{d}z$

k

$k$

— Xi'an
fonte

2

C'è qualche censura?

— Ocram,

2

Cosa c'è che non va in Newton Rhapson?

— probabilityislogic

2

@probabilityislogic: niente è sbagliato in niente! Il mio studente vorrebbe sapere se esiste una versione EM, tutto qui ...

— Xi'an,

1

Potresti dare un esempio di ciò che stai cercando in un contesto diverso, più semplice, ad esempio magari con osservazioni di una variabile casuale gaussiana o uniforme? Quando tutti i dati vengono osservati io (e alcuni degli altri poster, in base ai loro commenti) non vedo quanto EM sia rilevante per la tua domanda.

— Ah,

1

@probabilityislogic Penso che avresti dovuto dire "Oh, vuoi dire che vuoi USARE Newton Raphson?". I weibull sono famiglie normali ... Penso, quindi le soluzioni ML sono uniche. Pertanto, EM non ha nulla su cui "E", quindi sei solo "M" ing ... e trovare le radici delle equazioni del punteggio è il modo migliore per farlo!

— AdamO,

7

Penso che la risposta sia sì, se ho capito correttamente la domanda.

Scrivi . Poi un tipo di algoritmo EM di iterazione, a partire ad esempio , è $z_i = x_i^k$ $\hat k = 1$

E passaggio: ${\hat z}_i = x_i^{\hat k}$
M passaggio: $\hat k = \frac{n}{\left[\sum({\hat z}_i - 1)\log x_i\right]}$

Questo è un caso speciale (il caso senza censura e senza covariate) dell'iterazione suggerita per i modelli di rischi proporzionali Weibull da Aitkin e Clayton (1980). Si trova anche nella sezione 6.11 di Aitkin et al (1989).

Aitkin, M. e Clayton, D., 1980. L'adattamento di distribuzioni esponenziali, Weibull e valori estremi a complessi dati di sopravvivenza censurati usando GLIM. Statistiche applicate , pagg. 156-163.
Aitkin, M., Anderson, D., Francis, B. e Hinde, J., 1989. Modellistica statistica in GLIM . La stampa dell'università di Oxford. New York.

— DavidF
fonte

Grazie mille David! Considerare come la variabile mancante non mi è mai passato per la testa ...!

x_{i}^{k}

$x_i^k$

— Xi'an,

7

Il Weibull MLE è solo numericamente risolvibile:

Lascia che con .

f_{λ, β} (x) = {\begin{cases} \frac{β}{λ} {(\frac{x}{λ})}^{β - 1} e^{- {(\frac{x}{λ})}^{β}} & , x \geq 0 \\ 0 & , x < 0 \end{cases}

$f_{\lambda,\beta}(x) = \begin{cases} \frac{\beta}{\lambda}\left(\frac{x}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x}{\lambda}\right)^{\beta}} & ,\,x\geq0 \\ 0 &,\, x<0 \end{cases}$

β, λ > 0

$\beta,\,\lambda>0$

1) Funzione di probabilità :

L_{\hat{x}} (λ, β) = \prod_{i = 1}^{N} f_{λ, β} (x_{i}) = \prod_{i = 1}^{N} \frac{β}{λ} {(\frac{x_{i}}{λ})}^{β - 1} e^{- {(\frac{x_{i}}{λ})}^{β}} = \frac{β^{N}}{λ^{N β}} e^{- \sum_{i = 1}^{N} {(\frac{x_{i}}{λ})}^{β}} \prod_{i = 1}^{N} x_{i}^{β - 1}

$\mathcal{L}_{\hat{x}}(\lambda, \beta) =\prod_{i=1}^N f_{\lambda,\beta}(x_i) =\prod_{i=1}^N \frac{\beta}{\lambda}\left(\frac{x_i}{\lambda}\right)^{\beta-1}e^{-\left(\frac{x_i}{\lambda}\right)^{\beta}} = \frac{\beta^N}{\lambda^{N \beta}} e^{-\sum_{i=1}^N\left(\frac{x_i}{\lambda}\right)^{\beta}} \prod_{i=1}^N x_i^{\beta-1}$

log-Likelihoodfunction :

ℓ_{\hat{x}} (λ, β) := \ln L_{\hat{x}} (λ, β) = N \ln β - N β \ln λ - \sum_{i = 1}^{N} {(\frac{x_{i}}{λ})}^{β} + (β - 1) \sum_{i = 1}^{N} \ln x_{i}

$\ell_{\hat{x}}(\lambda, \beta):= \ln \mathcal{L}_{\hat{x}}(\lambda, \beta)=N\ln \beta-N\beta\ln \lambda-\sum_{i=1}^N \left(\frac{x_i}{\lambda}\right)^\beta+(\beta-1)\sum_{i=1}^N \ln x_i$

2) Problema MLE : 3) Massimizzazione di -gradients: Segue:

\begin{aligned} max_{(λ, β) \in R^{2}} & ℓ_{\hat{x}} (λ, β) \\ s.t. λ > 0 \\ β > 0 \end{aligned}

$\begin{equation*} \begin{aligned} & & \underset{(\lambda,\beta) \in \mathbb{R}^2}{\text{max}}\,\,\,\,\,\, & \ell_{\hat{x}}(\lambda, \beta) \\ & & \text{s.t.} \,\,\, \lambda>0\\ & & \beta > 0 \end{aligned} \end{equation*}$

0

$0$

\begin{aligned} \frac{\partial l}{\partial λ} & = - N β \frac{1}{λ} + β Σ_{io = 1}^{N} X_{io}^{β} \frac{1}{λ^{β + 1}} & \overset{!}{=} 0 \\ \frac{\partial l}{\partial β} & = \frac{N}{β} - N \ln λ - Σ_{io = 1}^{N} \ln (\frac{X_{io}}{λ}) e^{β \ln (\frac{X_{io}}{λ})} + Σ_{io = 1}^{N} \ln X_{io} & \overset{!}{=} 0 \end{aligned}

$\begin{align*} \frac{\partial l}{\partial \lambda}&=-N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}}&\stackrel{!}{=} 0\\ \frac{\partial l}{\partial \beta}&=\frac{N}{\beta}-N\ln\lambda-\sum_{i=1}^N \ln\left(\frac{x_i}{\lambda}\right)e^{\beta \ln\left(\frac{x_i}{\lambda}\right)}+\sum_{i=1}^N \ln x_i&\stackrel{!}{=}0 \end{align*}$

\begin{aligned} - N β \frac{1}{λ} + β Σ_{io = 1}^{N} X_{io}^{β} \frac{1}{λ^{β + 1}} & = 0 \\ - β \frac{1}{λ} N + β \frac{1}{λ} Σ_{io = 1}^{N} X_{io}^{β} \frac{1}{λ^{β}} & = 0 \\ - 1 + \frac{1}{N} Σ_{io = 1}^{N} X_{io}^{β} \frac{1}{λ^{β}} & = 0 \\ \frac{1}{N} Σ_{io = 1}^{N} X_{io}^{β} & = λ^{β} \end{aligned}

$\begin{align*} -N\beta\frac{1}{\lambda}+\beta\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta+1}} &= 0\\\\ -\beta\frac{1}{\lambda}N +\beta\frac{1}{\lambda}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}} &= 0\\\\ -1+\frac{1}{N}\sum_{i=1}^N x_i^\beta\frac{1}{\lambda^{\beta}}&=0\\\\ \frac{1}{N}\sum_{i=1}^N x_i^\beta&=\lambda^\beta \end{align*}$

\Rightarrow λ^{*} = {(\frac{1}{N} Σ_{io = 1}^{N} X_{io}^{β^{*}})}^{\frac{1}{β^{*}}}

$\Rightarrow\lambda^*=\left(\frac{1}{N}\sum_{i=1}^N x_i^{\beta^*}\right)^\frac{1}{\beta^*}$

Collegare nella seconda condizione con gradiente 0: $\lambda^*$

\begin{aligned} \Rightarrow β^{*} = {[\frac{Σ_{io = 1}^{N} X_{io}^{β^{*}} \ln X_{io}}{Σ_{io = 1}^{N} X_{io}^{β^{*}}} - \bar{\ln X}]}^{- 1} \end{aligned}

$\begin{align*} \Rightarrow \beta^*=\left[\frac{\sum_{i=1}^N x_i^{\beta^*}\ln x_i}{\sum_{i=1}^N x_i^{\beta^*}}-\overline{\ln x}\right]^{-1} \end{align*}$

Questa equazione è solo numericamente risolvibile, ad esempio l'algoritmo di Newton-Raphson. può quindi essere inserito in per completare lo stimatore ML per la distribuzione di Weibull. $\hat{\beta}^*$ $\lambda^*$

— Emcor
fonte

11

Sfortunatamente, questo non sembra rispondere alla domanda in alcun modo riconoscibile. L'OP è ben consapevole di Newton-Raphson e dei relativi approcci. La fattibilità di NR non preclude in alcun modo l'esistenza di una rappresentazione a variabile mancante o dell'algoritmo EM associato. Secondo la mia valutazione, la domanda non riguarda affatto le soluzioni numeriche, ma piuttosto sta cercando un'intuizione che potrebbe diventare evidente se fosse dimostrato un interessante approccio a variabili mancanti.

— cardinale il

@cardinale Una cosa è dire che esisteva solo una soluzione numerica, ed un'altra cosa è mostrare che esiste solo una soluzione numerica.

— emcor,

5

Caro @emcor, penso che potresti fraintendere ciò che la domanda sta ponendo. Forse rivedere l'altra risposta e il flusso di commenti associato sarebbe utile. Saluti.

— cardinale il

@cardinal Sono d'accordo che non è una risposta diretta, ma sono le espressioni esatte per gli MLE, ad esempio possono essere utilizzate per verificare l'EM.

— emcor,

4

Sebbene questa sia una vecchia domanda, sembra che ci sia una risposta in un documento pubblicato qui: http://home.iitk.ac.in/~kundu/interval-censoring-REVISED-2.pdf

In questo lavoro è stata presa in considerazione l'analisi dei dati censurati per intervallo, con la distribuzione di Weibull come distribuzione di durata sottostante. Si presume che il meccanismo di censura sia indipendente e non informativo. Come previsto, gli stimatori della massima verosimiglianza non possono essere ottenuti in forma chiusa. Nei nostri esperimenti di simulazione si osserva che il metodo Newton-Raphson potrebbe non convergere molte volte. È stato suggerito un algoritmo di massimizzazione delle aspettative per calcolare gli stimatori della massima verosimiglianza e converge quasi sempre.

— user3204720
fonte

1

Puoi pubblicare una citazione completa per il documento al link, nel caso in cui si spenga?

— gung - Ripristina Monica

1

Questo è un algoritmo EM, ma non fa ciò che credo l'OP voglia. Piuttosto, l'E-step imputa i dati censurati, dopodiché il M-step utilizza un algoritmo a punto fisso con il set di dati completo. Quindi l'M-step non è in forma chiusa (che penso sia ciò che l'OP sta cercando).

— Cliff AB,

1

@CliffAB: grazie per il link (+1) ma in effetti la EM è indotta naturalmente in questo articolo dalla parte censura. Il mio ex studente era alla ricerca di una semplice e senza censure grazie all'ottimizzazione della probabilità di Weibull tramite EM.

— Xi'an,

-1

In questo caso gli stimatori MLE ed EM sono equivalenti, poiché lo stimatore MLE è in realtà solo un caso speciale dello stimatore EM. (Sto assumendo un quadro frequentista nella mia risposta; questo non è vero per EM in un contesto bayesiano in cui stiamo parlando di MAP). Poiché non vi sono dati mancanti (solo un parametro sconosciuto), il passaggio E restituisce semplicemente la probabilità del log, indipendentemente dalla scelta di . Il passaggio M massimizza quindi la probabilità di log, producendo il MLE. $k^{(t)}$

EM sarebbe applicabile, ad esempio, se avessi osservato dati da una miscela di due distribuzioni di Weibull con i parametri e , ma non sapevi da quale di queste due distribuzioni provenisse ciascuna osservazione. $k_1$ $k_2$

— ahfoss
fonte

6

Penso che potresti aver frainteso il punto della domanda, che è: esiste qualche interpretazione a variabile mancante da cui si otterrebbe la data probabilità di Weibull (e che consentirebbe l'applicazione di un algoritmo simile a EM)?

— cardinale il

4

La dichiarazione della domanda nel post di @ Xi'an è abbastanza chiara. Penso che il motivo per cui non è stata data risposta è perché qualsiasi risposta è probabilmente non banale. (È interessante, quindi vorrei avere più tempo per pensarci.) Ad ogni modo, il tuo commento sembra tradire un malinteso sull'algoritmo EM. Forse il seguente fungerà da antidoto:

— cardinale il

6

Sia dove è la funzione di densità normale standard. Lascia che . Con iid uniform uniform, prendi . Quindi, è un campione da un modello di miscela gaussiana. Possiamo stimare i parametri con la massima probabilità (forza bruta). Ci sono dei dati mancanti nel nostro processo di generazione dei dati? No . Ha una rappresentazione a variabile latente che consente l'uso di un algoritmo EM? Sì assolutamente .

f (x) = π φ (x - μ_{1}) + (1 - π) φ (x - μ_{2})

$f(x) = \pi \varphi(x-\mu_1) + (1-\pi) \varphi(x-\mu_2)$

φ

$\varphi$

F (x) = \int_{- \infty}^{x} f (u) d u

$F(x) = \int_{-\infty}^x f(u)\,\mathrm{d}u$

U_{1}, \dots, U_{n}

$U_1,\ldots,U_n$

X_{i} = F^{- 1} (U_{i})

$X_i = F^{-1}(U_i)$

X_{1}, \dots, X_{n}

$X_1,\ldots,X_n$

— cardinale il

4

Le mie scuse @cardinal; Penso di aver frainteso due cose sul tuo ultimo post. Sì, nel problema GMM è possibile cercare tramite un approccio ML a forza bruta. Inoltre, ora vedo che il problema originale cerca una soluzione che implichi l'introduzione di una variabile latente che consenta un approccio EM per stimare il parametro nella data densità . Un problema interessante Ci sono esempi di utilizzo di EM in questo modo in un contesto così semplice? Gran parte della mia esposizione a EM è stata nel contesto di problemi di miscela e imputazione dei dati.

R^{2} \times [0, 1]

$\mathbb{R}^2 \times [0,1]$

k

$k$

k x^{k - 1} e^{- x^{k}}

$k x^{k-1}e^{-x^k}$

— Ah,

3

@ahfoss: (+1) al tuo ultimo commento. Sì! Avete capito bene. Come per esempio: (i) si presenta in problemi di dati censurati, (ii) applicazioni classiche come modelli Markov nascosti, (iii) modelli a soglia semplice come modelli probit (ad esempio, immagina di osservare la latente invece di Bernoulli ), (iv) stimare componenti di varianza in modelli a effetti casuali a senso unico (e modelli misti molto più complessi) e (v) trovare la modalità posteriore in un modello gerarchico bayesiano. Il più semplice è probabilmente (i) seguito da (iii).

Z_{i}

$Z_i$

X_{i} = 1_{(Z_{i} > μ)}

$X_i = \mathbf{1}_{(Z_i > \mu)}$

— cardinale il