Stima ML della distribuzione esponenziale (con dati censurati)

In Survival Analysis, si assume che il tempo di sopravvivenza di un rv sia distribuito esponenzialmente. Considerando ora che ho "esiti" di di iid rv . Solo una parte di questi risultati è in realtà "pienamente realizzata", vale a dire le restanti osservazioni sono ancora "vive". $X_i$ $x_1,\dots,x_n$ $X_i$

Se volessi eseguire una stima ML per il parametro rate della distribuzione, come posso utilizzare le osservazioni non realizzate in modo coerente / appropriato? Credo che contengano ancora informazioni utili per la stima. $\lambda$

Qualcuno potrebbe guidarmi alla letteratura su questo argomento? Sono sicuro che esiste. Tuttavia, ho difficoltà a trovare buone parole chiave / termini di ricerca per l'argomento.

— Bravo ragazzo Mike
fonte

Quindi stai dicendo che dalle variabili casuali di cui hai una misurazione, diciamo che osservazioni rappresentano lunghezze di vita "finalizzate" (perché le variabili casuali associate erano "morte" al momento della misurazione), mentre il resto osservazioni sono lunghezze di sopravvivenza di variabili casuali che erano "ancora vive" al momento della misurazione? ( )

n

$n$

n_{1} < n

$n_1 < n$

n_{2} < n

$n_2 <n$

n_{1} + n_{2} = n

$n_1+n_2 = n$

— Alecos Papadopoulos,

questo è un modello troncato, le variabili casuali "vive" vengono troncate al momento dell'arresto dell'osservazione.

— Xi'an,

Dai un'occhiata ai modelli Tobit per i dati troncati e le relative fonti (ad es. Qui ).

— Richard Hardy,

Sembra che tu abbia dati censurati, come le vite, in cui alcune persone sono morte, ma alcuni sono ancora vivi, talmente che sai solo che, diciamo, per qualche costante nota .

x_{i} > t_{i}

$x_i > t_i$

t_{i}

$t_i$

— kjetil b halvorsen,

Fai attenzione alla differenza a volte sottile tra le due situazioni. Non è raro che il troncamento venga confuso per la censura e viceversa.

— Alecos Papadopoulos,

Puoi comunque stimare i parametri utilizzando direttamente la probabilità. Lascia che le osservazioni siano con la distribuzione esponenziale con rate e sconosciuta. La funzione di densità è , funzione di distribuzione cumulativa e funzione di coda . Supponiamo che le prime osservazioni siano pienamente osservate, mentre per sappiamo solo che per alcune costanti positive note $x_1, \dots, x_n$ $\lambda>0$ $f(x;\lambda)= \lambda e^{-\lambda x}$ $F(x;\lambda)=1-e^{-\lambda x}$ $G(x;\lambda)=1-F(x;\lambda) = e^{-\lambda x}$ $r$ $x_{r+1}, \dots, x_n$ $x_j > t_j$ $t_j$ . Come sempre, la probabilità è la "probabilità dei dati osservati", per le osservazioni censurate, che è data da , quindi la funzione di verosimiglianza completa è La funzione loglikelihood diventa quindi che ha la stessa forma del loglikelihood per il solito caso pienamente osservato, tranne dal primo termine in luogo di . Scrivendo per la media delle osservazioni e dei tempi di censura, diventa lo stimatore della massima verosimiglianza di $P(X_j > t_j) = G(t_j;\lambda)$

L (λ) = \prod_{i = 1}^{r} f (x_{i}; λ) \cdot \prod_{i = r + 1}^{n} G (t_{j}; λ)

$L(\lambda) = \prod_{i=1}^r f(x_i;\lambda) \cdot \prod_{i=r+1}^n G(t_j;\lambda)$

l (λ) = r \log λ - λ (x_{1} + \dots + x_{r} + t_{r + 1} + \dots + t_{n})

$l(\lambda) = r\log\lambda -\lambda(x_1+\dots+x_r+t_{r+1}+\dots+ t_n)$

r \log λ

$r\log\lambda$

n \log λ

$n\log\lambda$

T

$T$

λ

$\lambda$

\hat{λ} = \frac{r}{n T}

$\hat{\lambda}=\frac{r}{nT}$ , che tu stesso puoi confrontare con il caso pienamente osservato.

 EDIT

Per provare a rispondere alla domanda nei commenti: se tutte le osservazioni sono state censurate, cioè non abbiamo aspettato abbastanza per osservare un evento (morte), cosa possiamo fare? In tal caso, , quindi il loglikelihood diventa ovvero diminuisce lineare in . Quindi il massimo deve essere per ! Ma zero non è un valore valido per il parametro rate poiché non corrisponde a nessuna distribuzione esponenziale. Dobbiamo concludere che in questo caso non esiste lo stimatore della massima verosimiglianza! Forse si potrebbe provare a costruire una sorta di intervallo di confidenza per $r=0$

l (λ) = - n T λ

$l(\lambda) = -nT \lambda$

λ

$\lambda$

λ = 0

$\lambda=0$

λ

$\lambda$

λ

$\lambda$ basato su quella funzione di licenza? Per quello, guarda sotto.

Ma, in ogni caso, la vera conclusione dei dati in quel caso è che dovremmo aspettare più tempo prima di ricevere alcuni eventi ...

Ecco come possiamo costruire un intervallo di confidenza (unilaterale) per nel caso in cui tutte le osservazioni vengano censurate. La funzione di probabilità in quel caso è , che ha la stessa forma della funzione di probabilità da un esperimento binomiale in cui abbiamo ottenuto tutti i successi, che è (vedi anche Intervallo di confidenza attorno alla stima binomiale di 0 o 1 ). In tal caso, vogliamo un intervallo di confidenza unilaterale per del modulo . Allora otteniamo un intervallo per risolvendo . $\lambda$ $e^{-\lambda n T}$ $p^n$ $p$ $[\underset{\bar{}}{p}, 1]$ $\lambda$ $\log p = -\lambda T$

Otteniamo l'intervallo di confidenza per risolvendo modo che . Ciò fornisce infine l'intervallo di confidenza per : $p$

P (X = n) = p^{n} \geq 0.95 (say)

$P(X=n) = p^n \ge 0.95 ~~~~\text{(say)}$

n \log p \geq \log 0.95

$n\log p \ge \log 0.95$

λ

$\lambda$

λ \leq \frac{- \log 0.95}{n T} .

$\lambda \le \frac{-\log 0.95}{n T}.$

— kjetil b halvorsen
fonte

Leggendo la domanda e la risposta ho pensato "Che cosa succede se tutte le osservazioni sono del secondo tipo, per le quali sappiamo solo che e nessuna osservazione è stata pienamente osservata?" Sarebbe davvero utile includere questo caso anche nella tua risposta, come estensione.

x_{j} > t_{j}

$x_j > t_j$

— Alecos Papadopoulos,