Come fare una stima, quando sono disponibili solo statistiche riassuntive?

Ciò è in parte motivato dalla seguente domanda e dalla discussione che segue.

Supponiamo che il campione iid sia osservato, . L'obiettivo è stimare . Ma il campione originale non è disponibile. Quello che abbiamo invece sono alcune statistiche del campione . Supponiamo che sia corretto. Come stimiamo ? Quale sarebbe lo stimatore della massima verosimiglianza in questo caso?θ T 1 , . . . , T k k $X_i\sim F(x,\theta)$$\theta$$T_1,...,T_k$$k$$\theta$

In questo caso, puoi considerare un'approssimazione ABC della probabilità (e di conseguenza dell'MLE ) in base al seguente presupposto / restrizione:

Assunzione. La dimensione del campione originale $n$ è nota.

Questo non è un presupposto selvaggio dato che la qualità, in termini di convergenza, degli stimatori frequentisti dipende dalla dimensione del campione, quindi non si possono ottenere stimatori arbitrariamente buoni senza conoscere la dimensione del campione originale.

L'idea è di generare un campione dalla distribuzione posteriore di $\theta$ e, al fine di produrre un'approssimazione dell'MLE , è possibile utilizzare un'importante tecnica di campionamento come in [1] o considerare un'uniforme prima di $\theta$ con supporto su un adeguato impostato come in [2] .

Descriverò il metodo in [2]. Prima di tutto, lasciami descrivere il campionatore ABC.

Campionatore ABC

Sia $f(\cdot\vert\theta)$ il modello che genera il campione in cui $\theta \in \Theta$ è un parametro (da stimare), $T$ è una statistica (una funzione del campione) e $T_0$ è la statistica osservata, nel gergo ABC questa è chiamata statistica riassuntiva , $\rho$ sia una metrica, $\pi(\theta)$ una distribuzione precedente su $\theta$ e $\epsilon>0$ una tolleranza. Quindi, il campionatore di rifiuto dell'ABC può essere implementato come segue.

1. Campione $\theta^*$ da $\pi(\cdot)$ .
2. Genera un campione di dimensione n dal modello .$\bf{x}$$n$$f(\cdot\vert\theta^*)$
3. Calcola .$T^*=T({\bf x})$
4. Se , accetta θ ∗ come simulazione dal retro di θ .$\rho(T^*,T_0)<\epsilon$$\theta^*$$\theta$

Questo algoritmo genera un campione approssimativo dalla distribuzione posteriore di dato T ( x ) = T 0 . Pertanto, lo scenario migliore è quando la statistica T è sufficiente ma è possibile utilizzare altre statistiche. Per una descrizione più dettagliata di questo vedi questo documento .$\theta$$T({\bf x})=T_0$$T$

Ora, in un quadro generale, se si usa un'uniforme precedente che contiene l'MLE nel suo supporto, allora il Maximum a posteriori (MAP) coincide con il Maximum Likelihood Estimator (MLE). Pertanto, se si considera un'uniforme appropriata prima del campionatore ABC, è possibile generare un campione approssimativo di una distribuzione posteriore il cui MAP coincide con l'MLE. Il passaggio rimanente consiste nella stima di questa modalità. Questo problema è stato discusso nel CV, ad esempio in "Stima computazionalmente efficiente della modalità multivariata" .

Un esempio di giocattolo

Let sia un campione da un N ( μ , 1 ), e supponiamo che le uniche informazioni disponibili da questo campione è ˉ x = $(x_1,...,x_n)$$N(\mu,1)$. Siaρla metrica euclidea inReϵ=0,001. Il seguente codice R mostra come ottenere un MLE approssimativo usando i metodi sopra descritti usando un campione simulato conn=100eμ=0, un campione della distribuzione posteriore di dimensione1000, un'uniforme precedente perμon(-0,3,0,3)e uno stimatore della densità del kernel per la stima della modalità del campione posteriore (MAP = MLE).$\bar{x}=\dfrac{1}{n}\sum_{j=1}^n x_j$$\rho$${\mathbb R}$$\epsilon=0.001$$n=100$$\mu=0$$1000$$\mu$$(-0.3,0.3)$

rm(list=ls())

# Simulated data
set.seed(1)
x = rnorm(100)

# Observed statistic
T0=mean(x)

# ABC Sampler using a uniform prior 

N=1000
eps = 0.001
ABCsamp = rep(0,N)
i=1

while(i<N+1){
u = runif(1,-0.3,0.3)
t.samp = rnorm(100,u,1)
Ts = mean(t.samp)
if(abs(Ts-T0)<eps){
ABCsamp[i]=u
i=i+1
print(i)
}
}

# Approximation of the MLE
kd = density(ABCsamp)
kd$x[which(kd$y==max(kd$y))]

Come puoi vedere, usando una piccola tolleranza otteniamo un'ottima approssimazione della MLE (che in questo banale esempio può essere calcolata dalla statistica dato che è sufficiente). È importante notare che la scelta della statistica riassuntiva è cruciale. I quantili sono in genere una buona scelta per la statistica riassuntiva, ma non tutte le scelte producono una buona approssimazione. Può darsi che la statistica riassuntiva non sia molto istruttiva e quindi la qualità dell'approssimazione potrebbe essere scarsa, cosa ben nota nella comunità ABC.

Aggiornamento: un approccio simile è stato recentemente pubblicato su Fan et al. (2012) . Vedi questa voce per una discussione sul documento.

Tutto dipende se la distribuzione congiunta di coloro s' è noto. Se è, ad esempio, ( T 1 , ... , T k ) ∼ g ( t 1 , ... , t k | θ , n ), è possibile effettuare la stima della massima verosimiglianza basata su questa distribuzione congiunta. Tieni presente che, a meno che ( T 1 , ... , T k ) sia sufficiente, ciò avrà quasi sempre una probabilità massima diversa rispetto a quando si utilizzano i dati non elaborati $T_i$

Se la suddetta distribuzione articolare con densità non è disponibile, la soluzione proposta da Procrastinator è abbastanza appropriata.$g$

Lo stimatore della massima probabilità (frequentista) è il seguente:

$F$

Il modo in cui massimizzi effettivamente la probabilità dipende principalmente dalla possibilità di scrivere analiticamente la probabilità in modo trattabile. Se questo è possibile, sarai in grado di prendere in considerazione algoritmi di ottimizzazione generale (newton-raphson, simplex ...). Se non si ha una probabilità trattabile, potrebbe essere più semplice calcolare un'aspettativa condizionale come nell'algoritmo EM, che fornirà anche stime della massima verosimiglianza con ipotesi piuttosto convenienti.

Migliore