MLE richiede dati iid? O solo parametri indipendenti?

La stima dei parametri utilizzando la stima della massima verosimiglianza (MLE) implica la valutazione della funzione di verosimiglianza, che mappa la probabilità che il campione (X) si verifichi ai valori (x) sullo spazio dei parametri (θ) data una famiglia di distribuzione (P (X = x | θ ) su possibili valori di θ (nota: ho ragione su questo?). Tutti gli esempi che ho visto riguardano il calcolo di P (X = x | θ) prendendo il prodotto di F (X) dove F è la distribuzione con il locale il valore per θ e X è il campione (un vettore).

Poiché stiamo solo moltiplicando i dati, ne consegue che i dati sono indipendenti? Ad esempio, non è possibile utilizzare MLE per adattare i dati delle serie temporali? O i parametri devono solo essere indipendenti?

La funzione di probabilità è definita come la probabilità di un evento (set di dati x ) in funzione dei parametri del modello $E$${\bf x}$$\theta$

$${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$$

Pertanto, non vi è alcuna ipotesi di indipendenza delle osservazioni. Nell'approccio classico non esiste una definizione di indipendenza dei parametri poiché non sono variabili casuali; alcuni concetti correlati potrebbero essere identificabilità , ortogonalità dei parametri e indipendenza degli stimatori di massima verosimiglianza (che sono variabili casuali).

Qualche esempio,

(1). Caso discreto . è un campione di (indipendente) osservazioni discrete con P ( osservando  x j ; θ ) > 0 , allora${\bf x}=(x_1,...,x_n)$${\mathbb P}(\text{observing } x_j ; \theta)>0$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$$

In particolare, se , con N noto, lo abbiamo$x_j\sim \text{Binomial}(N,\theta)$$N$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$$

(2). Approssimazione continua . Let sia un campione da una vc continua X , con la distribuzione F e la densità f , con la misura di errore ε , questo è, si osservano i gruppi ( x ${\bf x}=(x_1,...,x_n)$$X$$F$$f$$\epsilon$ . Poi$(x_j-\epsilon,x_j+\epsilon)$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$$

Quando è piccolo, questo può essere approssimato (usando il Teorema del valore medio) di$\epsilon$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$$

Per un esempio con il caso normale, dai un'occhiata a questo .

(3). Modello dipendente e Markov . Si supponga che è un insieme di osservazioni eventualmente dipendenti e lasciare che f sia la densità congiunta di x , allora${\bf x}=(x_1,...,x_n)$$f$${\bf x}$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$$

Se inoltre la proprietà Markov è soddisfatta, allora

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$$

Dai un'occhiata anche a questo .

(+1) Ottima domanda.

Cosa minore, MLE significa massimo stima della verosimiglianza (non multipla), il che significa che è sufficiente massimizzare la verosimiglianza. Ciò non specifica che la probabilità deve essere prodotta dal campionamento IID.

Se la dipendenza del campionamento può essere scritta nel modello statistico, basta scrivere la probabilità di conseguenza e massimizzarla come al solito.

L'unico caso degno di nota quando non si assume la dipendenza è quello del campionamento gaussiano multivariato (ad esempio nell'analisi delle serie storiche). La dipendenza tra due variabili gaussiane può essere modellata dal loro termine di covarianza, che incorpori nella probabilità.

Per fare un esempio semplicistico, supponi di disegnare un campione di dimensione $2$ da variabili gaussiane correlate con la stessa media e varianza. Scriveresti la probabilità come

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

dove $z$ è

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

$(\mu, \sigma, \rho)$

Naturalmente, i modelli ARMA gaussiani hanno una probabilità, poiché la loro funzione di covarianza può essere derivata esplicitamente. Questa è sostanzialmente un'estensione della risposta di gui11ame a più di 2 osservazioni. Il googling minimo produce articoli come questo in cui la probabilità è data in forma generale.

Un altro, in una certa misura, più intrigante, classe di esempi è data da modelli di effetti casuali multilivello . Se si dispone di dati del modulo

$$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ dove indici $j$ sono nidificati in $i$ (pensa agli studenti $j$ nelle aule $i$, diciamo, per un'applicazione classica di modelli multilivello), quindi, supponendo $\epsilon_{ij} \perp u_i$, la probabilità è $$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$$ and is a sum over the likelihood contributions defined at the level of clusters, not individual observations. (Of course, in the Gaussian case, you can push the integrals around to produce an analytic ANOVA-like solution. However, if you have say a logit model for your response $y_{ij}$, then there is no way out of numerical integration.)