Perché MLE ha senso, dato che la probabilità di un singolo campione è 0?

È una specie di strano pensiero che ho avuto durante la revisione di alcune vecchie statistiche e per qualche motivo non riesco a pensare alla risposta.

Un PDF continuo ci dice la densità di osservare i valori in un dato intervallo. Vale a dire, se $X \sim N(\mu,\sigma^2)$ , per esempio, allora la probabilità che una realizzazione cade tra $a$ e $b$ è semplicemente $\int_a^{b}\phi(x)dx$ dove $\phi$ è la densità dello standard normale.

Quando pensiamo di fare una stima MLE di un parametro, diciamo di $\mu$ , scriviamo la densità congiunta, diciamo $N$ , delle variabili casuali $X_1 .. X_N$ e differenziare la probabilità logaritmica su $\mu$ , impostare uguale a 0 e risolvere per $\mu$ . L'interpretazione spesso data è "dati dati, quale parametro rende questa funzione di densità più plausibile".

La parte che mi sta infastidendo è questa: abbiamo una densità di $N$ rv e la probabilità di ottenere una realizzazione particolare, diciamo il nostro campione, è esattamente 0. Perché ha senso massimizzare la densità articolare dati i nostri dati ( dal momento che la probabilità di osservare il nostro campione reale è esattamente 0)?

L'unica razionalizzazione che potrei inventare è che vogliamo che il PDF sia raggiunto il massimo possibile attorno al nostro campione osservato in modo che l'integrale nella regione (e quindi la probabilità di osservare cose in questa regione) sia il più alto.

La probabilità di qualsiasi campione, $\mathbb{P}_\theta(X=x)$ , è uguale a zero e tuttavia un campione viene realizzato attingendo da una distribuzione di probabilità. La probabilità è quindi lo strumento sbagliato per valutare un campione e la probabilità che si verifichi. La probabilità statistica, come definita da Fisher (1912), si basa sull'argomento limitante della probabilità di osservare il campione $x$ entro un intervallo di lunghezza $\delta$ quando $\delta$ va a zero (citando Aldrich, 1997) :

$\qquad\qquad\qquad$

quando si rinormalizza questa probabilità di $\delta$ . Il termine della funzione di verosimiglianza viene introdotto solo in Fisher (1921) e di massima verosimiglianza in Fisher (1922).

Anche se andò sotto la denominazione di "valore più probabile" e usò un principio di probabilità inversa (inferenza bayesiana) con un precedente piatto, Carl Friedrich Gauß aveva già derivato nel 1809 uno stimatore di massima verosimiglianza per il parametro di varianza di una distribuzione normale. Hald (1999) menziona diverse altre occorrenze di stimatori della massima verosimiglianza prima del documento di Fisher del 1912, che stabilisce il principio generale.

Una giustificazione successiva dell'approccio della massima verosimiglianza è che, poiché la verosimiglianza logaritmica rinormalizzata di un campione $(x_1,\ldots,x_n)$

$$\frac{1}{n} \sum_{i=1}^n \log f_\theta(x_i)$$ converge in [Legge dei grandi numeri] $$\mathbb{E}[\log f_\theta(X)]=\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ (dove$f_0$ indica la densità reale del campione iid), massimizzare la probabilità [in funzione di$\theta$ ] equivale asintoticamente alla minimizzazione [in$\theta$ ] della divergenza di Kullback-Leibler $$\int \log \dfrac{f_0(x)}{f_\theta(x)}\, f_0(x)\,\text{d}x=\underbrace{\int \log f_0(x)\,f_0(x)\,\text{d}x}_{\text{constant}\\\text{in }\theta}-\int \log f_\theta(x)\,f_0(x)\,\text{d}x$$ $f_\theta$