Quanto calcolo è necessario per comprendere la stima della massima verosimiglianza?

Sto cercando di pianificare un piano di studio per l'apprendimento dell'MLE. Per fare ciò sto cercando di capire qual è il livello minimo di calcolo necessario per capire MLE.

È sufficiente comprendere le basi del calcolo (ovvero trovare il minimo e il massimo delle funzioni) per comprendere l'MLE?

Espandere il mio commento - dipende. Se stai solo cercando di comprendere le basi, essere in grado di trovare estremi di funzioni ti dà un modo equo (anche se in molti casi pratici di MLE, la probabilità è massimizzata numericamente, nel qual caso hai bisogno di alcune altre abilità e di alcune calcolo di base).

Lascerò da parte i simpatici casi semplici in cui ottieni soluzioni algebriche esplicite. Anche così, il calcolo è spesso molto utile.

Mi assumerò l'indipendenza per tutto. Prendiamo il caso più semplice possibile di ottimizzazione a 1 parametro. Per prima cosa esamineremo un caso in cui possiamo prendere derivati ​​e separare una funzione del parametro e una statistica.

Considera la densità $\rm{Gamma}(\alpha,1)$

$$f_X(x;\alpha) = \frac{1}{\Gamma(\alpha)} x^{\alpha-1} \exp(-x); \,\,\, x>0;\,\,\alpha>0$$

Quindi per un campione di dimensione $n$ , la probabilità è

$$\mathcal{L}(\alpha; \mathbf{x}) = \prod_{i=1}^n f_X(x_i;\alpha)$$

e quindi la probabilità logaritmica è

$$\mathcal{l}(\alpha; \mathbf{x}) = \sum_{i=1}^n \ln{f_X(x_i;\alpha)} \\ = \sum_{i=1}^n \ln{\left(\frac{1}{\Gamma(\alpha)} x_i^{\alpha-1} \exp(-x_i)\right)}\\ $$ $$= \sum_{i=1}^n -\ln{\Gamma(\alpha)}+(\alpha-1)\ln{x_i} -x_i\\ $$ $$= -n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}$$ dove$S_x=\sum_{i=1}^n\ln{x_i}$ . Assunzione di derivati,

$$\frac{d}{d\alpha}\mathcal{l}(\alpha; \mathbf{x}) = \frac{d}{d\alpha} \left(-n\ln{\Gamma(\alpha)}+(\alpha-1)S_x -n\bar{x}\right)\\ $$ $$= -n\frac{\Gamma'(\alpha)}{{\Gamma(\alpha)}}+S_x\\ $$ $$= -n\psi(\alpha)+S_x$$

Quindi, se abbiamo impostato che a zero e cercare di risolvere per α , possiamo ottenere questo: ψ ( α ) = ln G ( x )$\hat{\alpha}$

$$\psi(\hat{\alpha})=\ln{G(\mathbf{x})}\\ $$

$\psi(\cdot)$$G(\cdot)$

$\hat{\alpha}$

$$\psi(\hat{\alpha})=g$$

$g=\ln{G(\mathbf{x})}$

Questo non ha una soluzione in termini di funzioni elementari, deve essere calcolato numericamente; almeno siamo riusciti a ottenere una funzione del parametro da un lato e una funzione dei dati dall'altro. Esistono vari algoritmi di ricerca zero che potrebbero essere utilizzati se non si dispone di un modo esplicito di risolvere l'equazione (anche se si è senza derivate, ad esempio c'è una sezione binaria).

$$f(x; \mu) =\frac{1}{4} \operatorname{sech}^2\!\left(\frac{x-\mu}{2}\right).$$ $\mu$

$\theta$

$$f_X(x;\theta) = \frac{1}{\pi (1 + (x-\theta)^2)}\,.$$

In generale, la probabilità qui non ha un massimo locale unico, ma diversi massimi locali. Se trovi un massimo locale, potrebbe essercene un altro, più grande altrove. (A volte le persone si concentrano sull'identificazione del massimo locale più vicino alla mediana, o qualcosa del genere.)

$(0,\theta)$

In altri casi, lo spazio dei parametri può essere discreto.

A volte trovare il massimo può essere abbastanza coinvolto.

E questo è solo un esempio dei problemi con un singolo parametro. Quando hai più parametri, le cose diventano di nuovo più coinvolte.

$\mathbb{R}^p \to \mathbb{R}$

Alcune strutture con logaritmi saranno sicuramente utili, poiché massimizzare il logaritmo della probabilità è di solito molto più facile che massimizzare la probabilità stessa.

$\mathbb{R}^p \to \mathbb{R}$