MLE significa sempre che conosciamo il PDF sottostante dei nostri dati e EM significa che non lo sappiamo?

Ho alcune semplici domande concettuali che vorrei chiarire per quanto riguarda l'MLE (stima della massima verosimiglianza) e quale collegamento abbia, eventualmente, con EM (massimizzazione delle aspettative).

A quanto ho capito, se qualcuno dice "Abbiamo usato l'MLE", significa automaticamente che hanno un modello esplicito del PDF dei loro dati? Mi sembra che la risposta sia affermativa. Detto in altro modo, se in qualsiasi momento qualcuno dice "MLE", è giusto chiedere loro quale PDF stanno assumendo. Questo sarebbe corretto?

Infine, su EM, la mia comprensione è che in EM non conosciamo davvero - o non abbiamo bisogno di sapere, il PDF sottostante dei nostri dati. Questa è la mia comprensione.

Grazie.

Il metodo MLE può essere applicato nei casi in cui qualcuno conosce la forma funzionale di base del pdf (ad esempio, è gaussiano, o log-normale, o esponenziale o altro), ma non i parametri sottostanti; ad esempio, non conoscono i valori di e nel pdf: o qualunque altro tipo di pdf stiano assumendo. Il lavoro del metodo MLE è quello di scegliere i migliori valori (cioè, più plausibili) per i parametri sconosciuti, date le misure di particolare dati che sono stati effettivamente osservato . Quindi, per rispondere alla tua prima domanda, sì, sei sempre nei tuoi diritti di chiedere a qualcuno cosaσ f ( x | μ , σ ) = $\mu$$\sigma$x1,x2,x3,. .

$$f(x|\mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^{2}}} \exp\left[\frac{-(x-\mu)^{2}}{2 \sigma^{2}}\right]$$ $x_{1}, x_{2}, x_{3}, ...$forma di pdf che stanno assumendo per la loro stima della massima verosimiglianza; infatti, i valori dei parametri stimati che ti dicono non sono nemmeno significativi a meno che non comunichino prima quel contesto.

L'algoritmo EM, come l'ho visto applicato in passato, è più una sorta di meta algoritmo, in cui mancano alcuni metadati, e anche tu devi stimarlo. Quindi, ad esempio, forse ho un pdf che è una miscela di diversi gaussiani, ad esempio: Superficialmente, ad eccezione del aggiunta del parametro di ampiezza , assomiglia molto al problema precedente, ma cosa succede se ti dicessi che anche noi non conosciamo nemmeno il valore di (cioè il numero di modalità nella miscela gaussiana) e vogliamo stimare che dalle misurazioni dei datiAkNx1,x2,x3,. .

$$f(x|A_{1},...,A_{N},\mu_{1},...,\mu_{N}, \sigma_{1},...\sigma_{N}) = \sum_{k=1}^{N} \frac{A_{k}}{\sqrt{2\pi\sigma_{k}^{2}}} \exp\left[\frac{-(x-\mu_{k})^{2}}{2 \sigma_{k}^{2}}\right]$$ $A_{k}$$N$$x_{1}, x_{2}, x_{3}, ...$ pure?

In questo caso, hai un problema, perché ogni possibile valore di (questa è la parte "meta" a cui alludevo sopra) genera in realtà un modello diverso, in un certo senso. Se , allora hai un modello con tre parametri ( , , ) mentre se , allora hai un modello con sei parametri ( , , , , , ). I valori di adattamento migliore che ottieni per ( , , ) inN = 1 A 1 μ 1 σ 1 N = 2 A 1 A 2 μ 1 μ 2 σ 1 σ 2 A 1 μ 1 σ 1 N = $N$$N=1$$A_{1}$$\mu_{1}$$\sigma_{1}$$N=2$$A_{1}$$A_{2}$$\mu_{1}$$\mu_{2}$$\sigma_{1}$$\sigma_{2}$$A_{1}$$\mu_{1}$$\sigma_{1}$$N=1$$N=2$

$N$$N$

$N=1$$N=2$$N=3$

MLE richiede la conoscenza di almeno le distribuzioni marginali. Quando si utilizza MLE, di solito stimiamo i parametri di una distribuzione congiunta facendo un'ipotesi IID, quindi considerando la distribuzione congiunta come prodotto dei marginali, che conosciamo. Ci sono variazioni, ma questa è l'idea nella maggior parte dei casi. Quindi MLE è un metodo parametrico.

L'algoritmo EM è un metodo per massimizzare le funzioni di probabilità che emergono come parte di un algoritmo MLE. Viene spesso (di solito?) Utilizzato per soluzioni numeriche.

Ogni volta che utilizziamo MLE, abbiamo bisogno almeno delle distribuzioni marginali e di alcune assunzioni su come l'articolazione è collegata ai marginali (indipendenza, ecc.). Pertanto, entrambi i metodi si basano sulla conoscenza delle distribuzioni.