Trovare un numero di gaussiani in una miscela finita con il teorema di Wilks?

Supponiamo che io abbia una serie di osservazioni univariate indipendenti e identicamente distribuite due ipotesi su come stato generato:$x$$x$

$H_0$ : è tratto da una singola distribuzione gaussiana con media e varianza sconosciute.$x$

$H_A$ : è tratto da una miscela di due gaussiani con media sconosciuta, varianza e coefficiente di miscelazione.$x$

Se ho capito bene, questi sono modelli nidificati poiché il modello rappresentato da può essere descritto in termini di se si vincolano i parametri dei due gaussiani per essere identici o si vincola il coefficiente di miscelazione su zero per uno dei due gaussiani. H $H_0$$H_A$

Pertanto, sembra che dovresti essere in grado di utilizzare l'algoritmo EM per stimare i parametri di e quindi utilizzare il teorema di Wilks per determinare se la probabilità dei dati in è significativamente maggiore di quella in . C'è un piccolo balzo di fiducia nell'ipotesi che l'algoritmo EM converga alla massima probabilità qui, ma è quello che sono disposto a fare.H A H $H_A$$H_A$$H_0$

Ho provato questo in una simulazione monte carlo, supponendo che abbia 3 gradi di libertà in più rispetto a (media e varianza per il secondo gaussiano e il parametro di miscelazione). Quando ho simulato i dati da , ho ottenuto una distribuzione del valore P sostanzialmente non uniforme e arricchita per piccoli valori P. (Se EM non stesse convergendo alla massima verosimiglianza, ci si aspetterebbe l'esatto contrario.) Cosa c'è di sbagliato nella mia applicazione del teorema di Wilks che sta creando questo pregiudizio?H 0 H $H_A$$H_0$$H_0$

Con un'attenta specifica di come l'ipotesi nulla è contenuta nel modello di miscela bicomponente, è possibile vedere quale potrebbe essere il problema. Se i cinque parametri nel modello di miscela sono , quindi poiché sia i due normali componenti della miscela sono uguali, nel qual caso proporzione della miscela è irrilevante, o la miscela proporzione è 0 o 1, nel qual caso uno dei componenti della miscela è irrilevante. La conclusione è che l'ipotesi nulla non può essere specificata, nemmeno localmente, come una semplice limitazione di parametro che abbassa la dimensione dello spazio dei parametri da 5 a 2.H 0 : ( μ 1 = μ 2  e  σ 1 = σ 2 )  o  ρ ∈ { 0 , 1 } . ρ $\mu_1, \mu_2, \sigma_1, \sigma_2, \rho$

L'ipotesi nulla è un sottoinsieme complicato dell'intero spazio dei parametri e sotto il valore i parametri non sono nemmeno identificabili. I soliti presupposti necessari per ottenere la rottura del teorema di Wilk, in particolare non è possibile costruire una corretta espansione di Taylor della verosimiglianza.

Non ho alcuna esperienza personale con questo particolare problema, ma conosco altri casi in cui i parametri "scompaiono" sotto il nulla, il che sembra essere il caso anche qui, e in questi casi anche le conclusioni del teorema di Wilk . Una rapida ricerca ha fornito, tra l'altro, questo documento che sembra pertinente e in cui potresti essere in grado di trovare ulteriori riferimenti sull'uso del test del rapporto di verosimiglianza in relazione ai modelli di miscela.

L'inferenza sul numero di componenti di miscelazione non soddisfa le condizioni di regolarità necessarie per il teorema di Wilks poiché (a) il parametro$\rho$si trova al limite dello spazio dei parametri e (b) la parametrizzazione non è identificabile sotto il valore null. Questo non vuol dire che la distribuzione del rapporto di verosimiglianza generalizzato sia sconosciuta! Se tutti e 5 i parametri nella tua configurazione sono sconosciuti e, cosa più importante, senza limiti, la distribuzione della statistica LR non converge. Se tutti i parametri non identificabili sono limitati, la statistica LR è monotona al culmine di un processo gaussiano troncato. La covarianza di cui non è facile calcolare nel caso generale (5 parametri), e anche quando ce l'hai - la distribuzione del supremum di tale processo non è facilmente approssimabile. Per alcuni risultati pratici relativi alla miscela bicomponente vedere qui. È interessante notare che il documento mostra che in configurazioni piuttosto semplici, la statistica LR è in realtà meno potente di alcune statistiche più semplici. Per l'articolo fondamentale sulla derivazione della distribuzione asintotica in tali problemi, vedere qui . Per tutti gli scopi pratici, è possibile adattare la miscela utilizzando un EM, quindi avviare la distribuzione della statistica LR. Ciò potrebbe richiedere del tempo poiché l'EM è noto per essere lento e sono necessarie molte repliche per acquisire l'effetto della dimensione del campione. Vedi qui per i dettagli.