Voglio usare BIC per la selezione del modello HMM:
BIC = -2*logLike + num_of_params * log(num_of_data)
Quindi, come posso contare il numero di parametri nel modello HMM? Considera un HMM a 2 stati semplice, in cui abbiamo i seguenti dati:
data = [1 2 1 1 2 2 2 1 2 3 3 2 3 2 1 2 2 3 4 5 5 3 3 2 6 6 5 6 4 3 4 4 4 4 4 4 3 3 2 2];
model = hmmFit(data, 2, 'discrete');
model.pi = 0.6661 0.3339;
model.A =
0.8849 0.1151
0.1201 0.8799
model.emission.T =
0.2355 0.5232 0.2259 0.0052 0.0049 0.0053
0.0053 0.0449 0.2204 0.4135 0.1582 0.1578
logLike = hmmLogprob(model,data);
logLike = -55.8382
Quindi penso:
Nparams = size(model.A,2)*(size(model.A,2)-1) +
size(model.pi,2)-1) +
size(model.emission.T,1)*(size(model.emission.T,2)-1)
Nparams = 13
Quindi alla fine abbiamo:
BIC = -2*logLike + num_of_params*log(length(x))
BIC = 159.6319
Ho trovato una soluzione in cui la formula di num_of_params
(per un semplice modello Markov) è simile a:
Nparams = Num_of_states*(Num_of_States-1) - Nbzeros_in_transition_matrix
Quindi qual è la soluzione giusta? Devo prendere in considerazione alcune probabilità zero nelle matrici di transizione o di emissione?
==== Aggiornato dal 07.15.2011 ====
Penso di poter fornire alcuni chiarimenti sull'impatto della dimensione dei dati (usando l'esempio "distribuzione gaussiana della miscela")
X è una matrice n-by-d in cui (le righe n corrispondono alle osservazioni; le colonne d corrispondono alle variabili (Ndimensioni).
X=[3,17 3,43
1,69 2,94
3,92 5,04
1,65 1,79
1,59 3,92
2,53 3,73
2,26 3,60
3,87 5,01
3,71 4,83
1,89 3,30 ];
[n d] = size(X);
n = 10; d =2;
Il modello avrà il seguente numero di parametri per GMM:
nParam = (k_mixtures – 1) + (k_mixtures * NDimensions ) + k_mixtures * Ndimensions %for daigonal covariance matrices
nParam = (k_mixtures – 1) + (k_mixtures * NDimensions ) + k_mixtures * NDimensions * (NDimensions+1)/2; %for full covariance matrices
Se trattiamo X come dati monodimensionali , rispetto a quelli che abbiamo num_of_data = (n*d)
, quindi per i dati bidimensionali che abbiamo num_of_data = n
.
Dati bidimensionali : nParam = 11; logLike = -11.8197; BIC = 1.689
Dati monodimensionali : nParam = 5; logLike = -24.8753; BIC = -34.7720
Ho pochissima pratica con HMM. È normale avere HMM con (5000, 6000 e più parametri)?