Diversi tipi di covarianza per modelli di miscele gaussiane


13

Mentre provavo qui i modelli di miscele gaussiane , ho trovato questi 4 tipi di covarianze.

'full' (each component has its own general covariance matrix),
'tied' (all components share the same general covariance matrix),
'diag' (each component has its own diagonal covariance matrix),
'spherical' (each component has its own single variance).

Ho cercato su Google molto più dettagli su ciascuno di questi tipi, ma ho trovato solo descrizioni di alto livello (come questa ).

Apprezza se qualcuno può aiutarmi a capirli o almeno indirizzarmi verso un posto in cui posso leggerne.

Risposte:


17

Una distribuzione gaussiana è completamente determinata dalla sua matrice di covarianza e dalla sua media (una posizione nello spazio). La matrice di covarianza di una distribuzione gaussiana determina le direzioni e le lunghezze degli assi dei suoi contorni di densità, che sono tutti ellissoidi.

Questi quattro tipi di modelli di miscele possono essere illustrati in generale con il caso bidimensionale. In ciascuno di questi grafici di contorno della densità della miscela, due componenti sono posizionati a e con pesi e rispettivamente. I diversi pesi fanno apparire leggermente diversi gli insiemi di contorni anche quando le matrici di covarianza sono uguali, ma le forme complessive dei contorni individuali saranno comunque simili per matrici identiche.( 4 , 5 ) 3 / 5 2 / 5(0,0)(4,5)3/52/5

figura

Facendo clic sull'immagine verrà visualizzata una versione a risoluzione più elevata.

NB Questi sono i grafici delle miscele effettive, non dei singoli componenti. Poiché i componenti sono ben separati e di peso comparabile, i contorni della miscela assomigliano molto ai contorni dei componenti (eccetto a livelli bassi in cui possono deformarsi e fondersi, come mostrato al centro del diagramma "legato" per esempio).

  • Completo significa che i componenti possono adottare indipendentemente qualsiasi posizione e forma.

  • Legato significa che hanno la stessa forma, ma la forma può essere qualsiasi cosa.

  • Diagonale significa che gli assi del profilo sono orientati lungo gli assi delle coordinate, ma in caso contrario le eccentricità possono variare tra i componenti.

  • La diagonale legata è una situazione "legata" in cui gli assi del profilo sono orientati lungo gli assi delle coordinate. (Ho aggiunto questo perché inizialmente era come ho interpretato male "diagonale").

  • Sferica è una situazione "diagonale" con contorni circolari (sferica in dimensioni superiori, da cui il nome).

Questo mostra una gamma dalla miscela più generale possibile a un tipo molto specifico di miscela. Altre restrizioni (più complicate) sono possibili, specialmente nelle dimensioni più elevate in cui il numero di parametri cresce rapidamente. (Una matrice di covarianza in dimensioni è descritta da parametri indipendenti.)n ( n + 1 ) / 2nn(n+1)/2


Bella risposta. Grazie. Un'ultima domanda. Questi sono gli unici 4 tipi? o ci sono anche altri tipi?
Ape,

1
Sono sicuro che puoi immaginare vari casi intermedi in cui alcuni componenti condividono determinate proprietà e altri no, o in cui alcune caratteristiche di tutti i componenti sono pre-specificate. Ad esempio, l'esempio più estremo sarebbe la situazione "sferica" ​​in cui la varianza dovrebbe essere (diciamo) in tutti i componenti. 1
whuber

Grazie. Ho appena confrontato la descrizione citata nel mio post e la tua risposta. Nel mio, "Tied" è l'unico condiviso da tutti i componenti. Ma nel tuo, "Full" sembra essere l'unico NON condiviso da ciascun componente. Sento che questi 2 sono in contraddizione. (Sono sicuro che mi manca qualcosa). Ti dispiace spiegarlo? Molte grazie.
Ape,

Non vedo alcuna contraddizione: ho rappresentato fedelmente esattamente le condizioni che descrivi. In effetti, non ho fatto riferimento ad altre fonti per creare queste immagini.
whuber

1
Grazie - capisco cosa intendi. Aggiornerò la spiegazione per riflettere ciò.
whuber
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.