Parametri vs variabili latenti

L'ho già chiesto e ho avuto delle difficoltà a identificare ciò che rende un parametro del modello e ciò che lo rende una variabile latente. Quindi, guardando vari thread su questo argomento in questo sito, la distinzione principale sembra essere:

Le variabili latenti non sono osservate ma hanno una distribuzione di probabilità associata con loro in quanto sono variabili e parametri non sono osservati e non hanno alcuna distribuzione associata con loro che capisco come queste sono costanti e hanno un valore fisso ma sconosciuto che stiamo cercando di trova. Inoltre, possiamo mettere i priori sui parametri per rappresentare la nostra incertezza su questi parametri anche se c'è solo un vero valore associato ad essi o almeno questo è ciò che assumiamo. Spero di avere ragione finora?

Ora, ho esaminato questo esempio per la regressione lineare ponderata bayesiana da un giornale di giornale e ho davvero lottato per capire cosa sia un parametro e cosa sia una variabile:

y_{i} = β^{T} x_{i} + ϵ_{y_{i}}

$y_i = \beta^T x_i + \epsilon_{y_i}$

Qui ed sono osservati ma solo è trattata come una variabile cioè ha una distribuzione associato con esso. $x$ $y$ $y$

Ora, i presupposti di modellazione sono:

y ~ N (β^{T} X_{io}, σ^{2} / w_{io})

$y \sim N(\beta^Tx_i, \sigma^2/w_i)$

Quindi, la varianza di è ponderata. $y$

C'è anche una distribuzione a priori su e , che sono normali e gamma distribuzioni, rispettivamente. $\beta$ $w$

Pertanto, la probabilità di log completa è data da:

\log p (y, w, β | x) = Σ \log P (y_{i} | w, β, x_{i}) + \log P (β) + Σ \log P (w_{i})

$\log p(y, w, \beta |x) = \Sigma \log P(y_i|w, \beta, x_i) + \log P(\beta) + \Sigma \log P(w_i)$

Ora, a quanto ho capito, sia che sono parametri del modello. Tuttavia, nel documento continuano a riferirsi a loro come variabili latenti. Il mio ragionamento è e fanno entrambi parte della distribuzione di probabilità per la variabile e sono parametri del modello. Tuttavia, gli autori li trattano come variabili casuali latenti. È corretto? In tal caso, quali sarebbero i parametri del modello? $\beta$ $w$ $\beta$ $w$ $y$

Il documento è disponibile qui ( http://www.jting.net/pubs/2007/ting-ICRA2007.pdf ).

L'articolo è il rilevamento automatico degli outlier: un approccio bayesiano di Ting et al.

— luca
fonte

Potrebbe essere utile elencare un riferimento al documento (e forse un link). Parte del problema è che ciò che sono esattamente differisce dalle prospettive frequentista e bayesiana. Dal punto di vista bayesiano, un parametro fa avere una distribuzione - non è solo qualcosa di aggiunto a rappresentare l'incertezza.

— gung - Ripristina Monica

Ho pensato che sarebbe ingiusto dato che la gente penserebbe che mi aspetto che leggano il giornale senza spiegare le cose, ma l'ho messo ora.

— Luca,

Perché non puoi mettere un precedente su una variabile latente? Sono un novizio bayesiano, ma sembra che dovresti essere in grado di farlo.

— robin.datadrivers

Penso che si possa certamente, ovviamente e doverlo fare nell'allestimento bayesiano. Tuttavia, non sono sicuro del motivo per cui o siano variabili in questa impostazione. A me sembrano parametri del modello. Sto avendo difficoltà a raccontare ciò che rende dicono una variabile piuttosto che un parametro in questa configurazione. Anche io sono alle prime armi, come puoi vedere chiaramente ...

w

$w$

β

$\beta$

w

$w$

— Luca,

Grazie @Luca. Non sarebbe bello se avessi bisogno che le persone leggessero il giornale, ma averlo lì per il contesto è bello. Penso che tu l'abbia fatto bene.

— gung - Ripristina Monica

Nel documento, e in generale, le variabili (casuali) sono tutto ciò che è tratto da una distribuzione di probabilità. Le variabili latenti (casuali) sono quelle che non si osservano direttamente ( $y$ è osservato, no, ma entrambi sono rv). Da una variabile casuale latente è possibile ottenere una distribuzione posteriore, che è la sua distribuzione di probabilità condizionata ai dati osservati. $\beta$

D'altra parte, un parametro è fisso, anche se non si conosce il suo valore. La stima della massima verosimiglianza, ad esempio, fornisce il valore più probabile del parametro. Ma ti dà un punto, non una distribuzione completa, perché le cose fisse non hanno distribuzioni! (Puoi mettere una distribuzione su quanto sei sicuro di questo valore o in quale intervallo sei questo valore, ma questo non è lo stesso della distribuzione del valore stesso, che esiste solo se il valore è in realtà un casuale variabile)

In un ambiente bayesiano, puoi averli tutti. Qui, i parametri sono cose come il numero di cluster; dai questo valore al modello e il modello lo considera un numero fisso. è una variabile casuale, perché è tratto da una distribuzione, e e sono variabili casuali latenti perché attratti dalle distribuzioni di probabilità pure. Il fatto che dipenda da e non li rende "parametri", ma rende dipendente da due variabili casuali. $y$ $\beta$ $w$ $y$ $\beta$ $w$ $y$

Nel documento considerano che $\beta$ e $w$ sono variabili casuali.

In questa frase:

Queste equazioni di aggiornamento devono essere eseguite in modo iterativo fino a quando tutti i parametri e la probabilità di log completa non convergono in valori fissi

in teoria parlano dei due parametri, non quelli che sono variabili casuali, poiché in EM questo è ciò che fai, ottimizzando i parametri.

— alberto
fonte

La domanda riguardava le variabili latenti .

— Tim

riparato, spero sia più chiaro ora.

— alberto