Rilevamento del punto di cambio online bayesiano (distribuzione predittiva marginale)

Sto leggendo il documento di rilevazione del punto di cambio online bayesiano di Adams e MacKay ( link ).

Gli autori iniziano scrivendo la distribuzione predittiva marginale: dove

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} | r_{t}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) (1)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$

è l'osservazione al tempo ; $x_t$ $t$
indica l'insieme di osservazioni fino al tempo; $\textbf{x}_{1:t}$ $t$
è la lunghezza corrente corrente (tempo dall'ultimo punto di cambio, può essere 0); e $r_t \in \mathbb{N}$
è l'insieme di osservazioni associate alla corsa . $\textbf{x}_t^{(r)}$ $r_t$

Eq. 1 è formalmente corretto (vedere la risposta di seguito da @JuhoKokkala), ma la mia comprensione è che se si desidera effettivamente fare una previsione su è necessario espanderlo come segue: $x_{t+1}$

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}, r_{t + 1}} P (x_{t + 1} | r_{t + 1}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) P (r_{t + 1} | r_{t}) (1 b)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$

Il mio ragionamento è che potrebbe esserci un punto di cambio nel tempo (futuro) , ma il posteriore copre solo fino a . $t+1$ $P(r_t | \textbf{x}_{1:t})$ $t$

Il punto è che gli autori nel documento ci fanno dell'Eq. 1 com'è (vedere Eq. 3 e 11 nel documento), e non 1b. Quindi, apparentemente ignorano la possibilità di un punto di cambio nel tempo quando prevedono dai dati disponibili al tempo . All'inizio della Sezione 2 dicono en passant $t+1$ $x_{t+1}$ $t$

Partiamo dal presupposto che possiamo calcolare la distribuzione predittiva [per ] in base a una determinata lunghezza della corsa . $x_{t+1}$ $r_t$

che forse è dove sta il trucco. Ma in generale, questa distribuzione predittiva dovrebbe assomigliare all'Eq. 1b; che non è quello che fanno (Eq. 11).

Quindi, non sono sicuro di capire cosa sta succedendo. Forse c'è qualcosa di divertente nella notazione.

Riferimento

Adams, RP e MacKay, DJ (2007). Rilevamento del punto di cambio online bayesiano. arXiv prestampa arXiv: 0710.3742.

— lacerbi
fonte

Una potenziale spiegazione è che

rappresenta la lunghezza della corsa alla fine del passo

, che è dopo il punto di cambio nel tempo

. Con questo, l'Eq. 1 ha senso. Infatti, uno inizializzazione dell'algoritmo è impostando

che presuppone che esista un diritto Changepoint prima dell'inizio a

. Tuttavia, la Figura 1 è errata (o almeno fuorviante) in quanto se c'è un punto di cambio tra

, e tra

r_{t}

$r_t$

t

$t$

t

$t$

P (r_{0} = 0) = 1

$P(r_0 =0) = 1$

t = 1

$t=1$

t = 4

$t =4$

t = 5

$t=5$

come illustrato in figura 1A, quindi

deve essere 0 secondo questa notazione, e non

come da Fig 1b.

t = 10

$t=10$

t = 11

$t=11$

r_{4}

$r_4$

r_{10}

$r_{10}$

r_{5}

$r_5$

r_{11}

$r_{11}$

— Lacerbi,

C'è qualcosa di strano in corso nell'Eq. 3 come fattore medio nel summand nell'ultima riga è

mentre pensavo che

contenga

. Sospetto che

abbiano cambiato posto come

P (x_{t} ∣ r_{t - 1}, x_{t}^{(r)})

$P(x_t \mid r_{t-1}, x^{(r)}_t)$

x_{t}^{(r)}

$x^{(r)}_t$

x_{t}

$x_t$

t

$t$

t - 1

$t-1$

P (x_{t} ∣ r_{t}, x_{t - 1}^{(r)})

$P(x_t \mid r_t, x^{(r)}_{t-1})$ avrebbe senso. Nell'eq. 11, il lato destro sembra dipendere da

che non appare affatto sul lato sinistro, quindi o c'è qualcosa di sbagliato o non capisco affatto la notazione.

x_{t}^{(r)}

$x_t^{(r)}$

— Juho Kokkala,

@JuhoKokkala: sono contento di non essere l'unico con quella sensazione ...

— lacerbi,

@lacerbi, ho un'altra domanda su questo documento e penso che potresti essere in grado di rispondere dal momento che ti sembra familiare con il lavoro: stats.stackexchange.com/questions/419988 .

— gwg

Sia (1) che (1b) sono corretti. L'OP ha ragione nel dire che (in questo modello) potrebbe esserci un punto di cambio in , e dipende dalla presenza o meno di un punto di cambio. Ciò non implica alcun problema con (1) poiché i possibili valori di sono completamente "coperti" da . $t+1$ $x_{t+1}$ $r_{t+1}$ $P(x_{t+1} \mid r_t, x_{1:t})$ indica la distribuzione condizionale di condizionale su. Questa distribuzione condizionale fa una media su "tutto il resto", incluso , condizionato a. Proprio come si potrebbe scrivere, diciamo, $P(x_{t+1} | r_t, x_{1:t})$ $x_{t+1}$ $(r_t, x_{1:t})$ $r_{t+1}$ $(r_t, x_{1:t})$ $P(x_{t+1000} | x_t)$ , che prenderebbe in considerazione tutte le possibili configurazioni dei punti di cambio, nonché i valori di che si verificano tra e . $x_i$ $t$ $t+1000$

Nel resto, per prima cosa desumo (1) e poi (1b) in base a (1).

Derivazione di (1)

Per ogni variabile casuale , abbiamo $A,B,C$ purché sia discreto (altrimenti la somma deve essere sostituita da un integrale). Applicando questo a :

P (A ∣ B) = \sum_{c} P (A ∣ B, C = c) P (C = c ∣ B),

$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$

C

$C$

x_{t + 1}, x_{1 : t}, r_{t}

$x_{t+1},x_{1:t},r_t$

che detiene indipendentemente dalle dipendenze tra , , , ovvero non sono state ancora utilizzate ipotesi di modello. Nel presente modello,si presuppone che dato * sia condizionatamente indipendente dai valori di dalle corse prima di

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{1 : t}) P (r_{t} ∣ x_{1 : t}),

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$

r_{t}

$r_t$

x_{1 : t}

$x_{1:t}$

x_{t + 1}

$x_{t+1}$

x_{t + 1}

$x_{t+1}$

r_{t}, x_{t}^{(r)}

$r_t,x^{(r)}_t$

x

$x$

. Ciò implica

. Sostituendo questo nell'equazione precedente, otteniamo

x_{t}^{(r)}

$x^{(r)}_t$

P (x_{t + 1} ∣ r_{t}, x_{1 : t}) = P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)})

$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) P (r_{t} ∣ x_{1 : t}), (1)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$

Derivazione di (1b)

$P(x_{t+1} \mid r_t, x^{(r)}_t)$ $r_{t+1}$

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, r_{t}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}, x_{t}^{(r)}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$

$t+1$ $x_t$ $x_{t+1}$ $x$ $P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$ $r_{t+1}$ $x_{t+1}$ $x_t$ $P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} (\sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t})) P (r_{t} ∣ x_{1 : t}), (1 b)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$

* Osservazione delle ipotesi di indipendenza condizionale del modello

$r$ $x$

— Juho Kokkala
fonte

r_{t + 1}

$r_{t+1}$

r_{t + 1}

$r_{t+1}$

Oh. Sembra quindi che ho frainteso la domanda: devo eliminarlo? Potresti voler chiarire la domanda, al momento sembra che (1) sia in qualche modo errato (anziché forse non utile)

— Juho Kokkala

Tieni questa risposta, che è preziosa. Il mio errore di non essere stato abbastanza chiaro nel mio post originale. Ho cercato di chiarire la mia domanda grazie ai tuoi commenti e in un modo che rende ancora significativa questa risposta.

— Lacerbi,