Regressione di Bayes: come si fa rispetto alla regressione standard?

Ho alcune domande sulla regressione bayesiana:

1. Data una regressione standard come . Se voglio trasformarlo in una regressione bayesiana, ho bisogno di distribuzioni precedenti sia per che (o non funziona in questo modo)?β 0 β $y = \beta_0 + \beta_1 x + \varepsilon$$\beta_0$$\beta_1$

2. Nella regressione standard si cercherebbe di minimizzare i residui per ottenere valori singoli per e . Come viene fatto nella regressione di Bayes?β $\beta_0$$\beta_1$

---

Faccio molta fatica qui:

$$\text{posterior} = \text{prior} \times \text{likelihood}$$

La probabilità deriva dall'insieme di dati corrente (quindi è il mio parametro di regressione ma non come un singolo valore ma come distribuzione della probabilità, giusto?). La priorità proviene da una ricerca precedente (diciamo). Quindi ho ottenuto questa equazione:

$$y = \beta_1 x + \varepsilon$$

con è la mia probabilità o posteriore (o è solo totalmente sbagliato)? $\beta_1$

Semplicemente non riesco a capire come la regressione standard si trasforma in una Bayes.

Modello di regressione lineare semplice

$$y_i = \alpha + \beta x_i + \varepsilon$$

può essere scritto in termini di modello probabilistico dietro di esso

$$\mu_i = \alpha + \beta x_i \\ y_i \sim \mathcal{N}(\mu_i, \sigma)$$

cioè la variabile dipendente segue la distribuzione normale parametrizzata dalla media , che è una funzione lineare di parametrizzata da e dalla deviazione standard . Se si stima tale modello utilizzando i minimi quadrati ordinari , non è necessario preoccuparsi della formulazione probabilistica, poiché si cercano valori ottimali dei parametri minimizzando gli errori quadrati dei valori adattati ai valori previsti. D'altra parte, è possibile stimare tale modello utilizzando la stima della massima verosimiglianza , dove si cercano valori ottimali dei parametri massimizzando la funzione di verosimiglianzaμ i X α , β σ α , $Y$$\mu_i$$X$$\alpha,\beta$$\sigma$$\alpha,\beta$

$$\DeclareMathOperator*{\argmax}{arg\,max} \argmax_{\alpha,\,\beta,\,\sigma} \prod_{i=1}^n \mathcal{N}(y_i; \alpha + \beta x_i, \sigma)$$

dove è una funzione di densità di distribuzione normale valutata in punti , parametrizzata mediante mezzi e deviazione standard .y i α + β x i$\mathcal{N}$$y_i$$\alpha + \beta x_i$$\sigma$

Nell'approccio bayesiano invece di massimizzare la sola funzione di verosimiglianza, assumiamo le distribuzioni precedenti per i parametri e usiamo il teorema di Bayes

$$\text{posterior} \propto \text{likelihood} \times \text{prior}$$

La funzione di probabilità è la stessa di sopra, ma ciò che cambia è che si assumono alcune distribuzioni precedenti per i parametri stimati e li si include nell'equazione$\alpha,\beta,\sigma$

$$\underbrace{f(\alpha,\beta,\sigma\mid Y,X)}_{\text{posterior}} \propto \underbrace{\prod_{i=1}^n \mathcal{N}(y_i\mid \alpha + \beta x_i, \sigma)}_{\text{likelihood}} \; \underbrace{f_{\alpha}(\alpha) \, f_{\beta}(\beta) \, f_{\sigma}(\sigma)}_{\text{priors}}$$

"Quali distribuzioni?" è una domanda diversa, poiché esiste un numero illimitato di scelte. Per parametri si potrebbe, ad esempio assumere distribuzioni normali parametrizzata alcuni iperparametri , o -distribuzione se si vuole assumere le code più pesanti, o distribuzione uniforme se non si vuole fare molto supposizioni, ma si vuole assumere che i parametri possono essere a priori "qualsiasi cosa nell'intervallo dato", ecc. Per è necessario assumere una distribuzione precedente che sia limitata da zero a zero, poiché la deviazione standard deve essere positiva. Ciò può portare alla formulazione del modello, come illustrato di seguito da John K. Kruschke.t$\alpha,\beta$$t$$\sigma$

(fonte: http://www.indiana.edu/~kruschke/BMLR/ )

Mentre nella massima probabilità stavi cercando un singolo valore ottimale per ciascuno dei parametri, nell'approccio bayesiano applicando il teorema di Bayes ottieni la distribuzione posteriore dei parametri. La stima finale dipenderà dalle informazioni che provengono dai tuoi dati e dai tuoi priori , ma più informazioni sono contenute nei tuoi dati, meno influenti sono i priori .

Notare che quando si usano priori uniformi, prendono forma dopo aver lasciato cadere le costanti normalizzanti. Questo rende il teorema di Bayes proporzionale alla sola funzione di verosimiglianza, quindi la distribuzione posteriore raggiungerà il suo massimo esattamente nello stesso punto della stima della massima verosimiglianza. Ciò che segue, la stima sotto priori uniformi sarà la stessa usando i minimi quadrati ordinari poiché minimizzare gli errori al quadrato corrisponde a massimizzare la normale probabilità .$f(\theta) \propto 1$

Per stimare un modello in approccio bayesiano in alcuni casi è possibile utilizzare priori coniugati , quindi la distribuzione posteriore è direttamente disponibile (vedi esempio qui ). Tuttavia nella stragrande maggioranza dei casi la distribuzione posteriore non sarà direttamente disponibile e dovrete usare i metodi Markov Chain Monte Carlo per stimare il modello (controllate questo esempio di utilizzo dell'algoritmo Metropolis-Hastings per stimare i parametri di regressione lineare). Infine, se sei interessato solo alle stime puntuali dei parametri, puoi utilizzare la stima massima a posteriori , ad es

$$\argmax_{\alpha,\,\beta,\,\sigma} f(\alpha,\beta,\sigma\mid Y,X)$$

Per una descrizione più dettagliata della regressione logistica è possibile controllare il modello logit bayesiano - spiegazione intuitiva? filo.

Per saperne di più puoi consultare i seguenti libri:

Kruschke, J. (2014). Fare analisi dei dati bayesiani: un tutorial con R, JAGS e Stan. Academic Press.

Gelman, A., Carlin, JB, Stern, HS e Rubin, DB (2004). Analisi dei dati bayesiani. Chapman & Hall / CRC.

Dato un set di dati dove , una regressione lineare bayesiana modella il problema nel seguente modo:x ∈ R d , y ∈ $D = (x_1,y_1), \ldots, (x_N,y_N)$$x \in \mathbb{R}^d, y \in \mathbb{R}$

Prima:

$$w \sim \mathcal{N}(0, \sigma_w^2 I_d)$$

( w 1 , … , w d ) T I d d × $w$ è un vettore , quindi la distribuzione precedente è un gaussiano multivariato; e è la matrice di identità .$(w_1, \ldots, w_d)^T$$I_d$$d\times d$

Probabilità:

$$Y_i \sim \mathcal{N}(w^T x_i, \sigma^2)$$

Partiamo dal presupposto che$Y_i \perp Y_j | w, i \neq j$

Per ora useremo la precisione invece della varianza, e . Supponiamo anche che siano noti.$a = 1/\sigma^2$$b = 1/\sigma_w^2$$a,b$

Il precedente può essere indicato come

$$p(w) \propto \exp \Big\{ -\frac{b}{2} w^t w \Big\}$$

E la probabilità

$$p(D|w) \propto \exp \Big\{ -\frac{a}{2} (y-Aw)^T (y-Aw) \Big\}$$

dove e è un matrice in cui la i-esima riga è .$y = (y_1,\ldots,y_N)^T$$A$$n\times d$$x_i^T$

Quindi il posteriore è

$$p(w|D) \propto p(D|w) p(w)$$

Dopo molti calcoli lo scopriamo

$$p(w|D) \sim \mathcal{N}(w | \mu, \Lambda^{-1})$$

dove ( è la matrice di precisione)$\Lambda$

$$\Lambda = a A^T A + b I_d$$ $$\mu = a \Lambda^{-1} A^T y$$

Si noti che è uguale al della regressione lineare regolare, questo perché per il gaussiano la media è uguale alla modalità.$\mu$$w_{MAP}$

Inoltre, possiamo fare un po 'di algebra su e ottenere la seguente uguaglianza ( ):$\mu$$\Lambda = aA^TA+bI_d$

$$\mu = (A^T A + \frac{b}{a} I_d)^{-1} A^T y$$

e confronta con :$w_{MLE}$

$$w_{MLE} = (A^T A)^{-1} A^T y$$

L'espressione extra in corrisponde al precedente. Questo è simile all'espressione per la regressione di Ridge, per il caso speciale in cui . La regressione della cresta è più generale perché la tecnica può scegliere priori impropri (nella prospettiva bayesiana).$\mu$$\lambda = \frac{b}{a}$

Per la distribuzione predittiva posteriore:

$$p(y|x,D) = \int p(y|x,D,w) p(w|x,D) dw = \int p(y|x,w) p(w|D) dw$$

è possibile calcolarlo

$$y|x,D \sim \mathcal{N}(\mu^Tx, \frac{1}{a} + x^T \Lambda^{-1}x)$$

Riferimento: Lunn et al. Il libro BUGS

Per l'utilizzo di uno strumento MCMC come JAGS / Stan, controlla l'analisi dei dati bayesiani di Kruschke