Che cos'è esattamente un modello bayesiano?

34

Posso chiamare un modello in cui il teorema di Bayes viene utilizzato come "modello bayesiano"? Temo che una tale definizione potrebbe essere troppo ampia.

Quindi cos'è esattamente un modello bayesiano?

machine-learning bayesian

— Sibbs Gioco d'azzardo
fonte

9

Un modello bayesiano è un modello statistico costituito dalla coppia precedente x probabilità = posteriore x marginale. Il teorema di Bayes è in qualche modo secondario rispetto al concetto di un priore.

— Xi'an,

18

In sostanza, uno in cui l'inferenza si basa sull'uso del teorema di Bayes per ottenere una distribuzione posteriore per una quantità o quantità di interesse forma un modello (come i valori dei parametri) basato su una distribuzione precedente per i parametri sconosciuti rilevanti e la probabilità dal modello.

cioè da un modello distributivo di qualche forma, e un precedente , qualcuno potrebbe cercare di ottenere il posteriore . $f(X_i|\mathbf{\theta})$ $p(\mathbf{\theta})$ $p(\mathbf{\theta}|\mathbf{X})$

Un semplice esempio di un modello bayesiano è discusso in questa domanda e nei commenti di questo - regressione lineare bayesiana, discussa più dettagliatamente in Wikipedia qui . Le ricerche mostrano discussioni su alcuni modelli bayesiani qui.

Ma ci sono altre cose che si potrebbero provare a fare con un'analisi bayesiana oltre a un semplice modello: vedere, ad esempio, la teoria delle decisioni bayesiane.

— Glen_b -Restate Monica
fonte

Nella regressione lineare, qui è uguale al vettore ? Se no, cos'è?

θ

$\theta$

[β_{0}, β_{1}, . . ., β_{n}]

$[\beta_0, \beta_1, ..., \beta_n]$

— BCLC,

1

@BCLC Di solito includerebbe anche .

σ

$\sigma$

— Glen_b -Restate Monica

1

@BCLC Sembra che tu stia confondendo il frequentatore e l'inferenza bayesiana. L'inferenza bayesiana si concentra su qualsiasi quantità ti interessi. Se sei interessato a parametri (es. Inferenza su determinati coefficienti), l'idea sarebbe quella di cercare distribuzioni posteriori [parametri | dati]. Se sei interessato alla funzione media ( ), allora dovresti cercare una distribuzione posteriore per quella (che è ovviamente una funzione della distribuzione (multivariata) di ). Potresti usare OLS nella tua stima, ma i parametri del posteriore saranno spostati dal precedente ...

μ_{Y} | X

$\mu_Y|X$

β

$\mathbb{\beta}$

— Glen_b -Reinstate Monica

1

... vedi la pagina wikipedia sulla regressione bayesiana e alcune discussioni qui sul CV

— Glen_b -Reinstate Monica

1

Tale calcolo a volte arriva (sia che tu lo abbia chiamato o ), per vari motivi. Il mio commento precedente non è in alcun modo in conflitto con quel calcolo. (o equivalentemente o ) è un parametro e devi affrontarlo insieme agli altri parametri. Tuttavia, mentre sarebbe raro che tu conoscessi ; ad esempio se si sta eseguendo il campionamento di Gibbs, il condizionale sarebbe rilevante. Se vuoi solo deduzione su , dovresti integrare (o ecc.) Da piuttosto che condizionare su .

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

σ^{2}

$\sigma^2$

ϕ

$\phi$

σ

$\sigma$

β

$\beta$

σ

$\sigma$

σ^{2}

$\sigma^2$

θ | y

$\theta|y$

σ

$\sigma$

— Glen_b -Restate Monica

11

Un modello bayesiano è solo un modello che trae le sue inferenze dalla distribuzione posteriore, cioè utilizza una distribuzione precedente e una probabilità che sono correlate dal teorema di Bayes.

— Sycorax dice Reinstate Monica
fonte

7

Posso chiamare un modello in cui il teorema di Bayes viene utilizzato come "modello bayesiano"?

No

Temo che una tale definizione potrebbe essere troppo ampia.

Hai ragione. Il teorema di Bayes è una relazione legittima tra probabilità di eventi marginali e probabilità condizionate. Tiene indipendentemente dalla tua interpretazione della probabilità.

Quindi cos'è esattamente un modello bayesiano?

Se stai usando concetti precedenti e posteriori ovunque nella tua esposizione o interpretazione, allora probabilmente stai usando il modello bayesiano, ma questa non è la regola assoluta, perché questi concetti sono usati anche in approcci non bayesiani.

In senso lato, però, è necessario sottoscrivere l'interpretazione bayesiana della probabilità come credenza soggettiva. Questo piccolo teorema di Bayes è stato esteso e ampliato da alcune persone in questa visione del mondo intero e persino, devo dire, filosofia . Se appartieni a questo campo, allora sei bayesiano. Bayes non aveva idea che ciò sarebbe accaduto al suo teorema. Sarebbe inorridito, penso io.

— Aksakal
fonte

4

Questa sembra essere la prima risposta per introdurre l'importante punto sollevato nella sua prima riga: il semplice uso del teorema di Bayes non rende qualcosa un modello bayesiano. Vorrei incoraggiarti ad andare oltre con questo pensiero. Sembri arretrare dove dici che "usare concetti precedenti e posteriori" rende un modello bayesiano. Non significa semplicemente applicare nuovamente il Teorema di Bayes? In caso contrario, potresti spiegare cosa intendi con "concetti" in questo passaggio? Dopo tutto, le statistiche classiche (non bayesiane) usano priori e posteriori per dimostrare la ricevibilità di molte procedure.

— whuber

@whuber, era più come una semplice regola empirica. Ogni volta che vedo un "precedente" nel documento, finisce per essere o pretendere di essere dal punto di vista bayesiano. Chiarirò il mio punto però.

— Aksakal,

5

Un modello statistico può essere visto come una procedura / storia che descrive come sono diventati alcuni dati. Un modello bayesiano è un modello statistico in cui si utilizza la probabilità per rappresentare tutte le incertezze all'interno del modello, sia l'incertezza relativa all'output, sia l'incertezza relativa all'input (alias parametri) al modello. L'intera cosa del teorema precedente / posteriore / di Bayes segue questo, ma secondo me, usare la probabilità per tutto è ciò che lo rende bayesiano (e in effetti una parola migliore sarebbe forse qualcosa di simile a un modello probabilistico ).

Ciò significa che la maggior parte degli altri modelli statistici può essere "inserita in" un modello bayesiano modificandoli per utilizzare la probabilità ovunque. Ciò è particolarmente vero per i modelli che si basano sulla massima probabilità, poiché il raccordo del modello con massima probabilità è un sottoinsieme rigoroso del raccordo del modello bayesiano.

— Rasmus Bååth
fonte

L'MLE viene utilizzato ed è stato sviluppato al di fuori del modello bayesiano, quindi non è molto chiaro cosa si intende per "sottoinsieme rigoroso del raccordo del modello bayesiano".

— Aksakal,

Dal punto di vista bayesiano, l'MLE è ciò che si ottiene assumendo priori piatti, adattando il modello e utilizzando la configurazione dei parametri più probabile come stima puntuale. Se questo sia un caso speciale della "filosofia della statistica" bayesiana, lascio che gli altri possano discuterne, ma è certamente un caso speciale di adattamento del modello bayesiano.

— Rasmus Bååth,

Il problema con questa affermazione è che lascia un'impressione che devi essere abbonato a una sorta di pensiero bayesiano per poter usare MLE.

— Aksakal,

1

Non sono sicuro di cosa intendi. IMO non è necessario iscriversi al pensiero bayesiano quando si utilizzano le statistiche bayesiane più di quanto sia necessario iscriversi al pensiero matriciale quando si fa un'algebra lineare o il pensiero gaussiano quando si utilizza una distribuzione normale. Inoltre, non sto dicendo che l'MLE debba essere interpretato come un sottoinsieme di adattamento del modello bayesiano (anche se per me è abbastanza naturale).

— Rasmus Bååth,

3

La tua domanda è più sul lato semantico: quando posso chiamare un modello "bayesiano"?

Trarre conclusioni da questo eccellente documento:

Fienberg, SE (2006). Quando l'inferenza bayesiana è diventata "bayesiana"? Analisi bayesiana, 1 (1): 1-40.

ci sono 2 risposte:

Il tuo modello è il primo bayesiano se utilizza la regola di Bayes (questo è l'algoritmo).
Più in generale, se deduci (nascoste) cause da un modello generativo del tuo sistema, allora sei bayesiano (questa è la "funzione").

Sorprendentemente, la terminologia dei "modelli bayesiani" che viene utilizzata in tutto il campo si è stabilita intorno agli anni '60. Ci sono molte cose da imparare sull'apprendimento automatico solo guardando la sua storia!

— meduz
fonte

Sembra che menzioni solo una delle "due risposte". Forse scrivere qualcosa su entrambi?

— Tim

grazie per la nota, ho modificato la mia risposta per separare le 2 parti della mia frase.

— Meduz,