Quali sono i vantaggi dell'utilizzo di una rete neurale bayesiana

12

Recentemente ho letto alcuni articoli sulla rete neurale bayesiana (BNN) [Neal, 1992] , [Neal, 2012] , che fornisce una relazione di probabilità tra l'input e l'output in una rete neurale. La formazione di una tale rete neurale avviene tramite MCMC, che è diverso dal tradizionale algoritmo di retro-propagazione.

La mia domanda è: qual è il vantaggio di utilizzare una tale rete neurale? Più specificamente, potresti fornire alcuni esempi che meglio si adattano a BNN piuttosto che a NN?

bayesian neural-networks bayesian-network

— fishiwhj
fonte

9

Le reti neurali bayesiane sono utili per risolvere i problemi nei domini in cui i dati sono scarsi, come modo per prevenire un eccesso di adattamento. Spesso battono tutti gli altri metodi in tali situazioni. Esempi di applicazione sono la biologia molecolare ( ad esempio questo documento ) e la diagnosi medica (aree in cui i dati spesso provengono da costosi e difficili lavori di degenza). In realtà, le reti bayesiane sono universalmente utili e possono ottenere risultati migliori per un gran numero di compiti, ma sono estremamente difficili da scalare a grandi problemi.

— Denis Tarasov
fonte

2

Puoi espandere il motivo per cui le reti bayesiane sono difficili da ridimensionare?

— Ellis Valentiner,

6

Un vantaggio di BNN rispetto a NN è che puoi calcolare automaticamente un errore associato alle tue previsioni quando gestisci dati di target sconosciuti. Con un BNN, ora stiamo facendo l'inferenza bayesiana. Definiamo la nostra previsione BNN come , dove è la funzione NN, sono i tuoi input , sono i parametri NN e x, t sono gli input e gli obiettivi di allenamento. Questo dovrebbe essere compatibile con la sintassi utilizzata da Neal nei collegamenti forniti da @forecaster. Quindi possiamo calcolare una deviazione standard della distribuzione predittiva posteriore, che utilizzerei ingenuamente come accuratezza sulla previsione: $\bar{f}(x′|x,t)=∫f(x′,ω)p(ω|x,t)dω$ $f$ $x'$ $ω$ $\sigma(x′)=\sqrt{∫[f(x′,ω)−\bar{f}(x′|x,t)]^2p(ω|x,t)dω}$

— Michelle K
fonte

1

Questa è un'aggiunta interessante alla conversazione, ma è un po 'breve per i nostri standard. Potresti elaborare un po 'e forse includere un riferimento?

— Sycorax dice di reintegrare Monica

Sicuro. Con un BNN, ora stiamo facendo l'inferenza bayesiana. Definiamo la nostra previsione BNN come , dove f è l'NN funzione, x 'sono i tuoi input, sono i parametri NN e sono gli input e gli obiettivi di allenamento. Questo dovrebbe essere compatibile con la sintassi utilizzata da Neal nei collegamenti forniti da @forecaster. Quindi possiamo calcolare una deviazione standard della distribuzione predittiva posteriore, che userei ingenuamente come accuratezza sulla previsione:

\bar{f} (x^{'} | x, t) = \int f (x^{'}, ω) p (ω | x, t) d ω

$\bar{f}(x'|x,t) = \int{f(x',\omega)p(\omega|x,t) d\omega}$

ω

$\omega$

x, t

$x,t$

σ (x^{'}) = \sqrt{(} \int [f (x^{'}, ω) - \bar{f} (x^{'} | x, t)]^{2} p (ω | x, t) d ω)

$\sigma(x') = \sqrt(\int{[f(x',\omega)-\bar{f}(x'|x,t)]^2p(\omega|x,t) d\omega})$

— Michelle K,

Modifica questo nella tua risposta.

— Sycorax dice di ripristinare Monica