Quali sono i vantaggi dell'utilizzo di una rete neurale bayesiana


12

Recentemente ho letto alcuni articoli sulla rete neurale bayesiana (BNN) [Neal, 1992] , [Neal, 2012] , che fornisce una relazione di probabilità tra l'input e l'output in una rete neurale. La formazione di una tale rete neurale avviene tramite MCMC, che è diverso dal tradizionale algoritmo di retro-propagazione.

La mia domanda è: qual è il vantaggio di utilizzare una tale rete neurale? Più specificamente, potresti fornire alcuni esempi che meglio si adattano a BNN piuttosto che a NN?

Risposte:


9

Le reti neurali bayesiane sono utili per risolvere i problemi nei domini in cui i dati sono scarsi, come modo per prevenire un eccesso di adattamento. Spesso battono tutti gli altri metodi in tali situazioni. Esempi di applicazione sono la biologia molecolare ( ad esempio questo documento ) e la diagnosi medica (aree in cui i dati spesso provengono da costosi e difficili lavori di degenza). In realtà, le reti bayesiane sono universalmente utili e possono ottenere risultati migliori per un gran numero di compiti, ma sono estremamente difficili da scalare a grandi problemi.


2
Puoi espandere il motivo per cui le reti bayesiane sono difficili da ridimensionare?
Ellis Valentiner,

6

Un vantaggio di BNN rispetto a NN è che puoi calcolare automaticamente un errore associato alle tue previsioni quando gestisci dati di target sconosciuti. Con un BNN, ora stiamo facendo l'inferenza bayesiana. Definiamo la nostra previsione BNN come , dove è la funzione NN, sono i tuoi input , sono i parametri NN e x, t sono gli input e gli obiettivi di allenamento. Questo dovrebbe essere compatibile con la sintassi utilizzata da Neal nei collegamenti forniti da @forecaster. Quindi possiamo calcolare una deviazione standard della distribuzione predittiva posteriore, che utilizzerei ingenuamente come accuratezza sulla previsione:f¯(x|x,t)=f(x,ω)p(ω|x,t)dωx ω σ ( x ) = fxωσ(x)=[f(x,ω)f¯(x|x,t)]2p(ω|x,t)dω


1
Questa è un'aggiunta interessante alla conversazione, ma è un po 'breve per i nostri standard. Potresti elaborare un po 'e forse includere un riferimento?
Sycorax dice di reintegrare Monica

Sicuro. Con un BNN, ora stiamo facendo l'inferenza bayesiana. Definiamo la nostra previsione BNN come , dove f è l'NN funzione, x 'sono i tuoi input, sono i parametri NN e sono gli input e gli obiettivi di allenamento. Questo dovrebbe essere compatibile con la sintassi utilizzata da Neal nei collegamenti forniti da @forecaster. Quindi possiamo calcolare una deviazione standard della distribuzione predittiva posteriore, che userei ingenuamente come accuratezza sulla previsione:f¯(x|x,t)=f(x,ω)p(ω|x,t)dωωx,tσ(x)=([f(x,ω)f¯(x|x,t)]2p(ω|x,t)dω)
Michelle K,

Modifica questo nella tua risposta.
Sycorax dice di ripristinare Monica
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.