Esiste un dominio in cui le reti bayesiane superano le reti neurali?

Le reti neurali ottengono migliori risultati in compiti di visione artificiale (vedi MNIST , ILSVRC , Kaggle Galaxy Sfida ). Sembrano sovraperformare ogni altro approccio in Computer Vision. Ma ci sono anche altri compiti:

• Sfida di attività molecolare di Kaggle
• Regressione: previsione Kaggle Rain , anche il 2 ° posto
• Afferra e solleva anche il 2 ° posto - Identifica i movimenti della mano dalle registrazioni EEG

Non sono troppo sicuro dell'ASR (riconoscimento vocale automatico) e della traduzione automatica, ma penso di aver anche sentito che le reti (ricorrenti) neurali (iniziano a) superano altri approcci.

Attualmente sto imparando a conoscere le reti bayesiane e mi chiedo in quali casi questi modelli vengono generalmente applicati. Quindi la mia domanda è:

Esiste una competizione / competizione (Kaggle), in cui lo stato dell'arte sono le reti bayesiane o almeno modelli molto simili?

(Nota a margine : ho visto anche alberi delle decisioni , 2 , 3 , 4 , 5 , 6 , 7 vincere in diverse sfide Kaggle recenti)

Una delle aree in cui vengono spesso utilizzati gli approcci bayesiani è quella in cui occorre interpretare il sistema di predizione. Non vuoi dare ai medici una rete neurale e dire che è preciso al 95%. Preferisci spiegare le ipotesi che il tuo metodo fa, nonché il processo decisionale che il metodo usa.

Un'area simile è quando si dispone di una solida conoscenza del dominio precedente e si desidera utilizzarla nel sistema.

Le reti bayesiane e le reti neurali non si escludono a vicenda. In effetti, le reti bayesiane sono solo un altro termine per "modello grafico diretto". Possono essere molto utili nella progettazione di reti neurali di funzioni oggettive. Yann Lecun lo ha sottolineato qui: https://plus.google.com/+YannLeCunPhD/posts/gWE7Jca3Zoq .

Un esempio.

Ottime risposte già.

Un dominio a cui riesco a pensare, e su cui sto lavorando ampiamente, è il dominio di analisi dei clienti .

Devo capire e prevedere le mosse e le motivazioni dei clienti al fine di informare e avvertire sia il supporto clienti, il marketing e anche i team di crescita.

Quindi qui, le reti neurali fanno davvero un buon lavoro nella previsione di churn, ecc. Ma ho trovato e preferisco lo stile delle reti bayesiane, e qui ci sono i motivi per preferirlo:

1. I clienti hanno sempre un modello. Hanno sempre un motivo per agire. E quella ragione sarebbe qualcosa che la mia squadra ha fatto per loro, o hanno imparato loro stessi. Quindi, tutto ha un precedente qui, e in effetti questa ragione è molto importante in quanto alimenta la maggior parte delle decisioni prese dal cliente.
2. Ogni mossa da parte del cliente e dei team di crescita nell'imbuto di marketing / vendita è causa-effetto. Pertanto, la conoscenza preliminare è fondamentale quando si tratta di convertire un potenziale cliente in un cliente.

Quindi, il concetto di prior è molto importante quando si tratta di analisi dei clienti, il che rende il concetto di reti bayesiane molto importante per questo dominio.

Apprendimento suggerito:

Metodi bayesiani per reti neurali

Reti bayesiane nell'analisi aziendale

A volte ti interessa tanto cambiare il risultato quanto prevederlo.

Una rete neurale dotata di dati di allenamento sufficienti tenderà a prevedere meglio il risultato, ma una volta che è possibile prevederlo, è possibile prevedere l'effetto di apportare modifiche alle funzionalità di input sul risultato.

Un esempio dalla vita reale, sapere che è probabile che qualcuno abbia un attacco di cuore è utile, ma essere in grado di dire alla persona che se smettessero di fare XX, il rischio si ridurrebbe del 30% è di grande beneficio.

Allo stesso modo per la fidelizzazione dei clienti, sapere perché i clienti smettono di fare acquisti con te, vale tanto quanto prevedere i clienti che probabilmente smetteranno di fare acquisti con te.

Inoltre, una rete bayesiana più semplice che predice meno bene ma porta a intraprendere più azioni può spesso essere migliore di una rete bayesiana più "corretta".

Il più grande vantaggio delle reti bayesiane rispetto alle reti neurali è che possono essere utilizzate per l'inferenza causale. Questo ramo è di fondamentale importanza per la statistica e l'apprendimento automatico e Judea Pearl ha vinto il premio Turing per questa ricerca.

Le reti bayesiane potrebbero sovraperformare le reti neurali con impostazioni di piccoli dati. Se le informazioni precedenti sono gestite correttamente tramite la struttura della rete, i priori e altri iperparametri, potrebbero avere un vantaggio rispetto alle reti neurali. Le reti neurali, in particolare quelle con più livelli, sono molto note per essere affamate di dati. Quasi per definizione sono necessari molti dati per addestrarli correttamente.

Ho pubblicato questo link su Reddit e ho ricevuto molti feedback. Alcuni hanno pubblicato le loro risposte qui, altri no. Questa risposta dovrebbe riassumere il post reddit. (L'ho creato wiki della community, in modo da non ottenere punti per questo)

• La codifica automatica Bayes variazionale è una combinazione di una rete Bayes e una rete neurale. Il documento Reti neurali convoluzionali bayesiane con inferenza variazionale approssimativa di Bernoulli sembra andare nella stessa direzione.
• Dropout: un modo semplice per prevenire il superamento delle reti neurali è un esempio in cui le reti neurali bayesiane superano il loro approccio a dropout (vedere la sezione 6.4 "Confronto con le reti neurali bayesiane")
• L'apprendimento dei concetti a livello umano attraverso l'induzione del programma probabilistico è un documento "su una rete netta bayesiana che fa una classificazione one-shot in questo modo ha sovraperformato le reti neurali" (secondo trashacount12345 - non lo controllavo ormai).
• Yann LeCun ha scritto un post su Google+ in cui sostiene che le reti neurali e i modelli grafici probabilisitc non sono concetti ortogonali.

Le reti bayesiane sono preferite per l'interpretazione del genoma. Vedi, ad esempio, questa tesi che discute i metodi computazionali per l'interpretazione del genoma.

Ho fatto un piccolo esempio per questo una volta. Da ciò, penso che le reti bayesiane siano preferite se si desidera acquisire una distribuzione, ma il set di training di input non copre bene la distribuzione. In tali casi, anche una rete neurale ben generalizzata non sarebbe in grado di ricostruire la distribuzione.

Non sono assolutamente d'accordo sul fatto che le reti neurali facciano bene agli altri studenti. In effetti le reti neurali stanno andando piuttosto male rispetto ad altri metodi. Non esiste inoltre alcuna metodologia, nonostante alcuni consigli sulla scelta dei parametri, fatto questo molto spesso per caso. Ci sono anche alcuni tizi che parlano a caso nei forum di come le reti neurali sono così buone, non perché hanno alcune prove a riguardo, ma perché sono attratte dalla parola fantasia e ronzio, neurale ''. Sono anche molto instabili, hai provato una rete neurale da confrontare con xgboost? Non proverò alcuna rete neurale fino a quando non sarà autocosciente. Quindi fino ad allora felice rete neurale :)