Differenza tra rete di Bayes, rete neurale, albero decisionale e reti di Petri

Qual è la differenza tra rete neurale , rete bayesiana , albero decisionale e reti di Petri , anche se sono tutti modelli grafici e descrivono visivamente la relazione causa-effetto.

Caspita, che grande domanda! La versione breve della risposta è che solo perché puoi rappresentare due modelli usando rappresentazioni visivamente schematicamente simili, non significa che siano nemmeno lontanamente collegati strutturalmente, funzionalmente o filosoficamente. Non ho familiarità con FCM o NF, ma posso parlare un po 'con gli altri.

Rete bayesiana

In una rete bayesiana, il grafico rappresenta le dipendenze condizionali di diverse variabili nel modello. Ogni nodo rappresenta una variabile e ogni fronte diretto rappresenta una relazione condizionale. In sostanza, il modello grafico è una visualizzazione della regola della catena.

Rete neurale

In una rete neurale, ogni nodo è un "neurone" simulato. Il neurone è essenzialmente acceso o spento e la sua attivazione è determinata da una combinazione lineare dei valori di ogni uscita nel precedente "strato" della rete.

Albero decisionale

Diciamo che stiamo usando un albero decisionale per la classificazione. L'albero essenzialmente ci fornisce un diagramma di flusso che descrive come dovremmo classificare un'osservazione. Iniziamo dalla radice dell'albero e la foglia in cui finiamo determina la classificazione che prevediamo.

Come puoi vedere, questi tre modelli non hanno praticamente nulla a che fare l'uno con l'altro oltre a essere rappresentabili con scatole e frecce.

È facile dimostrare (vedi il corso di Daphne Koller ) che la regressione logistica è una versione limitata dei campi casuali condizionali, che sono modelli grafici non indirizzati, mentre le reti bayesiane sono modelli grafici diretti. Quindi, la regressione logistica potrebbe anche essere vista come un perceptron a singolo strato. Questo è l'unico collegamento (che è molto lento) che penso possa essere tracciato tra le reti bayesiane e le reti neurali.

Devo ancora trovare un collegamento tra gli altri concetti di cui hai chiesto.

Ottima risposta di @ David Marx. Mi chiedevo qual è la differenza tra l'albero di classificazione / regressione e la rete bayesiana. Uno si basa sull'entropia per classificare un risultato in classi basate su diversi predittori e l'altro crea una rete grafica usando l'indipendenza condizionale e le stime probabilistiche dei parametri.

Ritengo che la metodologia di costruzione della rete bayesiana sia diversa rispetto all'albero Regressione / Decisione. L'algoritmo per l'apprendimento strutturale, gli obiettivi per l'utilizzo dei modelli e l'abilità inferenziale dei modelli sono diversi.

L'approccio basato sul punteggio e basato sul vincolo può essere compreso con alcuni parallelismi tracciati con i criteri di acquisizione delle informazioni nelle famiglie dell'albero decisionale.

Innanzitutto cerchiamo di affermare la natura del problema tentato di essere risolto con questi metodi. Se un problema è semplice, polinomiale o NP completo, siamo pronti a collegare algoritmi che potrebbero fornire una risposta deterministica, mediante una semplice ricombinazione degli assiomi lungo le regole logiche. Tuttavia, se così non fosse, dovremmo fare affidamento su un metodo di ragionamento, in cui, cerchiamo di trattare il problema come eterogeneo e collegarlo a una rete, i nodi sono valutazioni e i bordi sono percorsi tra i componenti .

In qualsiasi tipo di ragionamento basato su rete, non ragioniamo in modo deduttivo, usando generalizzazioni e combinazioni astratte, secondo regole logiche in un flusso lineare, ma piuttosto risolviamo il problema basato sulla propagazione del ragionamento in direzioni diverse, in modo da risolvere il problema un nodo alla volta, aperto a miglioramenti sulla scoperta di nuovi fatti riguardanti qualsiasi nodo in futuro. Ora vediamo come ciascuna di queste tecniche affronta questo metodo di problem solving a modo suo.

Rete neurale: la rete neurale è una scatola nera, in cui si ritiene (mai verificabile dall'esterno del sistema) che le connessioni tra i nodi semplici siano formate ed enfatizzate da ripetuti rinforzi esterni. Affronta il problema in un paradigma connettivo . Il problema è probabilmente risolto, ma c'è poco da spiegare. La rete neurale è ora ampiamente utilizzata a causa della sua capacità di produrre risultati rapidi, se il problema con la spiegabilità viene trascurato.

Rete bayesiana: La rete bayesiana è un grafico aciclico diretto, che assomiglia di più al diagramma di flusso, solo che il diagramma di flusso può avere cicli ciclici. La rete bayesiana, diversamente dal diagramma di flusso, può avere più punti di inizio. Fondamentalmente traccia la propagazione degli eventi su più punti ambigui, in cui l'evento si differenzia probabilisticamente tra i percorsi. Ovviamente, in qualsiasi dato punto della rete, la probabilità che quel nodo venga visitato dipende dalla probabilità congiunta dei nodi precedenti. La rete bayesiana è diversa dalla rete neurale in quanto è esplicito ragionamento, anche se probabilistico e quindi potrebbe avere più stati stabili basati su ogni passaggio rivisitato e modificato all'interno di valori legali, proprio come un algoritmo. È un modo affidabile per ragionare probabilisticamente, ma implica la codifica delle probabilità,

Alberi decisionali: l'albero decisionale è di nuovo una rete, più simile a un diagramma di flusso, più vicino alla rete bayesiana che alla rete neurale. Ogni nodo ha più intelligenza della rete neurale e la ramificazione può essere decisa da valutazioni matematiche o probabilistiche. Le decisioni sono valutazioni semplici basate su distribuzioni di frequenza di eventi probabili, in cui la decisione è probabilistica. Tuttavia, nelle reti bayesiane, la decisione si basa sulla distribuzione di "prove" che indicano che si è verificato un evento, piuttosto che sull'osservazione diretta dell'evento stesso.

Un esempio Ad esempio, se dovessimo prevedere il movimento di una tigre mangiatrice di uomini attraverso alcuni villaggi dell'Himalaya che si trova ai margini di una riserva di tigri, potremmo modellarla su entrambi gli approcci come segue:

In un albero decisionale, faremmo affidamento a stime di esperti per stabilire se una tigre avrebbe potuto scegliere tra campi aperti o fiumi sceglierebbe quest'ultimo. In una rete bayesiana, seguiamo la tigre con segni di carlino, ma ragioniamo in un modo che riconosce che questi segni di carlino potrebbero essere stati quelli di altre tigri di dimensioni simili che pattugliano abitualmente il suo territorio. Se dovessimo usare una rete neurale, dovremmo allenare ripetutamente il modello usando varie peculiarità comportamentali della tigre in generale, come la sua preferenza per nuotare, la preferenza delle aree coperte rispetto alle aree aperte, la sua evitazione delle abitazioni umane al fine di consentire alla rete di ragionare in generale sul corso che potrebbe seguire la tigre.

Per quanto riguarda i modelli grafici, Petri Net formalizza un comportamento del sistema; in quanto differisce nettamente dal resto dei modelli citati, tutti relativi al modo in cui si forma un giudizio.

Vale la pena notare che la maggior parte dei nomi citati designano concetti di intelligenza artificiale piuttosto estesi, che spesso si fondono: ad esempio, è possibile utilizzare una rete neurale per costruire un albero decisionale, mentre la stessa rete neurale, come precedentemente discusso, potrebbe dipendere da bayesiano inferenza.

È una buona domanda e mi sono chiesto lo stesso. Esistono più di due tipi di rete neurale, e sembra che la risposta precedente riguardasse il tipo competitivo, mentre la rete bayesiana sembra avere somiglianze con il tipo feed-forward, back-propagation (FFBP), e non con il tipo competitivo. In effetti, direi che la rete bayesiana è una generalizzazione dell'FFBP. Quindi l'FFBP è un tipo di rete bayesiana e funziona in modo simile.