Dalle reti bayesiane alle reti neurali: come la regressione multivariata può essere trasposta in una rete multi-output

Ho a che fare con un modello lineare gerarchico bayesiano , qui la rete lo descrive.

$Y$ rappresenta le vendite giornaliere di un prodotto in un supermercato (osservato).

$X$ è una matrice nota di regressori, inclusi prezzi, promozioni, giorno della settimana, tempo, festività.

$S$ è il livello di inventario latente sconosciuto di ciascun prodotto, che causa la maggior parte dei problemi e che considero un vettore di variabili binarie, uno per ogni prodotto con$1$ indica lo stock e quindi l'indisponibilità del prodotto. Anche se in teoria sconosciuto l'ho stimato tramite un HMM per ogni prodotto, quindi deve essere considerato noto come X.Ho appena deciso di non oscurarlo per un corretto formalismo.

è un parametro di effetto misto per ogni singolo prodotto in cui gli effetti misti considerati sono il prezzo del prodotto, le promozioni e lo stock.$\eta$

è il vettore dei coefficienti di regressione fissi, mentre b 1 e b 2 sono i vettori del coefficiente di effetti misti. Un gruppo indica ilmarchioe l'altro indica ilsapore(questo è un esempio, in realtà ho molti gruppi, ma qui ne riporto solo 2 per chiarezza).$\beta$$b_1$$b_2$

, Σ b 1 e Σ b 2 sono iperparametri sugli effetti misti.$\Sigma_{\eta}$$\Sigma_{b_1}$$\Sigma_{b_2}$

Dal momento che ho i dati di conteggio diciamo che considero ogni vendita di prodotti come Poisson distribuito in base ai Regressori (anche se per alcuni prodotti vale l'approssimazione lineare e per altri un modello a zero inflazione è migliore). In tal caso avrei per un prodotto ( questo è solo per chi è interessato al modello bayesiano stesso, saltare alla domanda se lo trovi interessante o non banale :) ):$Y$

$\Sigma_{\eta} \sim IW(\alpha_0,\gamma_0)$

$\Sigma_{b_1} \sim IW(\alpha_1,\gamma_1)$

, α 0 , γ 0 , α 1 , γ 1 , α 2 , γ 2 noto.$\Sigma_{b_2} \sim IW(\alpha_2,\gamma_2)$$\alpha_0,\gamma_0,\alpha_1,\gamma_1,\alpha_2,\gamma_2$

$\eta \sim N(\mathbf{0},\Sigma_{\eta})$

$b_1 \sim N(\mathbf{0},\Sigma_{b_1})$

$b_2 \sim N(\mathbf{0},\Sigma_{b_2})$

, Σ β noto.$\beta \sim N(\mathbf{0},\Sigma_{\beta})$$\Sigma_{\beta}$

,$\lambda _{tijk} = \beta*X_{ti} + \eta_i*X_{pps_{ti}} + b_{1_j} * Z_{tj} + b_{2_k} Z_{tk}$

$Y_{tijk} \sim Poi(exp(\lambda_{tijk}))$

, j ∈ 1 , … , m 1 , k ∈ 1 , … , m $i \in {1,\dots,N}$$j \in {1,\dots,m_1}$$k \in {1,\dots,m_2}$

matrice di effetti misti per i 2 gruppi, X p p s i indicando prezzo, promozione e stockout del prodotto considerato. I W indica distribuzioni inverse di Wishart, generalmente utilizzate per matrici di covarianza di normali priori multivariati. Ma non è importante qui. Un esempio di una possibile Z i potrebbe essere la matrice di tutti i prezzi, o potremmo anche dire Z i = X i . Per quanto riguarda i priori per la matrice varianza-covarianza ad effetti misti, proverei semplicemente a preservare la correlazione tra le voci, in modo che σ i j sia positivo se$Z_i$$X_{pps_i}$$IW$$Z_i$$Z_i=X_i$$\sigma_{ij}$ e j sono prodotti della stessa marca o di uno stesso sapore. $i$$j$

L'intuizione alla base di questo modello sarebbe che le vendite di un determinato prodotto dipendono dal suo prezzo, dalla sua disponibilità o meno, ma anche dai prezzi di tutti gli altri prodotti e dalle scorte di tutti gli altri prodotti. Dato che non voglio avere lo stesso modello (leggi: stessa curva di regressione) per tutti i coefficienti, ho introdotto effetti misti che sfruttano alcuni gruppi che ho nei miei dati, attraverso la condivisione dei parametri.

Le mie domande sono:

2. C'è un modo per trasporre questo modello in un'architettura di rete neurale? So che ci sono molte domande che cercano le relazioni tra la rete bayesiana, i campi markov casuali, i modelli gerarchici bayesiani e le reti neurali, ma non ho trovato nulla che vada dal modello gerarchico bayesiano alle reti neurali. Faccio la domanda sulle reti neurali poiché, avendo un'elevata dimensionalità del mio problema (considera che ho 340 prodotti), la stima dei parametri tramite MCMC richiede settimane (ho provato solo per 20 prodotti che eseguono catene parallele in runJags e ci sono voluti giorni di tempo) . Ma non voglio andare a caso e dare dati a una rete neurale come una scatola nera. Vorrei sfruttare la struttura di dipendenza / indipendenza della mia rete.

Qui ho appena disegnato una rete neurale. Come si vede, regressori ( e s io indico rispettivamente prezzo e stockout del prodotto i ) nella parte superiore sono inputed allo strato nascosto come lo sono quelli prodotti specifici (prezzi Qui ho considerato e rotture di stock). $P_i$$S_i$$i$(I bordi blu e nero non hanno un significato particolare, era solo per rendere la figura più chiara). Inoltre e Y 2 potrebbero essere altamente correlati mentre Y $Y_1$$Y_2$$Y_3$potrebbe essere un prodotto totalmente diverso (pensate a 2 succhi d'arancia e vino rosso), ma non utilizzo queste informazioni nelle reti neurali. Mi chiedo se le informazioni di raggruppamento vengano utilizzate solo nell'inizializzazione del peso o se si possa personalizzare la rete in base al problema.

Modifica, la mia idea:

La mia idea sarebbe qualcosa del genere: come prima, e Y 2 sono prodotti correlati, mentre Y 3 è totalmente diverso. Sapendo questo a priori faccio 2 cose:$Y_1$$Y_2$$Y_3$

1. Preallocato alcuni neuroni nello strato nascosto a qualsiasi gruppo che ho, in questo caso ho 2 gruppi {( ), ( Y 3 )}.$Y_1,Y_2$$Y_3$
2. Inizializzo pesi elevati tra gli input e i nodi allocati (gli spigoli vivi) e ovviamente costruisco altri nodi nascosti per catturare la "casualità" residua nei dati.

Grazie in anticipo per il vostro aiuto

Per la cronaca, non lo vedo come una risposta, ma solo un lungo commento! La PDE (equazione del calore) utilizzata per modellare il flusso di calore attraverso un'asta di metallo può essere utilizzata anche per modellare il prezzo delle opzioni. Nessuno che io conosca ha mai provato a suggerire una connessione tra i prezzi delle opzioni e il flusso di calore in sé. Penso che la citazione dal link di Danilov stia dicendo la stessa cosa. Sia i grafici bayesiani che le reti neurali usano il linguaggio dei grafici per esprimere le relazioni tra i loro diversi pezzi interni. Tuttavia, i grafici bayesiani descrivono la struttura di correlazione delle variabili di input e il grafico di una rete neurale spiega come costruire la funzione di previsione dalle variabili di input. Queste sono cose molto diverse.
Vari metodi usati in DL tentano di "scegliere" le variabili più importanti, ma questo è un problema empirico. Inoltre non parla della struttura di correlazione né dell'intero insieme di variabili né delle restanti variabili. Suggerisce semplicemente che le variabili sopravvissute saranno le migliori per la predicitone. Ad esempio, se si guardano le reti neurali, si passerà al set di dati di credito tedesco, che ha, se ricordo bene, 2000 punti di dati e 5 variabili dipendenti. Attraverso tentativi ed errori penso che scoprirai che una rete con solo 1 strato nascosto e usando solo 2 delle variabili fornisce i migliori risultati per la previsione. Tuttavia, questo può essere scoperto solo costruendo tutti i modelli e testandoli sul set di test indipendente.