Sto addestrando una rete neurale convoluzionale per classificare le immagini in condizioni di nebbia (3 classi). Tuttavia, per ciascuna delle circa 150.000 immagini ho anche quattro variabili meteorologiche disponibili che potrebbero aiutare a prevedere le classi delle immagini. Mi chiedevo come avrei potuto aggiungere le variabili meteorologiche (ad es. Temperatura, velocità del vento) alla struttura esistente della CNN in modo che potesse aiutare nella classificazione.
Un modo a cui posso già pensare è quello di creare un'altra (piccola) rete neurale feedforward accanto alla CNN e quindi concatenare le uscite degli strati CNN e gli strati nascosti della rete neurale non immagine l'uno con l'altro sul livello denso.
Il secondo modo che mi viene in mente è solo di contattare queste funzionalità al livello denso. Tuttavia, in questo caso, le variabili non di immagine (credo) saranno solo in grado di fare previsioni lineari.
Esistono altri modi (migliori) per includere nel modello le funzioni non di immagine? E quale sarebbe il metodo consigliabile considerando la quantità di dati che ho?
Un'altra domanda che ho è se dovrei sbloccare o meno gli strati convoluzionali mentre mi alleno con queste caratteristiche non di immagine? Questi strati di un Resnet-18 (che sono stati inizializzati come pre-addestrati su ImageNet) sono già stati perfezionati usando le immagini. La mia ipotesi è che dovrei tenerli congelati e sbloccare solo il livello denso poiché è solo qui che le caratteristiche non dell'immagine entrano in "contatto" con le caratteristiche dell'immagine (non prima nella CNN). Se sbaglio, per favore, dillo!