Utilizzo del deep learning per la previsione di serie storiche

Sono nuovo nell'area del deep learning e per me il primo passo è stato leggere articoli interessanti dal sito deeplearning.net. In articoli sull'apprendimento profondo, Hinton e altri parlano principalmente di applicarlo a problemi di immagine. Qualcuno può provare a rispondermi può essere applicato al problema di prevedere i valori delle serie temporali (finanziario, traffico Internet, ...) e quali sono le cose importanti che dovrei concentrare se è possibile?

C'è stato del lavoro sull'adattamento dei metodi di apprendimento profondo per i dati sequenziali. Gran parte di questo lavoro si è concentrato sullo sviluppo di "moduli" che possono essere impilati in modo analogo all'accatastamento di macchine boltzmann (RBM) o autoencoder con restrizioni per formare una rete neurale profonda. Ne evidenzierò alcuni qui sotto:

• RBM condizionali : probabilmente una delle applicazioni di maggior successo del deep learning per le serie storiche. Taylor sviluppa un modello simile a RBM che aggiunge interazioni temporali tra unità visibili e lo applica alla modellazione dei dati di motion capture. In sostanza si finisce con qualcosa di simile a un sistema dinamico lineare con qualche non linearità aggiunta dalle unità nascoste.
• RBM temporali : nella sua tesi (sezione 3) Ilya Sutskever sviluppa diversi modelli simili a RBM con interazioni temporali tra unità. Presenta anche alcuni risultati interessanti che mostrano che l'addestramento delle reti neuronali ricorrenti con SGD può funzionare altrettanto o meglio di metodi più complessi, come l'algoritmo privo di iuta di Martens, usando una buona inizializzazione e un'equazione leggermente modificata per lo slancio.
• Autoencoder ricorsivi : Infine, menzionerò il lavoro di Richard Socher sull'utilizzo degli autoencoder ricorsivi per l'analisi. Anche se questa non è una serie temporale, è sicuramente correlata.

Sì, l'apprendimento profondo può essere applicato per le previsioni di serie storiche. In effetti, è già stato fatto molte volte, ad esempio:

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

Non si tratta in realtà di alcun "caso speciale", l'apprendimento profondo riguarda principalmente il metodo di preelaborazione (basato sul modello generativo), quindi devi concentrarti esattamente sulle stesse cose su cui ti concentri quando fai l'apprendimento profondo in "senso tradizionale" su uno mano e le stesse cose su cui ti concentri durante l'esecuzione di previsioni di serie storiche senza apprendimento approfondito.

Le reti neurali ricorrenti sono considerate un tipo di apprendimento profondo (DL). Penso che siano lo strumento DL più popolare per l'apprendimento da sequenza a sequenza (1d). Attualmente sono alla base degli approcci alla Neural Machine Translation (NMT) (pionieri del 2014 presso LISA (UdeM), Google e probabilmente un paio di altri che non ricordo).

La generazione di sequenze di Alex Graves con le reti neurali ricorrenti utilizza reti ricorrenti e celle di memoria a breve termine per prevedere il testo e fare sintesi di scrittura a mano.

Andrej Karpathy ha scritto un blog sulla generazione da zero di sequenze a livello di personaggio. Usa le RNN nel suo tutorial.

Per altri esempi, dovresti dare un'occhiata a: Hochreiter, S. e Schmidhuber, J. (1997). Memoria a breve termine. Calcolo neurale, 9 (8), 1735-1780.

Forse questo aiuterà:

• I. Sutskever, O. Vinyals e QV V Le, "Apprendimento da sequenza a sequenza con reti neurali", in Advances in Neural Information Processing Systems, 2014, pp. 3104–3112.

Se hai una definizione per la tua finestra temporale esatta sui dati come frasi in questo documento o paragrafi, allora starai bene con l'uso di LSTM, ma non sono sicuro di come trovare la finestra temporale che non è ovvia e sono più consapevoli del contesto. Un esempio può essere il numero di dati di registro visualizzati che sono correlati e non è qualcosa di ovvio.