Background matematico per reti neurali


11

Non sono sicuro che questo sia appropriato per questo sito, ma sto iniziando il mio MSE in informatica (BS in matematica applicata) e voglio avere una solida base nell'apprendimento automatico (molto probabilmente perseguirò un dottorato di ricerca). Uno dei miei interessi secondari sono le reti neurali.

Qual è un buon background matematico per le ANN? Come in altre aree dell'apprendimento automatico, suppongo che l'algebra lineare sia importante, ma quali altre aree della matematica sono importanti?

Ho intenzione di leggere le reti neurali: un'introduzione sistematica o reti neurali per il riconoscimento di schemi . Qualcuno ha qualche input o raccomandazioni alternative?

Risposte:


10

Secondo me, il secondo riferimento è ancora il miglior libro su NN, anche se potrebbe essere un po 'datato e non si occupa di sviluppi più recenti come le architetture profonde. Avrai le basi giuste e acquisirai familiarità con tutti i concetti di base relativi all'apprendimento automatico.

Se sfogli il libro, avrai bisogno di algebra lineare, calcolo multivariato e nozioni di base di statistica (probabilità condizionali, teorema di bay e conoscenza delle distribuzioni binomiali). In alcuni punti si occupa del calcolo delle variazioni. Tuttavia, l'appendice sul calcolo delle variazioni dovrebbe essere sufficiente.


Questo è quello che ho finito con una serie di raccomandazioni, ero solo molto titubante perché il libro di Bishop sull'apprendimento automatico, sebbene annunciato da alcuni, dovrebbe essere un libro molto difficile da imparare se non lo conosci già .
Steve P.

5

La componente matematica includerebbe probabilmente algebra avanzata, trig, algebra lineare e calcolo al minimo.

Ma pensa anche fuori dagli schemi. Sono inoltre necessarie buone capacità di programmazione, tra cui solide basi di algoritmi (Coursera ha due corsi sugli algoritmi) e competenza con MatLab, Octave o R (e con un linguaggio di programmazione flessibile come Java, C / C ++ o Python). Ne parlo in risposta alla tua domanda perché secondo me sono più abilità di "matematica applicata" e sono fondamentali per la traduzione tra teoria e implementazioni applicate.

Ho seguito alcuni corsi di Coursera relativi all'apprendimento automatico (e sono d'accordo con un altro poster che l'apprendimento automatico del Prof. Ng è fantastico) e NN. Alcuni mesi fa, Coursera ha ospitato un corso di reti neurali (non sono sicuro che sia ancora disponibile) attraverso l'Università di Toronto e Geoffrey Hinton. Un corso eccezionale e richiesto: conoscenza del calcolo, competenza con Octave (un clone open-source tipo MatLab), buon design algoritmico (per la scalabilità) e algebra lineare.

Potresti anche (sebbene non la matematica di per sé), pensare ad argomenti come l'elaborazione del linguaggio naturale (per l'estrazione di funzionalità, ecc.), Il recupero di informazioni, la teoria della statistica / probabilità e altre aree di Machine Learning (per ottenere più teoria). Testi recenti come Foundations of Machine Learning (Mohri) o Introduction to Machine Learning (Alpaydin) potrebbero esserti utili per colmare la complessità dalla teoria all'implementazione (solo a mio avviso, questo può essere un balzo in avanti) - ed entrambi i testi sono molto matematici, specialmente le Fondazioni.

Ancora una volta, penso che tutti si riferiscano alla matematica e alla NN, ma in un senso più ampio.


Grazie. Mi sono laureato in matematica applicata come studente (e ho una vasta esperienza di programmazione), quindi ho tutto questo, tranne un corso rigoroso di algebra astratta, che sto insegnando a me stesso ... Ho finito per andare con Neural Networks for Pattern Riconoscimento, da parte del vescovo. Per chiunque sia interessato, lo consiglio vivamente ...
Steve P.


2

Un ottimo libro (non proprio introduttivo, ma non supponiamo una conoscenza precedente nelle reti neurali) è Brian Ripley: "Pattern Recognition and Neural Networks", che direi che contiene molti dei suoi prelimi. Con una laurea in matematica applicata dovresti essere preparato.


2

L'argomento principale è la statistica

calcolo multivariabile

algebra lineare numerica (matrici sparse ecc.) ottimizzazione numerica (discesa gradiente ecc., programmazione quadratica)

potresti voler leggere su processi gaussiani e la matematica richiesta lì provare a fare alcune classi di elaborazione delle immagini / elaborazione del linguaggio naturale


In realtà sto seguendo un corso sulla PNL in autunno.
Steve P.
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.