Introduzione all'apprendimento automatico per i matematici

In un certo senso questo è un mio incrocio da math.stackexchange e ho la sensazione che questo sito possa offrire un vasto pubblico.

Sto cercando un'introduzione matematica all'apprendimento automatico. In particolare, molta letteratura che può essere trovata è relativamente imprecisa e molte pagine vengono spese senza alcun contenuto.

Tuttavia, partendo da tale letteratura, ho scoperto i corsi di Coursera di Andrew Ng, il libro di Bishop sul riconoscimento dei modelli e infine un libro di Smola. Sfortunatamente, il libro di Smola è solo in bozza. Nel libro di Smola è possibile trovare anche prove che mi piacciono. Il libro di Bishop è già abbastanza buono, ma manca un certo rigore.

In breve: sto cercando un libro come quello di Smola, cioè il più preciso e rigoroso possibile e utilizza un background matematico (anche se le brevi introduzioni sono ovviamente OK).

Qualche consiglio?

Per quello che descrivi, consiglio vivamente "Fondamenti dell'apprendimento automatico" di Mohri et.al. È un testo universitario, ma è per studenti davvero bravi. È leggibile ed è l'unico posto in cui ho trovato quella che definirei una definizione matematica di apprendimento automatico (pac e pac debole). Vale la pena leggere solo per quel motivo. Ho anche un dottorato in matematica. Conosco e mi piacciono molti dei libri sopra menzionati. Sono particolarmente affezionato a ESL per un ampio spettro di tecniche e idee, ma è un libro di statistiche con molta matematica.

Consiglierei Elements of Statistical Learning (file PDF gratuito). Ha abbastanza matematica e una buona introduzione a tutte le tecniche pertinenti - insieme ad alcune intuizioni sul perché le tecniche funzionano (e quando non lo fanno).

Anche introduzione all'apprendimento statistico (che è più pratico - come farlo in R ). Ha un corso che esegue l'apprendimento statistico ; potresti trovare le lezioni su YouTube (e di nuovo PDF gratuito).

Probabilmente ti piacerà Learning With Kernels di Schölkopf e Smola. Gran parte del lavoro di Schölkopf è matematicamente rigoroso.

Detto questo, probabilmente stai meglio leggendo articoli di ricerca invece che libri di testo. I lavori di ricerca contengono derivazioni complete e prove di convergenza, limiti delle prestazioni, ecc. Che molto spesso non sono inclusi nei libri di testo. Un buon punto di partenza è il Journal of Machine Learning , che è molto apprezzato e ad accesso completamente aperto. Raccomando anche gli atti di conferenze come ICML , NIPS , COLT e IJCNN .

Vorrei suggerire Comprensione dell'apprendimento automatico: dalla teoria agli algoritmi di Shai Shalev-Shwartz. Ammetto di averne letto solo una piccola parte, ma ho immediatamente notato il rigore con cui l'autore ha affrontato ogni problema e discussione.