Mi piacerebbe conoscere la teoria della probabilità, la teoria della misura e infine l'apprendimento automatico. Da dove comincio? [chiuso]

Mi piacerebbe conoscere la teoria della probabilità, la teoria della misura e infine l'apprendimento automatico. Il mio obiettivo finale è utilizzare l'apprendimento automatico in un software.

Ho studiato calcolo e probabilità molto elementari al college, ma è praticamente tutto. Conosci alcuni corsi o libri online che potrei usare per conoscere queste materie. Ho trovato molte risorse sul web ma sembrano tutte rivolte a un pubblico esperto. So che ci vorrà del tempo, ma da dove comincio se mi piacerebbe imparare dall'inizio?

Penso che esistano due riferimenti molto validi e popolari per te (ho iniziato con questi e ho anche una formazione di master in scienze attuariali):

1. Un'introduzione all'apprendimento statistico (con applicazione in R) di Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani. È liberamente disponibile sul sito, abbastanza completo e facile da capire con esempi pratici. Puoi iniziare a imparare molte cose anche senza un background statistico molto forte, questo riferimento è buono per vari profili e include un numero adeguato di algoritmi popolari insieme alla sua implementazione in R senza andare in profondità nei dettagli matematici.

2. Gli elementi dell'apprendimento statistico di Trevor Hastie, Robert Tibshirani, Jerome Friedman . Rispetto al primo, questo libro approfondisce gli aspetti matematici se desideri approfondire gli algoritmi particolari che ritieni utili. (è anche gratuito )

E ovviamente Cross Validated è una delle migliori fonti in cui puoi imparare molte cose, per me: best practice, incomprensioni statistiche e abusi, e molte altre ancora. Dopo diversi anni di apprendimento nelle scuole / università e l'apprendimento delle seft, ho scoperto che la mia conoscenza è troppo limitata quando sono andato per la prima volta a Cross Validated. Continuo ad andare qui ogni giorno dalla prima visita e imparo così tanto.

Ecco un paio di corsi online gratuiti che ho sentito sono altamente raccomandati:

• http://projects.iq.harvard.edu/stat110/home (A seconda del tuo attuale conforto con la teoria della probabilità. Il corso del Dr. Blitzstein è diventato molto popolare ad Harvard anche per coloro che non erano appassionati di statistiche / probabilità. Ho visto alcune delle lezioni per la mia recensione e le ho trovate molto utili.)
• https://www.coursera.org/learn/machine-learning (Questa è la versione attuale di uno dei primi enormi corsi online di Stanford di Andrew Ng, che ha finito per fondare Coursera. Intendevo seguire questo corso , ma non ho avuto il tempo.)

non hai bisogno della teoria delle misure. La teoria della misura viene utilizzata dai matematici per giustificare altre procedure matematiche, ad esempio prendendo limiti delle approssimazioni integrali. La maggior parte degli ingegneri non avrebbe studiato la teoria delle misure, avrebbero semplicemente usato i risultati. Le conoscenze matematiche richieste per ML sono approssimativamente caratterizzate dalla capacità di integrare un gaussiano multivariato. Se sei sicuro di ciò, probabilmente avrai il calcolo multivariabile, l'algebra lineare e la teoria della probabilità necessaria.

Consiglierei Think Stats di Allen Downey, che mira a insegnare probabilità / statistiche ai programmatori. L'idea è di sfruttare l'esperienza di programmazione per fare simulazioni e quindi comprendere la teoria della probabilità / metodi statistici. blog di allen downey (ne ha scritti altri) Think stats (gratuito) pdf )

Dato che sei interessato all'apprendimento automatico, salterei probabilità e mesaure e salterei direttamente nella ML. Il corso di Andrew Ng è un ottimo punto di partenza. Puoi letteralmente finirlo in due settimane.

Gioca con quello che hai imparato per alcune settimane, poi torna alle origini e studia alcune probabilità. Se sei un ingegnere, allora sono perplesso su come sei riuscito a saltare al college. Era il corso richiesto in ingegneria. Ad ogni modo, puoi aggiornarti seguendo il corso MIT OCW qui .

Non penso che tu abbia bisogno della teoria delle misure. Nessuno ha bisogno della teoria delle misure. Coloro che lo fanno, non verranno qui per chiedere, perché il loro consulente dirà loro quale corso prendere. Se non hai un consulente, sicuramente non ne hai bisogno. Tautologia, ma vero.

La cosa con una teoria della misura è che non puoi impararla con la "lettura facile". Devi fare gli esercizi e i problemi, in pratica, farlo nel modo più duro. Questo è praticamente impossibile al di fuori della classe, secondo me. L'opzione migliore qui è quella di frequentare un corso al college locale, se lo offrono. A volte, il corso di probabilità a livello di dottorato farà la misura e le probabilità in una classe, che è probabilmente l'offerta migliore. Non consiglierei di seguire un corso di teoria della misura pura nel dipartimento di matematica, a meno che tu non voglia davvero torturarti, anche se alla fine saresti molto soddisfatto.

Per l'apprendimento automatico, penso che l' apprendimento automatico: l'arte e la scienza degli algoritmi che danno senso ai dati di Peter Flach può essere una buona risorsa per cominciare. Fornisce un'introduzione generale all'apprendimento automatico con esempi intuitivi ed è adatto ai principianti. Mi piace questo libro soprattutto per l'ultimo capitolo, che tratta degli esperimenti di apprendimento automatico. Durante l'apprendimento dell'apprendimento automatico, conoscere diversi modelli non è sufficiente e si dovrebbe essere in grado di confrontare diversi algoritmi di apprendimento automatico. Penso che questo libro abbia reso più facile capire come confrontare quegli algoritmi. Le diapositive delle lezioni sono disponibili qui .

Per aggiungere agli eccellenti suggerimenti di cui sopra, direi che se sei interessato a ottenere una solida conoscenza di concetti di base in probabilità e statistica, "Dagli algoritmi ai punteggi Z: calcolo probabilistico in statistica" è un ottimo primer sull'uso dei computer per comprendere alcuni dei concetti principianti / intermedi più importanti nella teoria della probabilità e nei processi stocastici. Parlerò anche di "An Introduction to Statistical Learning" o "Elements of Statistical Learning" (ESL) come introduzione all'apprendimento automatico (ML). Penso che ESL in particolare sia sorprendente, ma ci vuole uno sguardo molto più matematico ai concetti ML, quindi se ti consideri "ok" alle statistiche, potresti voler leggere una volta che hai ottenuto di più esperienza con ML.

Se sei interessato all'apprendimento automatico per motivi di impiego o risoluzione dei problemi, acquisire esperienza pratica è fondamentale. Fai qualche introduzione ai corsi di data science / machine learning. Andrew Ng fa un'incredibile introduzione all'apprendimento automatico nel suo corso a Coursera qui . Vorrei anche suggerirti di scaricare alcuni set di dati e iniziare a giocare con loro. Se non l'hai già fatto, scarica R e RStudio (secondo me, più amichevoli per i principianti rispetto a Python o Matlab), e iscriviti a Kaggle e risolvi alcuni dei problemi dei principianti. Hanno grandi soluzioni che possono farti usare ML senza praticamente sapere cosa stia realmente accadendo, ma ti dà un'idea del tipo di passaggi che dovresti prendere per implementare effettivamente una soluzione ML.

Incoraggerei personalmente una combinazione di iniziare a usare gli strumenti ML senza sapere veramente cosa fanno (usando set di dati Kaggle o simili); e apprendere concetti fondamentali come convalida incrociata, overfitting, utilizzo di matrici di confusione, misure diverse di quanto è buono un modello, ecc. Per me è molto più importante sapere come usare gli algoritmi e sapere come identificare quando le cose funzionano / non funzionano, quindi è per capire come funzionano gli algoritmi.