Da dove iniziare con le statistiche per uno sviluppatore esperto

Durante la prima metà del 2015 ho seguito il corso di Machine Learning (di Andrew Ng, GRANDE corso). E imparato le basi dell'apprendimento automatico (regressione lineare, regressione logistica, SVM, reti neuronali ...)

Inoltre sono uno sviluppatore da 10 anni, quindi imparare un nuovo linguaggio di programmazione non sarebbe un problema.

Ultimamente, ho iniziato a studiare R per implementare algoritmi di machine learning.

Tuttavia mi sono reso conto che se voglio continuare ad apprendere avrò bisogno di una conoscenza più formale delle statistiche, attualmente ne ho una conoscenza non formale, ma così limitata che, ad esempio, non potrei determinare correttamente quale dei diversi modelli lineari sarebbe meglio (normalmente tendo ad usare R-square per questo, ma a quanto pare non è una buona idea).

Quindi per me sembra abbastanza ovvio che ho bisogno di imparare le basi della statistica (l'ho studiato in uni ma ho dimenticato la maggior parte di esso), dove dovrei imparare, per favore nota che non ho davvero bisogno di un corso completo, solo qualcosa che entro un mese mi permette di sapere abbastanza in modo da poter diventare desideroso e saperne di più :).

Finora ho letto " Statistiche senza lacrime ", qualche altro suggerimento?

Ti suggerirei una road map di base su come procedere:

• Puoi ripassare la matematica e le statistiche di base alla Khan Academy e / o seguire il corso Intro to Statistics di Udacity .
• Quindi, puoi seguire questi due simpatici corsi di Udacity. Statistiche descrittive e statistiche inferenziali
• Quindi, puoi immergerti in alcune statistiche bayesiane. E una delle migliori risorse sul Web che ho trovato è l' e-book gratuito di Think Bayes
• Quindi, immergiti nelle basi di Machine Learning. Il corso Andrew Ng di Coursera è l'inizio perfetto. E questa risorsa: l' apprendimento automatico per sviluppatori è anche molto utile per scorrere rapidamente i concetti.
• Quindi, sei da solo. Hai abbastanza risorse e blog su Internet per sviluppare questi concetti.

Bonus:

Un sito meraviglioso per tali road map è Metacademy , che personalmente definirei una delle migliori risorse di data science sul web.

Gitxiv è un altro bellissimo sito che collega i documenti di ricerca di Arxiv su Data Science con le relative implementazioni / librerie open source.

Hai verificato Think Stats o Think Bayes : entrambi sono libri di statistiche (gratuiti) rivolti ai programmatori e con un sacco di codice Python.

Inoltre, se siete interessati a saperne di R poi CRAN ha un sacco di file PDF (gratuito) che si potrebbe desiderare di controllare, come Introduzione alla Probabilità e Statistica Uso R . C'è anche un corso Coursera che usa R che molte persone adorano davvero (usano questo libro di testo , che potresti voler controllare anche e hanno dei laboratori su DataCamp , credo).

Inoltre, se vuoi rispolverare alcuni argomenti delle statistiche, puoi sempre guardare un paio di video su Khan Academy .

Se mai, anche in un lontano passato, sei stato in grado di risolvere i problemi in questo elenco , allora dovresti provare a studiare le statistiche applicate "correttamente". Ti darò un semplice algoritmo in due fasi.

Innanzitutto, mettiti al passo con la teoria della probabilità. Ci sono molti grandi libri. Il mio preferito è il libro classico di Feller. Si chiama "Introduzione", ma non lasciarti ingannare dal titolo, è profondo come vorresti andare, ma molto ben scritto e semplice se vuoi solo sfiorare la superficie.

Il secondo passo sono le statistiche. Ancora una volta, ci sono un sacco di grandi libri. Te ne darò uno che ho usato, un discreto testo introduttivo del Gujarati "Basic Econometrics", Quarta Edizione. L'econometria è la statistica applicata all'economia. Per riferimento, un ragazzo che tutti pensano che il data scientist diventerà un lavoro più sexy nei prossimi 10 anni è Hal Varian, un economista di Berkeley. Molte cose di machine learning si basano su statistiche di base, regressioni, ecc. Tutto ciò che è trattato in questo libro, e non è necessario leggere tutto, è scritto in un modo che puoi scegliere i capitoli nel tuo ordine.

Rimarrai sorpreso di vedere quante lacune sono rimaste aperte dopo che la lezione di Ng si è riempita rapidamente durante la lettura di questi testi.

Come praticante, non hai bisogno di troppa teoria dopo questi due passaggi. Puoi continuare ad imparare le tecniche ML specificatamente leggendo i libri in questo campo. È importante non approfondire all'inizio la probabilità e le statistiche. Ottieni prima il tuo codice per ML e colma le lacune man mano che procedi.

Tutti raccomandano Casella & Berger, che viene quasi universalmente utilizzato nei programmi di statistica dei laureati. Non è un brutto libro di consultazione, ma non sono sicuro che farei altro che scansionare i primi 4-5 capitoli. Non credo che tu abbia bisogno della teoria di come costruire un test di tipo Neyman-Pearson prima di approfondire le "statistiche", ovvero l'analisi dei dati.

Invece, mi concentrerei sui metodi di apprendimento. Il mio corso di laurea ha usato i metodi statistici lineari applicati per i test dei frequentisti ed è un riferimento completo abbastanza decente, ma potrebbe non essere il libro più accessibile dal punto di vista dell'autodidatta. Un corso o due dal MIT o dalla corsia potrebbe essere un modo migliore per iniziare, perché otterrai una panoramica più ampia con più esempi di quanti ne potresti leggere leggendo un libro.

Per Bayes, il libro che ho visto usato più spesso è Doing Bayesian Data Analysis , che viene fornito con immagini di cuccioli (chiaramente, questo rende il libro superiore ad altri libri di testo introduttivi bayesiani). Non ho mai usato il libro da solo, ma l'ho sfogliato e sembra abbastanza decente - molto meglio del libro di Gelman, che ho trovato in qualche modo incomprensibile DOPO due lezioni nelle statistiche bayesiane - le spiegazioni sono terribili.

Questa non vuole essere una risposta completa, è solo un suggerimento. Se vuoi saperne di più sulle statistiche (la base), puoi leggere:

Casella, G. and R. L. Berger (2002): Statistical Inference, Duxbury

Questo è un libro piuttosto standard per gli statistici e ha molti risultati interessanti. Non è necessario esaminare tutte le prove dei teoremi, ma potresti voler fare alcuni esercizi per sentirti più sicuro con i risultati.

Se vuoi saperne di più sull'econometria (modelli per i dati), puoi dare un'occhiata a:

Hayashi, F. (2000): Econometrics, Princeton University Press

Qualcun altro in realtà ha chiesto qualcosa di simile a quello che hai chiesto e ottenuto una bella risposta: cosa fare dopo "Casella & Berger" .

Inoltre, se hai davvero intenzione di leggere questi libri, questo programma di un corso di econometria può darti una buona direzione e un passo su cosa leggere (CB e Hayashi) e quando leggere.

Suggerirei un nuovo libro che è uscito dalla domanda originale: Ripensamento statistico: un corso bayesiano con esempi in R e Stan di Richard McElreath, CRC Press.

È scritto molto bene e usa un approccio bayesiano. È molto interattivo e vorrai risolvere i problemi o potresti riuscire a metà strada e iniziare a perderti.

Inizia molto di base e finisce con modelli multi-livello, ed è rivolto a scienziati abbastanza avanzati che hanno alcune conoscenze statistiche ma non si sentono a proprio agio con le statistiche come è stato loro insegnato. Quindi non posso dire esattamente che sia un libro per principianti, ma inizia in modo molto semplice e ha un arco e uno stile meravigliosi.

La parte "Stan" del titolo è uno strumento di campionamento bayesiano per tutti gli usi. In sostanza, è un linguaggio di programmazione che si compila automaticamente in C ++ e quindi viene compilato in un eseguibile. (L'inferenza bayesiana è generale, a differenza delle alternative, quindi puoi avere uno strumento generalizzato.)

Ho pensato di dare questa risposta ai posteri, anche se probabilmente è troppo tardi per esserti utile. All Of Statistics di Larry Wasserman è stato concepito come un corso per persone con un background in machine learning, altre discipline scientifiche o matematica che non avevano alcuna formazione formale in statistica - vale a dire, le persone praticamente nella tua situazione attuale. Avendo una simile mancanza di statistiche formali, alcuni amici e io abbiamo formato un gruppo di studio autonomo per passare attraverso la scuola di specializzazione. Penso di aver davvero beneficiato di quell'esperienza.

Gli argomenti extra che Wasserman approfondisce oltre al tipico materiale del corso "Probabilità e inferenza statistica", come i modelli grafici e il bootstrap, sono particolarmente rilevanti per chi lavora nell'apprendimento automatico. Dovrei dire che il libro può essere piuttosto conciso rispetto a qualcosa come Casella & Berger, quindi se vuoi maggiori dettagli o motivazione per alcune parti (in particolare le prove) potresti doverlo integrare con altro materiale di lettura. Detto questo, ho anche trovato il libro chiaramente scritto con un buon numero di problemi di pratica, ed è un eccellente riferimento rapido.

Un mese non è molto tempo. Se stabilisci un ritmo molto aggressivo, tuttavia, penso che puoi sicuramente trarre molto da questo testo in un semestre: per esempio, abbiamo fatto il nostro gruppo di autoapprendimento durante l'estate. Ciò è particolarmente vero se sei principalmente interessato alla modellazione lineare, che colpirai Ch. 13-14.