Riferimenti sull'ottimizzazione numerica per gli statistici

Sto cercando un solido riferimento (o riferimenti) su tecniche di ottimizzazione numerica rivolte agli statistici, cioè applicare questi metodi ad alcuni problemi inferenziali standard (ad esempio MAP / MLE in modelli comuni). Cose come discesa gradiente (diritta e stocastica), EM e suoi spinoff / generalizzazioni, ricottura simulata, ecc.

Spero che abbia alcune note pratiche sull'attuazione (così spesso prive di documenti). Non deve essere completamente esplicito ma dovrebbe almeno fornire una solida bibliografia.

Alcune ricerche superficiali hanno rivelato un paio di testi: Analisi numerica per statistici di Ken Lange e Metodi numerici di statistica di John Monahan. Le recensioni di ciascuna sembrano confuse (e sparse). Dei due, uno spoglio del sommario suggerisce che la seconda edizione del libro di Lange è più vicina a ciò che sto cercando.

James Gentle's Computational Statistics (2009).

L'algebra di James Gentle Matrix: teoria, calcoli e applicazioni in statistica (2007) , tanto più verso la fine del libro, anche l'inizio è grandioso, ma non è esattamente quello che stai cercando.

Christopher M. Bishop's Pattern Recognition (2006).

Gli elementi dell'apprendimento statistico di Hastie et al.: Data mining, inferenza e previsione (2009).

Stai cercando qualcosa di basso livello come un testo che risponderà a una domanda del tipo: "Perché è più efficiente archiviare matrici e array di dimensioni superiori come un array 1-D e come posso indicizzarli nella solita M (0, 1, 3, ...) modo? " o qualcosa del tipo "Quali sono alcune tecniche comuni utilizzate per ottimizzare gli algoritmi standard come discesa gradiente, EM, ecc.?"?

La maggior parte dei testi sull'apprendimento automatico fornirà discussioni approfondite sugli argomenti che stai cercando.

Libro di Nocedal e Wrights

http://users.eecs.northwestern.edu/~nocedal/book/

è un buon riferimento per l'ottimizzazione in generale e molte cose nel loro libro sono di interesse per uno statistico. C'è anche un intero capitolo sui minimi quadrati non lineari.

Optimization , di Kenneth Lange (Springer, 2004), recensito in JASA da Russell Steele. È un buon libro di testo con l' algebra a matrice di Gentle per un corso introduttivo sul calcolo e l'ottimizzazione della matrice, come quello di Jan de Leeuw (corsi / 202B).

Come supplemento a questi, potresti trovare Magnus, JR e H. Neudecker (2007). Matrix Calculus con applicazioni in Statistica ed Econometria, terzo ed utile seppur pesante. Sviluppa un trattamento completo delle operazioni infinitesimali con le matrici e quindi le applica su una serie di compiti statistici tipici come l'ottimizzazione, MLE e minimi quadrati non lineari. Se alla fine della giornata finirai per capire la stabilità all'indietro dei tuoi algoritmi di matrice, sarà indispensabile una buona conoscenza del calcolo della matrice. Ho usato personalmente gli strumenti del calcolo matriciale per ricavare risultati asintotici in statistiche spaziali e modelli parametrici multivariati.