Quali sono i progressi nelle statistiche degli ultimi 15 anni?

Ricordo ancora il documento Annals of Statistics su Boosting di Friedman-Hastie-Tibshirani e i commenti sugli stessi argomenti di altri autori (inclusi Freund e Schapire). A quel tempo, chiaramente Boosting era considerato una svolta sotto molti aspetti: computazionalmente fattibile, un metodo d'insieme, con prestazioni eccellenti ma misteriose. Nello stesso periodo, SVM divenne maggiorenne, offrendo una struttura sostenuta da una solida teoria e con molte varianti e applicazioni.

Quello era negli anni '90 meravigliosi. Negli ultimi 15 anni, mi sembra che molte statistiche siano state un'operazione di pulizia e di dettaglio, ma con pochi punti di vista davvero nuovi.

Quindi farò due domande:

1. Mi sono perso alcuni articoli rivoluzionari / seminali?
2. In caso contrario, ci sono nuovi approcci che ritieni possano potenzialmente cambiare il punto di vista dell'inferenza statistica?

Regole:

1. Una risposta per post;
2. Riferimenti o collegamenti sono benvenuti.

PS: ho un paio di candidati per scoperte promettenti. Li posterò più tardi.

La risposta è così semplice che devo scrivere tutto questo senza senso per rendere CV lasciami pubblicare: R

Non sono sicuro che la definiresti una "svolta" di per sé, ma la pubblicazione della teoria della probabilità: la logica della scienza di Edwin Jaynes e Larry Bretthorst potrebbe essere degna di nota. Alcune delle cose che fanno qui sono:

1) mostrare l'equivalenza tra alcuni schemi iterativi di "aggiustamento stagionale" e l'integrazione del "parametro nocivo" bayesiano.

2) risolto il cosiddetto "paradosso della marginalizzazione" - ritenuto da alcuni la "morte del bayesianismo" e da altri la "morte di priori impropri".

3) l'idea che la probabilità descriva uno stato di conoscenza di una proposizione come vera o falsa, al contrario di descrivere una proprietà fisica del mondo .

I primi tre capitoli di questo libro sono disponibili gratuitamente qui .

Come statistico applicato e autore occasionale di software minori, direi:

WinBUGS (rilasciato nel 1997)

È basato su BUGS, che è stato rilasciato più di 15 anni fa (1989), ma è WinBUGS che ha reso l'analisi bayesiana di modelli realisticamente complessi disponibili per una base di utenti molto più ampia. Vedi ad esempio Lunn, Spiegelhalter, Thomas & Best (2009) (e la discussione su Statistica in medicina vol. Numero 28 ).

LARS ottiene il mio voto. Combina la regressione lineare con la selezione variabile. Algoritmi per il calcolo di solito ti danno una collezione di lineari modelli, l' esimo uno dei quali ha coefficienti diversi da zero per solo regressori, in modo da poter facilmente vedere modelli di diversa complessità.i $k$$i$$i$

L'introduzione della funzione di perdita "discrepanza intrinseca" e altre funzioni di perdita "senza parametrizzazione" nella teoria delle decisioni. Ha molte altre proprietà "belle", ma penso che la migliore sia la seguente:

se la migliore stima di usando la funzione di perdita di discrepanza intrinseca è , allora la migliore stima di qualsiasi funzione uno-a-uno di , diciamo che è semplicemente .θ e θ g ( θ ) g ( θ e$\theta$$\theta^{e}$$\theta$$g(\theta)$$g(\theta^{e})$

Penso che sia molto bello! (ad es. la migliore stima delle probabilità del log è log (p / (1-p)), la migliore stima della varianza è il quadrato della deviazione standard, ecc. ecc.)

La presa? la discrepanza intrinseca può essere abbastanza difficile da capire! (implica la funzione min (), un rapporto di verosimiglianza e integrali!)

Il "contraccolpo"? puoi "riorganizzare" il problema in modo che sia più facile da calcolare!

Il "counter-counter-catch"? capire come "riorganizzare" il problema può essere difficile!

Ecco alcuni riferimenti che conosco che utilizzano questa funzione di perdita. Mentre mi piacciono molto le parti di "stima intrinseca" di questi articoli / diapositive, ho alcune riserve sull'approccio "riferimento precedente" che è anche descritto.

Test di ipotesi bayesiana: un approccio di riferimento

Stima intrinseca

Confronto dei mezzi normali: nuovi metodi per un vecchio problema

Test di stima e ipotesi bayesiana obiettivo integrato

Credo che gli algoritmi per il controllo del False Discovery Rate siano solo nella finestra di 15 anni . Mi piace l'approccio 'valore q'.

Aggiungendo i miei 5 centesimi, credo che la svolta più significativa degli ultimi 15 anni sia stata la compressione dei sensori. LARS, LASSO e una miriade di altri algoritmi rientrano in questo dominio, in quanto Compressed Sensing spiega perché funzionano e li estende ad altri domini.

Qualcosa che ha ben poco a che fare con le statistiche stesse, ma è stato di enorme beneficio: la crescente potenza di fuoco dei computer, rendendo più accessibili set di dati più grandi e analisi statistiche più complesse, specialmente nei campi applicati.

L'algoritmo Expectation-Propagation per l'inferenza bayesiana, in particolare nella classificazione del processo gaussiano, è stato senza dubbio un importante passo avanti, in quanto fornisce un metodo di approssimazione analitica efficiente che funziona quasi così come approcci basati sul campionamento costosi dal punto di vista computazionale (a differenza della solita approssimazione di Laplace). Guarda il lavoro di Thomas Minka e altri sulla tabella di marcia del PE

Penso che l '"inferenza bayesiana approssimativa per modelli gaussiani latenti usando approssimazioni laplace nidificate integrate" di H. Rue et. al (2009) è un potenziale candidato.

A mio avviso, tutto ciò che consente di eseguire nuovi modelli su larga scala è una svolta. L'interpolazione del kernel per processi gaussiani strutturati scalabili (KISS-GP) potrebbe essere un candidato (sebbene l'idea sia nuova e non siano state presentate molte implementazioni dell'idea).

Mentre un po 'più generale delle statistiche, penso che ci siano stati importanti progressi nei metodi di ricerca eproducibile (RR) . Ad esempio lo sviluppo di R knittreSweavepacchetti e notebook "R Markdown", i miglioramenti di LyX e LaTeX hanno contribuito in modo significativo alla condivisione dei dati, alla collaborazione, alla verifica / convalida e persino a ulteriori progressi statistici. Documenti di riferimento su riviste statistiche, mediche ed epidemiologiche raramente permettevano di riprodurre facilmente i risultati prima dell'emergere di questi metodi / tecnologie di ricerca riproducibili. Ora, diverse riviste richiedono ricerche riproducibili e molti statistici utilizzano RR e inviando codice, i loro risultati e le fonti di dati sul web. Ciò ha anche contribuito a promuovere le discipline della scienza dei dati e ha reso più accessibile l'apprendimento statistico.

Secondo me, articolo pubblicato nel 2011 sulla rivista Science. Gli autori propongono misure di associazione molto interessanti tra coppie di variabili casuali che funzionano bene in molte situazioni in cui misure simili falliscono (Pearson, Spearman, Kendall). Carta davvero bella. Ecco qui.