La matematica ha i suoi famosi problemi del millennio (e, storicamente, il 23 di Hilbert ), domande che hanno contribuito a modellare la direzione del campo.

Ho poca idea, tuttavia, quali sarebbero le ipotesi di Riemann e le statistiche P vs. NP.

Quindi, quali sono le domande aperte generali nelle statistiche?

A cura di aggiungere: Come esempio dello spirito generale (se non proprio di specificità) della risposta che sto cercando, ho trovato una conferenza ispirata a "Hilbert's 23" di David Donoho alla conferenza "Math Challenges of the 21st Century": Analisi dei dati ad alta dimensione: le maledizioni e le benedizioni della dimensionalità

Quindi una potenziale risposta potrebbe parlare di big data e perché è importante, i tipi di sfide statistiche poste da dati ad alta dimensione e i metodi che devono essere sviluppati o le domande a cui è necessario rispondere per aiutare a risolvere il problema.

Una grande domanda dovrebbe riguardare questioni chiave della metodologia statistica o, poiché le statistiche riguardano interamente le applicazioni, dovrebbe riguardare il modo in cui le statistiche vengono utilizzate con problemi importanti per la società.

Questa caratterizzazione suggerisce che quanto segue dovrebbe essere incluso in qualsiasi considerazione di grandi problemi:

• Il modo migliore per condurre prove farmacologiche . Attualmente, il test di ipotesi classica richiede molte fasi formali di studio. Nelle fasi successive (di conferma), le questioni economiche ed etiche incombono. Possiamo fare di meglio? Dobbiamo mettere centinaia o migliaia di malati in gruppi di controllo e tenerli lì fino alla fine di uno studio, per esempio, o possiamo trovare modi migliori per identificare trattamenti che funzionano davvero e consegnarli ai membri del processo (e altri) prima?

• Far fronte ai pregiudizi della pubblicazione scientifica . I risultati negativi vengono pubblicati molto meno semplicemente perché non raggiungono un valore p magico. Tutte le branche della scienza devono trovare modi migliori per far emergere risultati scientificamente importanti, non solo statisticamente significativi . (Il problema dei confronti multipli e la gestione di dati ad alta dimensione sono sottocategorie di questo problema.)

• Indagare i limiti dei metodi statistici e delle loro interfacce con l'apprendimento automatico e la cognizione automatica . I progressi inevitabili nella tecnologia informatica renderanno la vera IA accessibile nelle nostre vite. Come programmeremo il cervello artificiale? Quale ruolo potrebbe avere il pensiero statistico e l'apprendimento statistico nella creazione di questi progressi? In che modo gli statistici possono aiutare a pensare alla cognizione artificiale, all'apprendimento artificiale, ad esplorare i loro limiti e a fare progressi?

• Sviluppare modi migliori per analizzare i dati geospaziali . Si afferma spesso che la maggior parte, o la stragrande maggioranza, dei database contiene riferimenti di localizzazione. Presto molte persone e dispositivi saranno localizzati in tempo reale con le tecnologie GPS e dei telefoni cellulari. I metodi statistici per analizzare e sfruttare i dati spaziali sono proprio nella loro infanzia (e sembrano essere relegati al GIS e al software spaziale che è tipicamente usato da non statistici).

Michael Jordan ha un breve articolo intitolato Quali sono i problemi aperti nelle statistiche bayesiane? , in cui ha interrogato un sacco di statistici per le loro opinioni sui problemi aperti nelle statistiche. Riassumo un po '(aka, copia e incolla) un po' qui, ma probabilmente è meglio solo leggere l'originale.

Non parametrici e semiparametrici

• Per quali problemi è utile la parametrica bayesiana e ne vale la pena?
• David Dunson: "I modelli Bayes non parametrici implicano infinitamente molti parametri e in genere i priori sono scelti per comodità con iperparametri impostati su valori apparentemente ragionevoli senza una giustificazione oggettiva o soggettiva adeguata".
• "Diverse persone hanno notato che una delle applicazioni interessanti della nonparametrica frequentista è l'inferenza semiparametrica, in cui la componente non parametrica del modello è un parametro fastidioso. Queste persone hanno ritenuto che sarebbe desiderabile approfondire la teoria (frequentista) di Semiparametrica bayesiana ".

Priori

• "L'elicitazione rimane una delle principali fonti di problemi aperti".
• "Aad van der Vaart ha puntato l'obiettivo Bayes sulla testa e ha sottolineato la mancanza di teoria per" situazioni in cui si desidera che il priore si verifichi nella parte posteriore "anziché" semplicemente fornire un approccio bayesiano al livellamento "."

Relazioni bayesiane / frequentiste

• "Molti intervistati hanno espresso il desiderio di approfondire ulteriormente le relazioni bayesiane / frequentiste. Ciò è stato più comunemente dimostrato nel contesto di modelli e dati ad alta dimensione, dove non solo gli approcci soggettivi alle specifiche dei priori sono difficili da implementare, ma i priori di convenienza possono essere (altamente) fuorviante ".
• 'Alcuni intervistati hanno chiesto la teoria non asintotica che potrebbe rivelare più pienamente i vantaggi putativi dei metodi bayesiani; ad esempio, David Dunson: "Spesso, il tasso ottimale del frequentista si ottiene con procedure che chiaramente fanno molto peggio in campioni finiti rispetto agli approcci bayesiani." "

Calcolo e statistiche

• Alan Gelfand: "Se MCMC non è più praticabile per i problemi che le persone vogliono affrontare, allora qual è il ruolo di INLA, dei metodi variazionali, degli approcci ABC?"
• "Numerosi intervistati hanno chiesto una più completa integrazione della scienza computazionale e della scienza statistica, rilevando che l'insieme di inferenze che si possono raggiungere in una data situazione sono congiuntamente una funzione del modello, del precedente, dei dati e delle risorse computazionali, e desiderano per una gestione più esplicita dei compromessi tra queste quantità. In effetti, Rob Kass ha sollevato la possibilità di una nozione di "solvibilità inferenziale", in cui alcuni problemi sono considerati al di là della speranza (ad esempio,selezione del modello in regressione dove "per modeste quantità di dati soggetti a rumore non banale è impossibile ottenere intervalli di confidenza utili sui coefficienti di regressione quando vi sono un gran numero di variabili la cui presenza o assenza nel modello non è specificata a priori") e dove ci sono altri problemi ("alcuni funzionali per i quali esistono intervalli di confidenza utili") per i quali c'è speranza ".
• "Diversi intervistati, pur scusandosi per una certa vaghezza, hanno espresso la sensazione che una grande quantità di dati non implica necessariamente una grande quantità di calcolo; piuttosto, che in qualche modo la forza inferenziale presente in grandi dati dovrebbe trasferirsi all'algoritmo e renderlo possibile accontentarsi di un minor numero di passaggi computazionali per ottenere una soluzione inferenziale (approssimativa) soddisfacente. "

Selezione del modello e test di ipotesi

• George Casella: "Adesso facciamo la selezione del modello ma i bayesiani non sembrano preoccuparsi delle proprietà di basare l'inferenza sul modello selezionato. Cosa succede se è sbagliato? Quali sono le conseguenze della creazione di regioni credibili per un determinato parametro quando hai selezionato il modello sbagliato? Possiamo avere procedure con una sorta di garanzia? "$β_1$
• Necessità di lavorare di più sulle basi teoriche della decisione nella selezione dei modelli.
• David Spiegelhalter: "Il modo migliore per rendere i controlli per conflitti di dati / precedenti parte integrante dell'analisi bayesiana?"
• Andrew Gelman: "Per il controllo dei modelli, un problema chiave aperto è lo sviluppo di strumenti grafici per la comprensione e il confronto dei modelli. La grafica non è solo per i dati grezzi; piuttosto, i modelli bayesiani complessi offrono l'opportunità di un'analisi dei dati esplorativa migliore e più efficace."

Non sono sicuro di quanto siano grandi, ma esiste una pagina Wikipedia per problemi irrisolti nelle statistiche. La loro lista comprende:

Inferenza e test

• Errori sistematici
• Ammissibilità dello stimatore Graybill – Deal
• Combinazione di valori p dipendenti in Meta-analisi
• Problema di Behrens-Fisher
• Confronti multipli
• Problemi aperti nelle statistiche bayesiane

Design sperimentale

• Problemi nelle piazze latine

Problemi di natura più filosofica

• Campionamento del problema delle specie
• Argomento del giorno del giudizio
• Scambia il paradosso

Come esempio dello spirito generale (se non proprio di specificità) della risposta che sto cercando, ho trovato una conferenza ispirata a "Hilbert's 23" di David Donoho durante una conferenza "Math Challenges of the 21st Century":

Analisi dei dati ad alta dimensione: le maledizioni e le benedizioni della dimensionalità

Mathoverflow ha una domanda simile sui grandi problemi nella teoria della probabilità .

Sembrerebbe da quella pagina che le domande più grandi riguardano l'auto-evitamento di passeggiate e percolazioni casuali.

Potresti dare un'occhiata al colloquio di "Hard Problems in the Social Sciences" di Harvard tenutosi all'inizio di quest'anno. Molti di questi colloqui presentano problemi nell'uso della statistica e della modellistica nelle scienze sociali.

La mia risposta sarebbe la lotta tra statistiche frequentiste e bayesiane. Quando le persone ti chiedono in cosa "credi", non va bene! Soprattutto per una disciplina scientifica.