Quindi ho appena finito di leggere un grande libro Introduzione a Empirical Bayes . Ho pensato che il libro fosse eccezionale, ma la costruzione di priori dai dati sembrava sbagliata. Mi è stato insegnato che ti viene in mente un piano di analisi, quindi raccogli i dati e poi verifica le ipotesi precedentemente stabilite nel tuo piano di analisi. Quando esegui un'analisi dei dati che hanno già raccolto, ciò ti porta all'inferenza post-selettiva in cui devi essere molto più rigoroso su ciò che chiami "significativo", vedi qui . Penso che l'apprendimento automatico abbia qualcosa di analogo che si chiama "raccolta delle ciliegie", il che significa scegliere i predittori prima di impostare set di test e formazione ( Introduzione all'apprendimento statistico ).

Dato ciò che ho appreso in precedenza, mi sembra che Bayes empirico sia basato su una base debole. Le persone lo usano solo nelle impostazioni in cui i dati sono stati generati passivamente? Se è così, questo può essere giustificabile, ma non sembra corretto usarlo quando si fa un rigoroso disegno sperimentale, tuttavia so che Brad Efron usa Bayes empirici specificamente per la Biostatistica, generalmente un campo molto NHST.

Le mie domande sono:

1. Come è valido Bayes empirico?
2. In quali situazioni viene utilizzato?
3. In quali situazioni dovresti evitare di utilizzare l'approccio empirico di Bayes e perché?
4. Le persone lo usano in campi diversi dalla Biostatistica e, in tal caso, in quali situazioni lo stanno usando?

Penso che sia importante ricordare che metodi diversi vanno bene per cose diverse e che i test di significatività non sono tutto quello che c'è nel mondo delle statistiche.

1 e 3) EB non è probabilmente una valida procedura di verifica delle ipotesi, ma non è nemmeno pensata per esserlo.

La validità potrebbe essere molte cose, ma stai parlando di un rigoroso progetto sperimentale, quindi probabilmente stiamo discutendo un test di ipotesi che dovrebbe aiutarti a prendere la decisione giusta con una certa frequenza a lungo termine. Questo è un regime sì / no di tipo strettamente dicotomico che è principalmente utile per le persone che devono prendere una decisione sì / no-tipo. C'è molto lavoro classico su questo da parte di persone molto intelligenti. Questi metodi hanno una valida validità teorica nel limite ipotizzando che tutte le tue assunzioni siano valide, ecc. Tuttavia, EB certamente non era pensato per questo. Se si desidera il macchinario dei metodi NHST classici, attenersi ai metodi NHST classici.

2) EB si applica meglio nei problemi in cui si stanno valutando molte quantità simili e variabili.

Lo stesso Efron apre il suo libro Inferenza su larga scala che elenca tre epoche distinte della storia della statistica, sottolineando che attualmente ci troviamo

[l'era della produzione scientifica di massa, in cui le nuove tecnologie tipizzate dal microarray consentono a un solo team di scienziati di produrre set di dati di dimensioni che invidia Quetelet. Ma ora il diluvio di dati è accompagnato da un diluvio di domande, forse migliaia di stime o test di ipotesi che lo statistico è incaricato di rispondere insieme; per niente quello che i maestri classici avevano in mente.

Continua:

Per loro natura, gli argomenti empirici di Bayes combinano elementi frequentisti e bayesiani nell'analisi dei problemi di struttura ripetuta. Le strutture ripetute sono esattamente ciò a cui eccelle la produzione scientifica di massa, ad esempio i livelli di espressione che confrontano soggetti malati e sani per migliaia di geni contemporaneamente mediante microarrays.

Forse il più recente applicazione di successo di EB è limma, disponibile su Bioconductor . Questo è un pacchetto R con metodi per valutare l'espressione differenziale (cioè microarrays) tra due gruppi di studio attraverso decine di migliaia di geni. Smyth mostra che i loro metodi EB producono una statistica t con più gradi di libertà rispetto a se si dovessero calcolare statistiche t geniche sagge. L'uso di EB qui "equivale al restringimento delle varianze del campione stimate verso una stima aggregata, con conseguente inferenza molto più stabile quando il numero di array è piccolo", come spesso accade.

Come sottolineato da Efron sopra, questo non è qualcosa per cui è stato sviluppato il classico NHST e l'impostazione è generalmente più esplorativa che confermativa.

4) Generalmente puoi vedere EB come un metodo di restringimento, e può essere utile ovunque quel restringimento sia utile

limma$X_1, ..., X_k$$\hat \theta^{JS}_i = (1- c/S^2)X_i,$$S^2=\sum_{j=1}^k X_j,$$c$$X_i$

$\bar X,$

Più simili sono i quantiti da stimare, più è probabile che il restringimento sia utile. Il libro a cui ti riferisci utilizza le percentuali di successo nel baseball. Morris (1983) indica una manciata di altre applicazioni:

• Ripartizione delle entrate --- census bureau. Calcola il reddito pro capite pro capite per diverse aree.
• Garanzia di qualità --- Bell Labs. Stima il numero di guasti per periodi di tempo diversi.
• Determinazione dei tassi assicurativi. Stima il rischio per esposizione per gruppi di assicurati o per territori diversi.
• Ammissioni alla facoltà di giurisprudenza. Stima il peso per il punteggio LSAT rispetto al GPA per le diverse scuole.
• Allarmi antincendio --- New York. Stima la frequenza dei falsi allarmi per le diverse posizioni della casella di allarme.

Questi sono tutti problemi di stima parallela e, per quanto ne so, si tratta più di fare una buona previsione di cosa sia una certa quantità che di prendere una decisione sì / no.

Alcuni riferimenti

• Efron, B. (2012). Inferenza su larga scala: metodi di Bayes empirici per la stima, il test e la previsione (Vol. 1). Cambridge University Press. Chicago
• Efron, B., e Morris, C. (1973). La regola di stima di Stein e i suoi concorrenti: un approccio empirico a Bayes. Journal of American Statistical Association, 68 (341), 117-130. Chicago
• James, W., & Stein, C. (1961, giugno). Stima con perdita quadratica. In Atti del quarto simposio di Berkeley su statistiche matematiche e probabilità (Vol. 1, n. 1961, pagg. 361-379). Chicago
• Morris, CN (1983). Inferenza parametrica empirica di Bayes: teoria e applicazioni. Journal of American Statistical Association, 78 (381), 47-55.
• Smyth, GK (2004). Modelli lineari e metodi empirici di Bayes per la valutazione dell'espressione differenziale negli esperimenti di microarray. Applicazioni statistiche in genetica e biologia molecolare Volume 3, Numero 1, Articolo 3.