Le statistiche bayesiane sono davvero un miglioramento rispetto alle statistiche tradizionali (frequentiste) per la ricerca comportamentale?

Durante la partecipazione alle conferenze, i sostenitori delle statistiche bayesiane hanno spinto un po 'a valutare i risultati degli esperimenti. È vantato come sia più sensibile, appropriato e selettivo verso scoperte autentiche (meno falsi positivi) rispetto alle statistiche frequentiste.

Ho esplorato un po 'l'argomento e non sono ancora convinto dei vantaggi dell'utilizzo delle statistiche bayesiane. Le analisi bayesiane furono usate per confutare Daryl Bem sostegno della precognizione, quindi rimango cautamente curioso di sapere come le analisi bayesiane potrebbero giovare anche alla mia ricerca.

Quindi sono curioso di sapere quanto segue:

Potenza in un'analisi bayesiana rispetto a un'analisi frequentista
Suscettibilità all'errore di tipo 1 in ciascun tipo di analisi
Il compromesso nella complessità dell'analisi (bayesiano sembra più complicato) rispetto ai benefici ottenuti. Le analisi statistiche tradizionali sono semplici, con linee guida ben definite per trarre conclusioni. La semplicità potrebbe essere vista come un vantaggio. Vale la pena arrendersi?

Grazie per qualsiasi approfondimento!

bayesian power frequentist

— una fermata
fonte

Le statistiche bayesiane sono statistiche tradizionali: puoi dare un esempio concreto di ciò che vuoi dire essere statistiche tradizionali?

@OphirYoktan: sta parlando della probabilità di frequenza contro la probabilità bayesiana. È anche menzionato nel titolo della domanda.

Penso che questa domanda dovrebbe essere spostata qui: stats.stackexchange.com

— Mark Lapierre

Ho fatto una domanda sul meta se questo dovrebbe essere sull'argomento.

Penso che questa domanda possa potenzialmente avere una risposta "buona" o "corretta". Ad esempio, se qualcuno potesse dire "per ogni test di frequentatore con errore di tipo 1

e errore di tipo 2

, esiste un test bayesiano con errore di tipo 1

e errore di tipo 2

", questa sarebbe una buona risposta. O qualcosa del tipo "ogni test frequentista equivale a un test bayesiano con un precedente non informativo". Cioè questa non deve essere una guerra religiosa tra frequentisti e bayesiani. Sto solo discutendo perché non capisco come le risposte si riferiscano alle domande specifiche nel PO.

α

$\alpha$

β

$\beta$

α

$\alpha$

β - x

$\beta - x$

— SheldonCooper

Risposte:

Una rapida risposta al contenuto puntato:

1) Errore di alimentazione / tipo 1 in un'analisi bayesiana rispetto a un'analisi frequentista

Chiedere di tipo 1 e potenza (cioè meno la probabilità di errore di tipo 2) implica che è possibile inserire il problema di inferenza in un quadro di campionamento ripetuto. Puoi? Se non ci riesci, non c'è molta scelta se non quella di abbandonare gli strumenti di inferenza del frequentista. Se puoi, e se il comportamento del tuo stimatore su molti di questi campioni è rilevante, e se non sei particolarmente interessato a fare dichiarazioni di probabilità su eventi particolari, allora non ho motivo di muovermi.

L'argomento qui non è che tali situazioni non si presentano mai - certamente lo fanno - ma che in genere non si presentano nei campi in cui vengono applicati i metodi.

2) Il compromesso in termini di complessità dell'analisi (bayesiano sembra più complicato) rispetto ai vantaggi ottenuti.

È importante chiedersi dove va la complessità. Nelle procedure frequentiste l' implementazione può essere molto semplice, ad esempio minimizzare la somma dei quadrati, ma i principi possono essere arbitrariamente complessi, in genere ruotando attorno a quale stimatore / i scegliere, come trovare i test giusti, cosa pensare quando non sono d'accordo. Per un esempio vedere la discussione ancora vivace, raccolta in questo forum, di diversi intervalli di confidenza per una proporzione!

Nelle procedure bayesiane l' implementazione può essere arbitrariamente complessa anche in modelli che sembrano "dovrebbero" essere semplici, di solito a causa di integrali difficili ma i principi sono estremamente semplici. Dipende piuttosto da dove vorresti essere il disordine.

3) Le analisi statistiche tradizionali sono semplici, con linee guida ben stabilite per trarre conclusioni.

Personalmente non riesco più a ricordare, ma certamente i miei studenti non li hanno mai trovati semplici, principalmente a causa del principio di proliferazione sopra descritto. Ma la domanda non è davvero se una procedura sia semplice, ma se è più vicina all'essere giusto data la struttura del problema.

Infine, sono fortemente in disaccordo sul fatto che in entrambi i paradigmi vi siano "linee guida ben stabilite per trarre conclusioni". E penso che sia una buona cosa. Certo, "trova p <.05" è una chiara linea guida, ma per quale modello, con quali correzioni, ecc.? E cosa devo fare quando i miei test non sono d'accordo? Il giudizio scientifico o ingegneristico è necessario qui, come altrove.

— conjugateprior
fonte

Non sono sicuro che chiedere errori di tipo 1 / tipo 2 implichi qualcosa su un framework di campionamento ripetuto. Sembra che anche se la mia ipotesi nulla non può essere campionata ripetutamente, è comunque significativo chiedere informazioni sulla probabilità di errore di tipo 1. La probabilità in questo caso, ovviamente, non è su tutte le possibili ipotesi, ma piuttosto su tutti i possibili campioni della mia singola ipotesi.

— SheldonCooper

Mi sembra che l'argomento generale sia questo: sebbene si possa definire un errore di tipo 1 (o 2) per un'inferenza "one shot" (Tipo 1 vs 2 è solo una parte di una tipologia di errori che posso fare) a meno che il mio commettere questo errore è incorporato in prove ripetute, né il tipo di errore può avere una probabilità frequentista.

— coniugato

Quello che sto dicendo è che commettere un errore di tipo 1 (o 2) è sempre incorporato in prove ripetute. Ogni prova sta campionando una serie di osservazioni dall'ipotesi nulla. Quindi, anche se è difficile immaginare di campionare un'ipotesi diversa, sono ancora presenti prove ripetute perché è facile immaginare di campionare una serie diversa di osservazioni da quella stessa ipotesi.

— SheldonCooper

Indovinami: come si decide "cos'è casuale?" Ad esempio, supponi di avere un'urna, qualcuno sta campionando "a caso" dall'urna. Supponiamo anche che sia presente un "osservatore intelligente" e che conoscano il contenuto esatto dell'urna. Il campionamento è ancora "casuale" anche se l '"osservatore intelligente" può prevedere con certezza esattamente cosa verrà disegnato? È cambiato qualcosa nell'urna se non sono più presenti?

— Probislogic

Il problema che ho con la natura "ripetuta" dei frequentatori è che per funzionare le condizioni devono rimanere le stesse. Ma se le condizioni rimangono le stesse, dovresti essere in grado di unire insieme i tuoi set di dati e ottenere una stima migliore. Il frequentista ignora le informazioni passate proprio nelle condizioni in cui è ragionevole prenderle in considerazione.

— Probislogic

Le statistiche bayesiane possono essere derivate da alcuni principi logici. Prova a cercare "probabilità come logica estesa" e troverai un'analisi più approfondita dei fondamenti. Ma in sostanza, le statistiche bayesiane si basano su tre principi fondamentali "desiderati" o normativi:

La plausibilità di una proposizione deve essere rappresentata da un singolo numero reale
$p(A|C^{(0)})$ $C^{(0)}\rightarrow C^{(1)}$ $p(A|C^{(1)})>p(A|C^{(0)})$ $p(B|A C^{(0)})=p(B|AC^{(1)})$ $p(AB| C^{(0)})\leq p(AB|C^{(1)})$ $p(\overline{A}|C^{(1)})<p(\overline{A}|C^{(0)})$
La plausibilità di una proposizione deve essere calcolata in modo coerente . Ciò significa a) se una plausibilità può essere motivata in più di 1 modo, tutte le risposte devono essere uguali; b) In due problemi in cui ci vengono presentate le stesse informazioni, dobbiamo assegnare le stesse plausibilità; e c) dobbiamo tenere conto di tutte le informazioni disponibili. Non dobbiamo aggiungere informazioni che non ci sono e non dobbiamo ignorare le informazioni di cui disponiamo.

Questi tre desiderati (insieme alle regole della logica e della teoria degli insiemi) determinano in modo univoco la somma e le regole del prodotto della teoria della probabilità. Pertanto, se si desidera ragionare in base ai tre desideri sopra indicati, è necessario adottare un approccio bayesiano. Non è necessario adottare la "filosofia bayesiana" ma è necessario adottare i risultati numerici. I primi tre capitoli di questo libro li descrivono in modo più dettagliato e forniscono la prova.

E, ultimo ma non meno importante, il "macchinario bayesiano" è lo strumento di elaborazione dati più potente che hai. Ciò è principalmente dovuto al desiderato 3c) che utilizza tutte le informazioni che hai (questo spiega anche perché Bayes può essere più complicato di un non Bayes). Può essere abbastanza difficile decidere "ciò che è rilevante" usando il tuo intuito. Il teorema di Bayes fa questo per te (e lo fa senza aggiungere ipotesi arbitrarie, anche a causa di 3c).

$H_0$ $H_1$ $L_1$ $H_0$ $L_2$ $H_0$ quando è falso: errore di tipo 2). la teoria della probabilità dice che dovresti:

$P(H_0|E_1,E_2,\dots)$ $E_i$ sono tutti gli elementi di prova relativi al test: dati, informazioni preliminari, qualunque cosa tu voglia che il calcolo incorpori nell'analisi
$P(H_1|E_1,E_2,\dots)$
$O=\frac{P(H_0|E_1,E_2,\dots)}{P(H_1|E_1,E_2,\dots)}$
$H_0$ $O > \frac{L_2}{L_1}$

$H_0$ $O>>1$ $H_1$ $O<<1$ $O\approx 1$

Ora, se il calcolo diventa "troppo difficile", allora è necessario approssimare i numeri o ignorare alcune informazioni.

Per un esempio reale con numeri elaborati vedere la mia risposta a questa domanda

— probabilityislogic
fonte

Non sono sicuro di come questo risponda alla domanda. I frequentatori ovviamente non sono d'accordo con il desideratum 1 di questo elenco, quindi il resto dell'argomento non si applica a loro. Inoltre, non risponde a nessuna delle domande specifiche del PO, come "l'analisi bayesiana è più potente o meno soggetta a errori di un'analisi frequentista".

— SheldonCooper

@sheldoncooper - se un frequentatore non è d'accordo con desideratum 1, su quale base può costruire un intervallo di confidenza al 95%? Devono richiedere un numero aggiuntivo.

— Probislogic

@sheldoncooper - e inoltre, le probabilità di campionamento dovrebbero essere ridefinite, perché anch'esse sono solo 1 numero. Un frequentatore non può rifiutare il desideratum 1 senza respingere la propria teoria

— probabilistica

Non sono sicuro a quale numero aggiuntivo ti riferisci. Inoltre non sono sicuro di quale sia il calcolo

p (H_{1} | . . .)

$p(H_1|...)$ che hai introdotto. La procedura nei test statistici standard è di calcolare

p (E_{1}, E_{2}, . . . | H_{0})

$p(E_1, E_2, ... | H_0)$ . Se questa probabilità è bassa,

H_{0}

$H_0$ può essere rifiutato; altrimenti non può.

— SheldonCooper

"non possono rifiutare il desideratum 1 senza rifiutare la propria teoria" - cosa intendi con questo? I frequentatori non hanno idea di "plausibilità". Hanno una nozione di "frequenza di occorrenza in studi ripetuti". Questa frequenza soddisfa condizioni simili ai tuoi tre desiderati e quindi segue regole simili. Pertanto, per tutto ciò per cui è definita la nozione di frequenza, è possibile utilizzare le leggi della probabilità senza alcun problema.

— SheldonCooper

I am not familiar with Bayesian Statistics myself but I do know that Skeptics Guide to the Universe Episode 294 has and interview with Eric-Jan Wagenmakers where they discuss Bayesian Statistics. Here is a link to the podcast: http://www.theskepticsguide.org/archive/podcastinfo.aspx?mid=1&pid=294