Perché le persone usano i valori p invece di calcolare la probabilità dei dati dati dal modello?

In parole povere un valore p dà una probabilità del risultato osservato di un esperimento data l'ipotesi (modello). Avendo questa probabilità (valore p) vogliamo giudicare la nostra ipotesi (quanto è probabile). Ma non sarebbe più naturale calcolare la probabilità dell'ipotesi dato il risultato osservato?

Più in dettaglio. Abbiamo una moneta. Lo capovolgiamo 20 volte e otteniamo 14 teste (14 su 20 è quello che chiamo "risultato dell'esperimento"). Ora, la nostra ipotesi è che la moneta sia giusta (le probabilità di testa e coda sono uguali tra loro). Ora calcoliamo il valore p, che è uguale alla probabilità di ottenere 14 o più teste in 20 lanci di moneta. OK, ora abbiamo questa probabilità (0,058) e vogliamo usare questa probabilità per giudicare il nostro modello (come è probabile che abbiamo una moneta giusta).

Ma se vogliamo stimare la probabilità del modello, perché non calcoliamo la probabilità del modello dato l'esperimento? Perché calcoliamo la probabilità dell'esperimento dato il modello (valore p)?

Il calcolo della probabilità che l'ipotesi sia corretta non rientra bene nella definizione frequentista di una probabilità (una frequenza a lungo termine), adottata per evitare la presunta soggettività della definizione bayesiana di una probabilità. La verità di una particolare ipotesi non è una variabile casuale, è vera o non lo è e non ha una frequenza a lungo termine. È davvero più naturale essere interessati alla probabilità della verità dell'ipotesi, che è l'IMHO per cui i valori di p sono spesso interpretati erroneamente come la probabilità che l'ipotesi nulla sia vera. Parte della difficoltà è che dalla regola di Bayes sappiamo che per calcolare la probabilità posteriore che un'ipotesi sia vera, è necessario iniziare con una probabilità precedente che l'ipotesi sia vera.

Un Bayesiano potrebbe calcolare la probabilità che l'ipotesi è vera, visti i dati (e il suo / la sua prima convinzione).

Fondamentalmente nel decidere tra approcci frequentista e bayesiano è una scelta se la presunta soggettività dell'approccio bayesiano sia più odiosa del fatto che l'approccio frequentista generalmente non dà una risposta diretta alla domanda che in realtà si vuole porre - ma c'è spazio per tutti e due.

Nel caso in cui si chieda se una moneta è giusta, cioè la probabilità di una testa è uguale alla probabilità di una coda, abbiamo anche un esempio di ipotesi che sappiamo che nel mondo reale è quasi certamente falso fin dall'inizio. I due lati della moneta non sono simmetrici, quindi dovremmo aspettarci una leggera asimmetria nelle probabilità di testa e croce, quindi se la moneta "supera" il test, significa solo che non abbiamo abbastanza osservazioni per poter Concludere ciò che già sappiamo essere vero: che la moneta è leggermente distorta!

Niente come rispondere a una domanda davvero vecchia, ma qui va ....

i valori di p sono test di ipotesi quasi validi. Questo è un estratto leggermente adattato tratto dal libro di teoria della probabilità del 2003 di Jaynes (Esperimenti ripetitivi: probabilità e frequenza). Supponiamo di avere un'ipotesi nulla che desideriamo testare. Abbiamo dati e l'informazione preventiva . Supponiamo che ci sia qualche ipotesi non specificata cui . Il rapporto di probabilità posteriore per contro è quindi dato da:$H_0$$D$$I$$H_A$$H_0$$H_A$$H_0$

$$\frac{P(H_A|DI)}{P(H_0|DI)}=\frac{P(H_A|I)}{P(H_0|I)}\times\frac{P(D|H_AI)}{P(D|H_0I)}$$

Ora il primo termine sul lato destro è indipendente dai dati, quindi i dati possono influenzare il risultato solo tramite il secondo termine. Ora, possiamo sempre inventare un'ipotesi alternativa tale che - un'ipotesi di "adattamento perfetto". Quindi possiamo usare come misura di quanto bene i dati potrebbero supportare qualsiasi ipotesi alternativa rispetto al nulla. Non vi sono ipotesi alternative che i dati potrebbero supportare su in misura maggiore di . Possiamo anche limitare la classe di alternative e il cambiamento è che è sostituito dalla probabilità massimizzata (comprese le costanti normalizzanti) all'interno di quella classe. Se$H_A$$P(D|H_AI)=1$$\frac{1}{P(D|H_0I)}$$H_0$$\frac{1}{P(D|H_0I)}$$1$$P(D|H_0I)$inizia a diventare troppo piccolo, quindi iniziamo a dubitare del nulla, perché il numero di alternative tra e cresce (incluse alcune con probabilità precedenti non trascurabili). Ma questo è quasi tutto ciò che viene fatto con i valori p, ma con un'eccezione: non calcoliamo la probabilità per per alcune statistiche e alcune regioni "cattive" della statistica. Calcoliamo la probabilità per - le informazioni che abbiamo effettivamente, piuttosto che un sottoinsieme di esso, .$H_0$$H_A$$t(D)>t_0$$t(D)$$D$$t(D)$

Un altro motivo per cui le persone usano i valori p è che spesso equivalgono a un test di ipotesi "corretto", ma possono essere più facili da calcolare. Possiamo dimostrarlo con il semplicissimo esempio di test della media normale con varianza nota. Abbiamo dati con un modello assunto (parte delle informazioni precedenti ). Vogliamo testare . Quindi abbiamo, dopo un piccolo calcolo:$D\equiv\{x_1,\dots,x_N\}$$x_i\sim Normal(\mu,\sigma^2)$$I$$H_0:\mu=\mu_0$

$$P(D|H_0I)=(2\pi\sigma^2)^{-\frac{N}{2}}\exp\left(-\frac{N\left[s^2+(\overline{x}-\mu_0)^2\right]}{2\sigma^2}\right)$$

Dove and . Questo dimostra che il valore massimo di sarà raggiunto quando . Il valore massimizzato è:$\overline{x}=\frac{1}{N}\sum_{i=1}^{N}x_i$$s^2=\frac{1}{N}\sum_{i=1}^{N}(x_i-\overline{x})^2$$P(D|H_0I)$$\mu_0=\overline{x}$

$$P(D|H_AI)=(2\pi\sigma^2)^{-\frac{N}{2}}\exp\left(-\frac{Ns^2}{2\sigma^2}\right)$$

Quindi prendiamo il rapporto di questi due e otteniamo:

$$\frac{P(D|H_AI)}{P(D|H_0I)}=\frac{(2\pi\sigma^2)^{-\frac{N}{2}}\exp\left(-\frac{Ns^2}{2\sigma^2}\right)}{(2\pi\sigma^2)^{-\frac{N}{2}}\exp\left(-\frac{Ns^2+N(\overline{x}-\mu_0)^2}{2\sigma^2}\right)}=\exp\left(\frac{z^2}{2}\right)$$

Dove è la "statistica Z". Valori elevati digettare dubbi sull'ipotesi nulla, relativa all'ipotesi sulla media normale che è maggiormente supportata dai dati. Possiamo anche vedere che è l'unica parte dei dati necessari e quindi è una statistica sufficiente per il test.$z=\sqrt{N}\frac{\overline{x}-\mu_0}{\sigma}$$|z|$$\overline{x}$

L'approccio del valore p a questo problema è quasi lo stesso, ma al contrario. Iniziamo con la statistica sufficiente , e ne confermiamo la distribuzione campionaria, che si mostra facilmente essere - dove ho usato una lettera maiuscola per distinguere la variabile casuale dal valore osservato . Ora dobbiamo trovare una regione che metta in dubbio l'ipotesi nulla: si vede facilmente che sono quelle regioni in cuiè grande. Quindi possiamo calcolare la probabilità che$\overline{x}$$\overline{X}\sim Normal\left(\mu,\frac{\sigma^2}{N}\right)$$\overline{X}$$\overline{x}$$|\overline{X}-\mu_0|$$|\overline{X}-\mu_0|\geq |\overline{x}-\mu_0|$come misura di quanto siano lontani i dati osservati dall'ipotesi nulla. Come prima, questo è un semplice calcolo e otteniamo:

$$\text{p-value}=P(|\overline{X}-\mu_0|\geq |\overline{x}-\mu_0||H_0)$$ $$=1-P\left[-\sqrt{N}\frac{|\overline{x}-\mu_0|}{\sigma}\leq\sqrt{N}\frac{\overline{X}-\mu_0}{\sigma}\leq \sqrt{N}\frac{|\overline{x}-\mu_0|}{\sigma}|H_0\right]$$ $$=1-P(-|z|\leq Z\leq |z||H_0)=2\left[1-\Phi(|z|)\right]$$

Ora, possiamo vedere che il valore p è una funzione decrescente monotonica di, il che significa che essenzialmente otteniamo la stessa risposta del test di ipotesi "corretto". Rifiutare quando il valore di p è al di sotto di una certa soglia è la stessa cosa di rifiutare quando le probabilità posteriori sono al di sopra di una certa soglia. Tuttavia, si noti che nel fare il test corretto, abbiamo dovuto definire la classe di alternative e abbiamo dovuto massimizzare una probabilità rispetto a quella classe. Per il valore p, dobbiamo trovare una statistica, calcolare la sua distribuzione campionaria e valutarla al valore osservato. In un certo senso, scegliere una statistica equivale a definire l'ipotesi alternativa che si sta prendendo in considerazione.$|z|$

Sebbene siano entrambe cose facili da fare in questo esempio, non sono sempre così facili in casi più complicati. In alcuni casi può essere più semplice scegliere la statistica corretta da utilizzare e calcolare la sua distribuzione campionaria. In altri può essere più semplice definire la classe di alternative e massimizzare su quella classe.

Questo semplice esempio rappresenta una grande quantità di test basati sul valore p, semplicemente perché tanti test di ipotesi sono della varietà "normale approssimativa". Fornisce anche una risposta approssimativa al problema della moneta (utilizzando l'approssimazione normale al binomio). Mostra anche che i valori p in questo caso non ti porteranno fuori strada, almeno in termini di verifica di una singola ipotesi. In questo caso, possiamo dire che un valore p è una misura di evidenza rispetto all'ipotesi nulla.

Tuttavia, i valori di p hanno una scala meno interpretabile rispetto al fattore bayes - il legame tra il valore di p e la "quantità" di prove rispetto al nulla è complesso. i valori di p diventano troppo piccoli troppo rapidamente, il che li rende difficili da usare correttamente. Tendono a sopravvalutare il supporto rispetto al null fornito dai dati. Se interpretiamo i valori di p come probabilità rispetto allo zero - in forma di probabilità è , quando l'evidenza effettiva è e in forma di probabilità è quando l'evidenza effettiva è . O, per dirla in altro modo, usando un valore p come probabilità che qui il valore nullo sia falso, equivale a impostare le probabilità precedenti. Quindi per un valore di p di$0.1$$9$$3.87$$0.05$$19$$6.83$$0.1$le probabilità precedenti implicite contro il null sono e per un valore p di le probabilità precedenti implicite contro il null sono .$2.33$$0.05$$2.78$

Come ex accademico che è passato alla pratica, ci proverò. Le persone usano i valori p perché sono utili. Non puoi vederlo negli esempi da manuale di lanci di monete. Certo, non sono veramente solidi alla base, ma forse non è così necessario come ci piace pensare quando pensiamo accademicamente. Nel mondo dei dati, siamo circondati da un numero letteralmente infinito di cose possibili da esaminare in seguito. Con i calcoli del valore p tutto ciò di cui hai bisogno come idea di ciò che non è interessante e un'euristica numerica per quale tipo di dati potrebbe essere interessante (beh, oltre a un modello di probabilità per non interessante). Quindi, individualmente o collettivamente, possiamo scansionare le cose in modo piuttosto semplice, rifiutando la maggior parte dei non interessanti. Il valore p ci permette di dire "Se non metto molta priorità a pensarci diversamente,

La tua domanda è un ottimo esempio di ragionamento frequentista ed è, in realtà, del tutto naturale. Ho usato questo esempio nelle mie lezioni per dimostrare la natura dei test di ipotesi. Chiedo a un volontario di prevedere i risultati di un lancio della moneta. Indipendentemente dal risultato, registro un'ipotesi "corretta". Lo facciamo ripetutamente fino a quando la lezione non diventa sospetta.

Ora hanno un modello nullo nella loro testa. Presumono che la moneta sia giusta. Dato che l'ipotesi del 50% di correttezza quando tutto è giusto, ogni ipotesi corretta successiva suscita più sospetto che il modello di moneta corretta non sia corretto. Alcune ipotesi corrette e accettano il ruolo del caso. Dopo 5 o 10 ipotesi corrette, la classe inizia sempre a sospettare che la probabilità di una moneta giusta sia bassa. Lo stesso vale per la natura del test di ipotesi secondo il modello frequentista.

È una rappresentazione chiara e intuitiva dell'opinione del frequentista sui test delle ipotesi. È la probabilità dei dati osservati dato che il valore nullo è vero. In realtà è abbastanza naturale, come dimostrato da questo facile esperimento. Diamo per scontato che il modello sia 50-50, ma poiché le prove aumentano, rifiuto quel modello e sospetto che ci sia qualcos'altro in gioco.

Quindi, se la probabilità di ciò che osservo è bassa dato il modello che presumo (il valore p) allora ho una certa fiducia nel rifiutare il mio modello assunto. Pertanto, un valore p è un'utile misura di evidenza rispetto al mio modello assunto che tiene conto del ruolo del caso.

Un disclaimer: ho preso questo esercizio da un articolo a lungo dimenticato, quello che ricordo, era una delle riviste ASA.

"In parole povere il valore p dà una probabilità del risultato osservato di un esperimento data l'ipotesi (modello)."

ma non lo fa. Nemmeno grossolanamente - questo fonde una distinzione essenziale.

Il modello non è specificato, come sottolinea Raskolnikov, ma supponiamo che tu intenda un modello binomiale (lanci di monete indipendenti, vincolo di monete sconosciuto fisso). L'ipotesi è l'affermazione che il parametro rilevante in questo modello, la distorsione o la probabilità delle teste, è 0,5.

"Avendo questa probabilità (valore p) vogliamo giudicare la nostra ipotesi (quanto è probabile)"

Potremmo davvero voler esprimere questo giudizio, ma un valore p non ci aiuterà (e non è stato progettato per) a farlo.

"Ma non sarebbe più naturale calcolare la probabilità dell'ipotesi dato il risultato osservato?"

Forse lo sarebbe. Vedi tutte le discussioni di Bayes sopra.

"[...] Ora calcoliamo il valore p, che è uguale alla probabilità di ottenere 14 o più teste in 20 lanci di moneta. OK, ora abbiamo questa probabilità (0,058) e vogliamo usare questa probabilità per giudicare il nostro modello (come è probabile che abbiamo una moneta giusta) ".

"della nostra ipotesi, supponendo che il nostro modello sia vero", ma essenzialmente: sì. Valori p elevati indicano che il comportamento della moneta è coerente con l'ipotesi che sia corretta. (Sono anche in genere coerenti con l'ipotesi che sia falsa ma così vicina all'essere vera che non abbiamo abbastanza dati per dirlo; vedi 'potere statistico'.)

"Ma se vogliamo stimare la probabilità del modello, perché non calcoliamo la probabilità del modello dato l'esperimento? Perché calcoliamo la probabilità dell'esperimento dato il modello (valore p)?"

In realtà non calcoliamo la probabilità dei risultati sperimentali data l'ipotesi in questa configurazione. Dopotutto, la probabilità è solo circa 0,176 di vedere esattamente 10 teste quando l'ipotesi è vera, e questo è il valore più probabile. Questa non è affatto una quantità di interesse.

È anche importante che di solito non stimiamo nemmeno la probabilità del modello. Sia le risposte frequentiste che quelle bayesiane in genere presuppongono che il modello sia vero e fanno le loro deduzioni sui suoi parametri. In effetti, in linea di principio , non tutti i bayesiani sarebbero interessati alla probabilità del modello, ovvero alla probabilità che l'intera situazione fosse ben modellata da una distribuzione binomiale. Potrebbero fare un sacco di controllo del modello, ma in realtà non chiedono mai quanto sia probabile il binomio nello spazio di altri possibili modelli. I bayesiani che si preoccupano dei fattori di Bayes sono interessati, altri non così tanto.

Una nota a margine alle altre eccellenti risposte: a volte ci sono volte che non lo facciamo. Ad esempio, fino a poco tempo fa, erano stati completamente banditi dalla rivista Epidemiology - ora sono semplicemente "fortemente scoraggiati" e il consiglio editoriale ha dedicato una quantità enorme di spazio a una discussione qui: http: //journals.lww. com / Epidem / pages / collectiondetails.aspx? TopicalCollectionId = 4

Aggiungerò solo alcune osservazioni; Concordo con te sul fatto che l'uso eccessivo di valori sia dannoso.$p$

• Alcune persone nelle statistiche applicate interpretano erroneamente i valori , in particolare comprendendoli come probabilità che l'ipotesi nulla sia vera; vedi questi articoli: I valori di P non sono probabilità di errore e perché non sappiamo davvero cosa significhi "significato statistico": un grave fallimento educativo .$p$

• Un altro malinteso comune è che i valori riflettono la dimensione dell'effetto rilevato o il loro potenziale di classificazione, quando riflettono sia la dimensione del campione che la dimensione degli effetti. Questo porta alcune persone a scrivere articoli per spiegare perché le variabili che sono state mostrate "fortemente associate" a un personaggio (cioè con valori p molto piccoli) sono classificatori scadenti, come questo ...$p$

• Per concludere, la mia opinione è che i valori sono così ampiamente utilizzati a causa degli standard delle pubblicazioni. Nelle aree applicate (biostati ...) le loro dimensioni sono a volte l'unica preoccupazione di alcuni recensori.$p$

Definisci la probabilità . Voglio dire che. Prima di avanzare ulteriormente, dobbiamo accontentarci di termini.

Una definizione intuitiva di probabilità è una misura di incertezza. Non siamo sicuri se il prossimo lancio della moneta verrà fuori testa o croce. Questo è l'incertezza nei dati . Non siamo anche sicuri che la moneta sia giusta o meno. Questa è incertezza sul modello ... oppure puoi chiamare incertezza sullo stato del mondo.$D$$M$

Per arrivare alla distribuzione condizionale , è necessario disporre della distribuzione congiunta , ovvero la conoscenza dell'intera popolazione di monete in circolazione, quante di esse sono forgiate e come le monete forgiate si comportano (il che può dipendere dal modo in cui le monete vengono lanciate e catturate in aria).$P(M|D)$$P(M,D)$

Nel particolare esempio di monete, questo è almeno concettualmente possibile: le cifre del governo sono disponibili sulle monete che dovrebbero essere corrette (28 10 ⁹ all'anno), o almeno quelle con caratteristiche stabili. Per quanto riguarda le monete contraffatte, la scala di produzione inferiore a un milione probabilmente non vale la pena parlarne, quindi potrebbe essere una probabilità che la moneta che hai ottenuto dal registro di una cassa sia ingiusta. Quindi è necessario elaborare un modello di come funziona la moneta ingiusta ... e ottenere la distribuzione congiunta e le condizioni sui dati.$\cdot$$10^6/28\cdot10^9$

Nel mondo pratico problemi con le condizioni mediche e il modo in cui funzionano, potresti non essere in grado di trovare nessuno di questi componenti della distribuzione articolare e non puoi condizionare.

La modellazione bayesiana fornisce un modo per semplificare i modelli e realizzare questi giunti . Ma il diavolo è nei dettagli. Se si dice che la moneta fiera è quello con , e poi andare avanti e specificare una Beta tradizionali prima, e di ottenere il Beta coniugato posteriori, poi ... sorpresa, sorpresa! per una di queste distribuzioni continue, indipendentemente dal fatto che il tuo precedente sia o . Quindi dovresti incorporare una massa in punti a , dargli una massa precedente ($P(M,D)$$p=0.5$$P(p=0.5)=0$$B(0.5,0.5)$$B(1000,1000)$$0.5$$28\cdot10^9/(28\cdot10^9 + 10^6)$, diciamo), e vedi se i tuoi dati spostano il posteriore lontano da quel punto di massa. Questo è un calcolo più complicato che coinvolge il campionamento di Metropolis-Hastings piuttosto che il più tradizionale campionamento di Gibbs.

Oltre alle difficoltà nel parlare di quali siano esattamente i modelli giusti, i metodi bayesiani hanno modi limitati di gestire la mancata specificazione dei modelli. Se non ti piacciono gli errori gaussiani o non credi nell'indipendenza dei lanci di monete (la tua mano si stanca dopo i primi 10.000 lanci, quindi non la lanci fino ai primi 1.000 o giù di lì, che può influire sulle probabilità), tutto ciò che puoi fare nel mondo bayesiano è costruire un modello più complicato: attaccare i priori per le miscele normali, le spline nelle probabilità nel tempo, qualunque cosa. Ma non esiste un analogo diretto agli errori standard del sandwich Huber che riconoscono esplicitamente che il modello potrebbe essere erroneamente specificato e sono pronti a spiegarlo.

Tornando al mio primo paragrafo, ancora una volta, definire la probabilità. La definizione formale è il trio . è lo spazio dei possibili risultati (combinazioni di modelli e dati). è l' algebra di ciò che può essere misurato in quello spazio. è la misura / densità di probabilità associata ai sottoinsiemi , - che devono essere misurabili affinché la matematica della probabilità funzioni. In dimensioni finite, gli insiemi più ragionevoli sono misurabili - vedi insiemi di Borel$<\Omega,{\mathcal F},P>$$\Omega$$\mathcal F$$\sigma$$P$$A\subset \Omega$$A\in\mathcal F$, Non ti annoierò con i dettagli. Con gli spazi infiniti più interessanti (quelli delle curve e delle traiettorie, per esempio), le cose diventano pelose molto rapidamente. Se hai un processo casuale su un intervallo di unità nel tempo, allora l'insieme non è misurabile, nonostante la sua apparente semplicità . (Insiemi come sono misurabili per finito , e in effetti generano il -algebra richiesto. Ma questo non è abbastanza, apparentemente .) Quindi le probabilità in grandi dimensioni possono diventare complicate anche a livello di definizioni, per non parlare dei calcoli.$X_t, t\in[0,1]$$\{ X_t > 0, t\in[0,0.5]\}$$\{ X_t > 0, t\in\{t_1, t_2, \ldots, t_k\}\}$$k$$\sigma$

Ma se vogliamo stimare la probabilità del modello, perché non calcoliamo la probabilità del modello dato l'esperimento?

Perché non sappiamo come. È possibile un numero infinito di modelli e il loro spazio di probabilità non è definito.

Ecco un esempio pratico. Diciamo che voglio prevedere il PIL degli Stati Uniti. Ricevo le serie storiche e mi adattavo a un modello. Qual è la probabilità che questo modello sia vero?

Quindi, effettivamente un modello di camminata casuale nelle serie GDP: dove è il tasso di crescita ed è un errore casuale. Il mio codice qui sotto fa proprio questo, e produce anche la previsione (rosso) e confronta i dati storici (blu). μ e

$$\Delta\ln y_t=\mu+e_t$$ $\mu$$e_t$

Tuttavia, chi ha detto che il PIL è un processo casuale? Cos'è stato un processo di tendenza? Quindi, la tendenza: dove è la pendenza della tendenza temporale. La previsione usando un modello di tendenza è mostrata sullo stesso grafico (giallo).

$$\ln y_t = c t+ e_t$$ $c$

Ora, come calcoleresti la probabilità che il mio modello di camminata casuale sia vero? All'interno di MLE abbiamo potuto calcolare la probabilità della deriva data la serie di dati, ma questa non è la probabilità. In secondo luogo, e ancora più importante, come calcoleresti la probabilità che il modello passi casualmente con questa deriva sapendo che potrebbe anche essere un modello di tendenza? Potrebbe essere qualsiasi altro numero di modelli che producono questo tipo di dinamica.$\mu$