Se il principio di probabilità si scontra con la probabilità del frequentatore, allora scartiamo uno di loro?

In un commento recentemente pubblicato qui un commentatore ha indicato un blog di Larry Wasserman che sottolinea (senza alcuna fonte) che l'inferenza del frequentatore si scontra con il principio di verosimiglianza.

Il principio di verosimiglianza afferma semplicemente che gli esperimenti che producono funzioni di verosimiglianza simili dovrebbero produrre inferenze simili.

Due parti di questa domanda:

Quali parti, sapori o scuole di inferenza frequentista violano specificamente il principio di verosimiglianza?
Se c'è uno scontro, dobbiamo scartare l'uno o l'altro? In tal caso, quale? Per motivi di discussione suggerirò che se dovessimo scartare qualcosa, dovremmo scartare le parti di inferenza frequentista che si scontrano, perché Hacking e Royall mi hanno convinto che il principio di verosimiglianza è assiomatico.

— Michael Lew
fonte

Non ho mai capito perché il principio di verosimiglianza dovrebbe essere un assioma.

— Stéphane Laurent,

Ciao Stéphane. Il problema è che Birnbaum ha dimostrato che il Probabilità equivale ad altri due principi che sono così naturali che dovrebbero necessariamente valere. Abbiamo scritto una breve recensione su questo risultato. Qui: ime.usp.br/~pmarques/papers/redux.pdf

— Zen

@Zen Grazie. A prima vista il punto su cui non sono d'accordo è questa frase scritta sotto il principio di condizionalità: "Ciò che conta è ciò che è realmente accaduto". Dovrei dire invece "Ciò che conta è ciò che è realmente accaduto tra i problemi che potrebbero verificarsi" (scusate se il mio inglese non è corretto). Questo è ciò che ho affermato nella mia discussione con Gui11Aume: in un certo senso il principio di probabilità afferma che il disegno dell'esperimento non ha importanza e non posso essere d'accordo con questo punto.

— Stéphane Laurent,

@Zen Ora ho letto più attentamente il tuo documento. È vero che è difficile non essere d'accordo con il principio di condizionalità e il principio di invarianza.

— Stéphane Laurent,

LP non è così popolare al giorno d'oggi per motivi pratici. Adottandolo religiosamente si evita l'uso di priori dipendenti dal modello come i precedenti, coniugati priori e test di ipotesi dei Jeffreys che possono essere utili in molti contesti. Credo che le statistiche, lo stesso come la fisica , non possono essere axiomatised in modo significativo (anche se questo discorso può suonare come questo ). Ma è importante identificare i vantaggi e gli svantaggi dei diversi paradigmi.

Risposte:

La parte dell'approccio frequentista che si scontra con il principio di verosimiglianza è la teoria dei test statistici (e del calcolo del valore p). Di solito è evidenziato dal seguente esempio.

Supponiamo che due Frequentisti vogliano studiare una moneta distorta, che trasforma le "teste" con propensione sconosciuta . Sospettano che sia distorto verso la "coda", quindi postulano la stessa ipotesi nulla e la stessa ipotesi alternativa . $p$ $p = 1/2$ $p < 1/2$

Il primo statistico lancia la moneta fino a quando non viene visualizzata la voce "testa", che risulta essere 6 volte. Il secondo decide di lanciare la moneta 6 volte e ottiene solo una "testa" nell'ultimo lancio.

Secondo il modello del primo statistico, il valore p viene calcolato come segue:

p (1 - p)^{5} + p (1 - p)^{6} + . . . = p (1 - p)^{5} \frac{1}{1 - p} = p (1 - p)^{4} .

$p(1-p)^5 + p(1-p)^6 + ... = p(1-p)^5 \frac{1}{1-p} = p(1-p)^4.$

Secondo il modello del secondo statistico, il valore p viene calcolato come segue:

(\binom{6}{1}) p (1 - p)^{5} + (\binom{6}{0}) (1 - p)^{6} = (5 p + 1) (1 - p)^{5} .

${6 \choose 1} p(1-p)^5 + {6 \choose 0} (1-p)^6 = (5p + 1)(1-p)^5.$

Sostituendo con , il primo trova un valore p pari a , il secondo trova un valore p pari a . $p$ $1/2$ $1/2^5 = 0.03125$ $7/2 \times 1/2^5 = 0.109375$

Quindi, ottengono risultati diversi perché hanno fatto cose diverse, giusto? Ma secondo il principio di verosimiglianza , dovrebbero giungere alla stessa conclusione. In breve, il principio di probabilità afferma che la probabilità è tutto ciò che conta per l'inferenza. Quindi lo scontro qui deriva dal fatto che entrambe le osservazioni hanno la stessa probabilità, proporzionale a (la probabilità è determinata fino a una costante di proporzionalità). $p(1-p)^5$

Per quanto ne so, la risposta alla tua seconda domanda è più un'opinione dibattuta. Personalmente cerco di evitare di eseguire test e calcolare i valori p per il motivo sopra, e per altri spiegato in questo post sul blog .

EDIT: Ora che ci penso, anche le stime di per intervalli di confidenza sarebbero diverse. In realtà se i modelli sono diversi, gli elementi della configurazione differiscono per costruzione. $p$

— gui11aume
fonte

Ho l'impressione che il principio di verosimiglianza sia ovviamente violato nelle statistiche del frequentista (verifica delle ipotesi, intervalli di confidenza) perché prendiamo in considerazione la probabilità di ogni possibile risultato, non solo la probabilità basata sul risultato effettivo. Giusto ?

— Stéphane Laurent,

@ Stéphane Laurent sì, è così che lo capisco. James Berger ha una bella citazione nella teoria delle decisioni statistiche e nell'analisi bayesiana , che afferma che il frequentista a volte rifiuta l'ipotesi a causa di dati che non sono mai stati osservati (suona meglio, ma non me lo ricordo).

— gui11aume,

Grazie, gui11aume. Ho ragione di interpretarlo come un esempio in cui il "significato" dei valori di P varia con l'intento dello sperimentatore? Presumo che sia il caso in cui i valori di P sono interpretati come una sorta di soglia di tasso di errore falso positivo perché dovrebbero essere distribuiti uniformemente sotto l'ipotesi nulla? È necessario con l'approccio di Fisher in cui i valori di P sono presentati come indici della forza dell'evidenza?

— Michael Lew,

(+1) Questo tipo di discrepanze di solito appare quando una regola di arresto è coinvolta in uno dei modelli.

@Scortchi In realtà mi sono sbagliato a pensare che uno dei valori P indichi la corretta funzione di verosimiglianza e l'altro no: entrambi indicano la stessa funzione di verosimiglianza che presenta le prove relative alla probabilità dei capi. Dovresti ignorare le ultime due frasi del mio commento precedente. (Non posso modificarlo, vero?)

— Michael Lew,

Mi piace l'esempio di @ gui11aume (+1), ma può dare l'impressione che la differenza tra due valori derivi solo dalle diverse regole di arresto utilizzate dai due sperimentatori. $p$

In effetti, credo che sia un fenomeno molto più generale. Considera il secondo sperimentatore nella risposta di @ gui11aume: quello che lancia una moneta sei volte e osserva la testa solo nell'ultimo lancio. I risultati sembrano così: qual è il valore ? L'approccio usuale sarebbe quello di calcolare la probabilità che una moneta giusta si tradurrebbe in una o meno teste. Vi sono possibilità su totali con una o meno teste, quindi .

T T T T T H,

$\mathrm{T \;\;\; T \;\;\;T \;\;\;T \;\;\;T \;\;\;H},$

p

$p$

7

$7$

64

$64$

p = 7 / 64 \approx 0.109

$p=7/64\approx 0.109$

Ma perché non prendere un'altra statistica di prova ? Ad esempio, in questo esperimento abbiamo osservato cinque code di fila. Prendiamo la lunghezza della sequenza di code più lunga come statistica test. Ci sono possibilità con cinque o sei code di fila, quindi . $3$ $p=3/64\approx0.047$

Quindi, se in questo caso il tasso di errore fosse fissato a , allora la scelta della statistica del test può facilmente rendere i risultati significativi o meno, e questo non ha nulla a che fare con le regole di arresto di per sé . $\alpha=0.05$

Parte speculativa

Ora, filosoficamente, direi che la scelta del frequentatore della statistica test è in qualche modo vaga simile alla scelta bayesiana del precedente. Scegliamo l'una o l'altra statistica di prova perché crediamo che la moneta ingiusta si comporterebbe in questo o quel modo particolare (e vogliamo avere il potere di rilevare questo comportamento). Non è simile a mettere prima sui tipi di monete?

In tal caso, allora il principio di verosimiglianza che afferma che tutte le prove sono verosimili non si scontrano con i valori , perché il valore non è quindi solo la "quantità di prove". È "una misura di sorpresa", ma qualcosa può essere solo una misura di sorpresa se tiene conto di ciò di cui saremmo sorpresi! Il valore tenta di combinare in una quantità scalare sia l'evidenza che una sorta di aspettative precedenti (come rappresentato nella scelta della statistica del test). Se è così, allora non dovrebbe essere paragonato alla probabilità stessa, ma forse piuttosto al posteriore? $p$ $p$ $p$

Sarei molto interessato a sentire alcune opinioni su questa parte speculativa, qui o in chat.

Aggiornamento dopo la discussione con @MichaelLew

Temo che il mio esempio di cui sopra abbia mancato il punto di questo dibattito. La scelta di una diversa statistica test comporta anche un cambiamento nella funzione di probabilità. Quindi due diversi valori calcolati sopra corrispondono a due diverse funzioni di verosimiglianza, e quindi non possono essere un esempio di "scontro" tra il principio di verosimiglianza e i valori . La bellezza dell'esempio di @ gui11aume è che la funzione di probabilità rimane esattamente la stessa, anche se i valori differiscono. $p$ $p$ $p$

Devo ancora pensare cosa significhi per la mia parte "speculativa" sopra.

— ameba dice Reinstate Monica
fonte

Pensieri interessanti. Sì, concordo sul fatto che non vi deve essere alcun conflitto tra i valori LP e P purché i valori P non siano interpretati come prove allo stesso modo della funzione di probabilità. La funzione di probabilità contiene le prove rilevanti per il parametro di interesse dato il modello statistico . Quando si cambia la statistica del test, si cambia il modello, quindi la funzione di probabilità per il modello alternativo sarà (beh, potrebbe) differire dalla funzione di probabilità per l'originale.

— Michael Lew,

Michael, non sono sicuro di cosa significhi esattamente "modello statistico", ma una moneta con probabilità di testa già un modello? In che modo la modifica della statistica del test modifica il modello?

p

$p$

— ameba dice di reintegrare Monica il

A parte questo, ho trovato questa domanda perché stavo rileggendo il tuo documento "To P or not to P" (e ho cercato su Google "principio di verosimiglianza"). In genere mi piace il documento, ma sono stato completamente confuso dalla sezione 4.4. Scrivi che i valori p non devono essere "regolati" prendendo in considerazione le regole di arresto; ma non vedo alcun aggiustamento nelle formule 5-6. Quali sarebbero i valori p "non aggiustati"? Vuoi dire che uno di essi è regolato e un altro no? In tal caso, quale e perché non viceversa?

— ameba dice di reintegrare Monica il

Il modello statistico viene spesso ignorato o tacitamente assunto invariante. Tuttavia, per le monete include una probabilità sconosciuta fissa di teste, una selezione casuale di osservazioni e, per la statistica test di testa fuori dagli studi, la distribuzione binomiale di possibili esiti. Non so quale sia la distribuzione dei risultati per la statistica test di fila in fila, ma sospetto che sia diversa. Anche se è lo stesso, il modello che ha la tua statistica test non è lo stesso modello dell'originale e quindi la funzione di probabilità può essere diversa anche se contiene tutte le prove.

— Michael Lew,

Ho quasi finito una rielaborazione completa di quel documento. È rilevante per questa discussione ma non è ancora pronto per la presentazione. (È questa chat?)

— Michael Lew,