Un esempio in cui il principio di verosimiglianza * conta davvero *?

Esiste un esempio in cui due diversi test difendibili con probabilità proporzionali porterebbero a inferenze marcatamente diverse (e ugualmente difendibili), per esempio, dove i valori p sono di ordine di grandezza molto distanti, ma il potere delle alternative è simile?

Tutti gli esempi che vedo sono molto sciocchi, confrontando un binomio con un binomio negativo, in cui il valore p del primo è del 7% e del secondo 3%, che sono "diversi" solo se si prendono decisioni binarie su soglie arbitrarie di significato come il 5% (che, tra l'altro, è uno standard piuttosto basso per l'inferenza) e non si preoccupano nemmeno di guardare al potere. Se cambio la soglia per l'1%, ad esempio, entrambi portano alla stessa conclusione.

Non ho mai visto un esempio in cui porterebbe a inferenze marcatamente diverse e difendibili . C'è un esempio del genere?

Lo sto chiedendo perché ho visto così tanto inchiostro speso su questo argomento, come se il principio di verosimiglianza sia qualcosa di fondamentale nelle basi dell'inferenza statistica. Ma se il miglior esempio che uno ha sono esempi sciocchi come quello sopra, il principio sembra completamente insignificante.

Quindi, sto cercando un esempio molto convincente, in cui se uno non segue l'LP il peso dell'evidenza punterebbe in modo schiacciante in una direzione dato un test, ma, in un test diverso con probabilità proporzionale, il peso dell'evidenza sarebbe puntare in modo schiacciante in una direzione opposta, ed entrambe le conclusioni sembrano sensate.

Idealmente, si potrebbe dimostrare che possiamo avere risposte arbitrariamente distanti, ma sensate, come i test con contro con probabilità proporzionali e potenza equivalente per rilevare la stessa alternativa.$p =0.1$$p= 10^{-10}$

PS: la risposta di Bruce non affronta affatto la domanda.

Pensa a una situazione ipotetica in cui un'ipotesi nulla è vera ma si continua a campionare fino a (questo accadrà sempre prima o poi, cioè accadrà con probabilità 1) e quindi si decide di interrompere il processo e rifiutare il nulla. Questa è una regola di arresto estremo, ma considerala per il bene dell'argomento.$p<0.05$

Questa procedura idiota avrà un tasso di errore del 100% di tipo I, ma non vi è nulla di sbagliato in base al principio di verosimiglianza.

Direi che conta come "davvero" importante. Ovviamente puoi scegliere qualsiasi in questo argomento. I bayesiani possono usare un cut-off fisso sul fattore Bayes se lo desiderano. Si applica la stessa logica. La lezione principale qui è che non puoi aderire a LP e avere una garanzia del tasso di errore. Non c'è pranzo libero.$\alpha$

Disclaimer: credo che questa risposta sia al centro dell'intero argomento, quindi vale la pena di discuterne, ma non ho esplorato completamente il problema. In quanto tale, accolgo con favore correzioni, perfezionamenti e commenti.

L'aspetto più importante riguarda i dati raccolti in sequenza. Ad esempio, supponi di aver osservato risultati binari e di aver visto 10 successi e 5 fallimenti. Il principio di probabilità dice che dovresti giungere alla stessa conclusione sulla probabilità di successo, indipendentemente dal fatto che tu abbia raccolto dati fino a quando non hai avuto 10 successi (binomio negativo) o eseguito 15 prove, di cui 10 erano successi (binomiale) .

Perché questo è di qualche importanza?

Perché secondo il principio di verosimiglianza (o almeno una certa interpretazione di esso), è del tutto corretto lasciare che i dati influenzino quando si intende interrompere la raccolta dei dati, senza dover modificare gli strumenti di inferenza.

Conflitto con metodi sequenziali

L'idea che l'utilizzo dei dati per decidere quando interrompere la raccolta di dati senza alterare gli strumenti inferenziali, si scontri completamente con i tradizionali metodi di analisi sequenziale. Il classico esempio di questo è con i metodi utilizzati negli studi clinici. Al fine di ridurre la potenziale esposizione a trattamenti dannosi, i dati vengono spesso analizzati a intervalli intermedi prima di eseguire l'analisi. Se lo studio non è ancora terminato, ma i ricercatori dispongono già di dati sufficienti per concludere che il trattamento funziona o è dannoso, l'etica medica ci dice che dovremmo interrompere lo studio; se il trattamento funziona, è etico interrompere la sperimentazione e iniziare a rendere il trattamento disponibile per i pazienti non sperimentali. Se è dannoso, è più etico smettere di smettere di esporre i pazienti in prova a un trattamento dannoso.

Il problema è ora che abbiamo iniziato a fare più confronti, quindi abbiamo aumentato il nostro tasso di errore di tipo I se non adeguiamo i nostri metodi per tenere conto dei confronti multipli. Questo non è esattamente lo stesso dei tradizionali problemi di confronto multiplo, in quanto si tratta in realtà di paragoni parziali multipli (vale a dire, se analizziamo i dati una volta con il 50% dei dati raccolti e una volta con il 100%, questi due campioni chiaramente non sono indipendenti!) , ma in generale più confronti facciamo, più abbiamo bisogno di cambiare i nostri criteri per rifiutare l'ipotesi nulla per preservare il tasso di errore di tipo I, con più confronti pianificati che richiedono più prove per rifiutare il nulla.

Ciò pone i ricercatori clinici in un dilemma; vuoi controllare frequentemente i tuoi dati, ma poi aumentare le prove richieste per rifiutare il null, o vuoi controllare raramente i tuoi dati, aumentando il tuo potere ma potenzialmente non agendo in modo ottimale per quanto riguarda l'etica medica (ad esempio, può ritardare la commercializzazione del prodotto o esporre i pazienti inutilmente a trattamenti dannosi).

È mia comprensione (forse errata) che il principio di probabilità sembra dirci che non importa quante volte controlliamo i dati, dovremmo fare la stessa deduzione. Questo in sostanza dice che tutti gli approcci alla progettazione di prove sequenziali sono completamente inutili; basta usare il principio di verosimiglianza e fermarsi dopo aver raccolto abbastanza dati per trarre una conclusione. Poiché non è necessario modificare i metodi di inferenza per adattarsi al numero di analisi preparate, non vi è alcun compromesso tra il numero di volte verificate e la potenza. Bam, l'intero campo dell'analisi sequenziale è risolto (secondo questa interpretazione).

Personalmente, ciò che mi confonde molto è che un fatto che è ben noto nel campo del design sequenziale, ma abbastanza sottile, è che la probabilità della statistica finale del test è ampiamente modificata dalla regola di arresto; sostanzialmente, le regole di arresto aumentano la probabilità in modo discontinuo nei punti di arresto. Ecco una trama di tale distorsione; la linea tratteggiata è il PDF della statistica test finale sotto il valore null se i dati vengono analizzati solo dopo che tutti i dati sono stati raccolti, mentre la linea continua fornisce la distribuzione sotto il valore null della statistica test se si controllano i dati 4 volte con un dato regola.

Detto questo, capisco che il principio di probabilità sembra implicare che possiamo buttare via tutto ciò che sappiamo sulla progettazione sequenziale di Frequentist e dimenticare quante volte analizziamo i nostri dati. Chiaramente, le implicazioni di ciò, specialmente per il campo dei progetti clinici, sono enormi. Tuttavia, non ho riflettuto sul modo in cui giustificano ignorare il modo in cui le regole di arresto alterano la probabilità della statistica finale.

Alcune discussioni leggere possono essere trovate qui , principalmente nelle diapositive finali.

Cenni ai test LR per dati esponenziali.

Consenti a essere un campione casuale da modo che Per la funzione di densità è e il CDF è$X_1, X_2, \dots, X_n$$\mathsf{Exp}(\text{rate} =\lambda),$$E(X_i) = \mu = 1/\lambda.$$x > 0,$$f(x) = \lambda e^{-\lambda x}$$F(x) = 1 - e^{-\lambda x}.$

1. La statistica del test è il minimo del campione.

SiaQuindi Come contorno della dimostrazione, modo che per$V = X_{(1)} = \min_n (X_i).$$V \sim \mathsf{Exp}(n\lambda).$

Per testare contro a livello consideriamo come una singola osservazione dalla sua distribuzione esponenziale. Troviamo che il rapporto di verosimiglianza log indica il rifiuto quando dove $H_9:\mu \le \mu_0$$H_a: \mu > \mu_0,$$\alpha = 5\%,$$V$$V > c,$$P(V > c\, |\, \mu = \mu_0) = 0.05.$

Per il caso specifico in cui e abbiamo un tasso esponenziale modo che da R, dove l'esponenziale la distribuzione è parametrizzata dal tasso.$n = 100$$\mu_0 =10,\, \lambda_0 = 0.1,$$10 = n/\mu_0 = 100/10 = 10,$$c = 0.2295$

 qexp(.95, 10)
 [1] 0.2995732
 1 - pexp(0.2996, 10)
 [1] 0.04998662

Di conseguenza, il potere contro l'alternativa (rate è di circa il 74%.$\mu_a = 100$$n/\mu_a = 1)$

1 - pexp(0.2996, 1)
[1] 0.7411146

2. La statistica del test è la media del campione.

Le note della classe Oxford U. (seconda pagina) mostrano che il test del rapporto di verosimiglianza di contro al livello di significatività del 5% rifiuta per dove Inoltre, si può mostrare usando le funzioni di generazione del momento che $H_0: \mu \le \mu_0$$H_0: \mu > \mu_0$$\bar X > c,$$P(\bar X > c\, |\, \mu = \mu_0) = 0.5.$$\bar X \sim \mathsf{Gamma}(n, n\lambda).$

Per il caso specifico in cui e abbiamo quindi$n = 100$$\mu_0 =10,\, \lambda_0 = 0.1,$$\bar X \sim \mathsf{Gamma}(100, 10),$$c = 11.7.$

qgamma(.95, 100, 10)
[1] 11.69971
1 - pgamma(11.7, 100, 10)
[1] 0.04997338

Di conseguenza, il potere contro l'alternativa è di circa il 95,6%.$\mu_a = 14$

1 - pgamma(11.7, 100, 100/14)
[1] 0.9562513

Chiaramente, ai fini del test delle ipotesi sulla media esponenziale le informazioni nella statistica sufficiente sono molto maggiori delle informazioni nel minimo del campione.$\mu,$$\bar X$

Violazione da parte di diverse funzioni pdf e$f(x,\theta)$$g(x,\theta)$

Questo caso sarà un esempio di "violazione" perché le funzioni di distribuzione di probabilità sono intrinsecamente diverse. Anche quando e differiscono, possono essere correlati al principio di verosimiglianza perché a misura fissa forniscono le stesse funzioni di fino al ridimensionamento. La differenza, apre la possibilità di "violazioni".$f(x,\theta)$ $g(x,\theta)$$f$$g$$x$$\theta$

Il lancio della moneta con o senza la regola di arresto opzionale

Il lancio della moneta con o senza la regola di arresto opzionale è un tipico esempio, il pdf è binomiale o binomiale negativo che sono diverse funzioni pdf e portano a un diverso calcolo dei valori p e degli intervalli di confidenza, ma portano alle stesse funzioni di probabilità per fissi campione / misurazione (fino al ridimensionamento).

Esempio più estremo

Considera alcune misure di che è distribuita come$X$

dove è un parametro noto che dipende dal tipo di esperimento e è un parametro che potrebbe essere sconosciuto e potrebbe essere dedotto dalla misurazione .$a$$\theta$$x$

Per ogni dato e funzione la probabilità è proporzionale alla stessa funzione indipendente da :$x$$a$$a$

• Se allora$x<1$$\mathcal{L}(\theta | x) \propto 1$
• Se allora$x\geq 1$$\mathcal{L}(\theta | x) \propto \theta \exp(-\theta (x-1))$

Ma, sebbene con la stessa funzione di probabilità, il valore p può variare ampiamente a seconda dell'esperimento (cioè il valore di ). Ad esempio, quando si misura e si verifica rispetto a il valore p è$a$$x=2$$H_0:\theta = 1$$H_0:\theta < 1$

Intuizione: il motivo della violazione in questi casi è che i valori p e i test di ipotesi non si basano esclusivamente sulla funzione di probabilità per il particolare valore osservato .$x$

Il valore p non viene calcolato dalla probabilità con fisso, ma con il pdf con fisso che è una porzione diversa. Gli intervalli di confidenza, il valore p e i test di ipotesi sono cose diverse rispetto alle informazioni dei rapporti di verosimiglianza.$f(θ|x)$$x$$f(x|θ)$$θ$

I valori di p non sono realmente una prova: il valore di p si riferisce all'errore di tipo I che è una misura che si riferisce a un insieme di misurazioni piuttosto che a una singola misurazione. Questo errore di tipo I o valore p non è lo stesso del "significato probatorio" delle basi delle prove statistiche di Birnbaums. Ciò si collega molto ai problemi con i valori di p e lo scienziato che cerca risultati solo con significato statistico piuttosto che con effetti importanti.

Abbiamo bisogno di esempi in cui le inferenze sono notevolmente diverse? Il caso estremo è un esempio inventato. Un caso del genere, o qualcosa con una differenza estrema simile, ovviamente non si verifica facilmente nella pratica. Più spesso accade che la differenza sarà minima, come nei casi a cui si fa riferimento come sciocchi.

Chiedere esempi in cui il principio di verosimiglianza "conta davvero", o in cui due inferenze diverse portano a risultati estremamente diversi, è un po 'una domanda carica . Almeno quando l'intenzione per questa domanda si riferisce a qualche argomento filosofico. È una domanda carica perché presuppone che i principi che contano dovrebbero portare a risultati estremamente diversi. In molti casi pratici i risultati sono comunque piccoli (in termini di diversi valori di p inferiori a un ordine). Credo che questo non sia strano per due metodi diversi, ma entrambi plausibili, per ottenere risultati più o meno simili. Considererei il principio di probabilità non "meno violato" quando le differenze sono solo piccole.

Ecco un esempio adattato dalla teoria della decisione statistica e dall'analisi bayesiana di James O. Berger (Seconda edizione pagina 29).

Supponi che due specie di vespe possano essere distinte dal numero di tacche sulle ali (chiama questa ) e dal numero di anelli neri attorno all'addome (chiama questa ). La distribuzione dei personaggi nelle due specie (etichettati e ) è la seguente:$x$$y$$H_0$$H_1$

Supponiamo di trovare un esemplare con 1 tacca sulle ali e 1 anello attorno all'addome. Il peso delle prove se 100 volte più grande a favore di contro per entrambi i personaggi.$H_1$$H_0$

Ora, se qualcuno volesse impostare un test per al livello del 5%, la regola di decisione sarebbe per il primo personaggio "accetta se sull'ala c'è 1 tacca, altrimenti respingilo", e per il secondo carattere "accetta se ci sono 3 anelli attorno all'addome, altrimenti rifiutalo ”. Ci sono molte altre possibilità, ma queste sono le prove più potenti a questo livello. Tuttavia, portano a conclusioni diverse per entrambi i personaggi.$H_0$$H_0$$H_0$

Nota : si potrebbe ovviamente impostare un test con la regola "accettare se ci sono 1 o 3 anelli attorno all'addome, altrimenti rifiutarlo". La domanda è se preferiamo un test al 5% con rischio di tipo II 0 o un test al 4,9% con rischio di tipo II 0,00001. La differenza è così piccola che probabilmente non ci importerebbe, ma a quanto ho capito, questo è il nocciolo dell'argomento per il principio di verosimiglianza: non è una buona idea far dipendere il risultato da qualcosa che sembra irrilevante.$H_0$

Le funzioni di probabilità sono proporzionali, eppure il valore p di è 0,95, e quello di è 0,001 (supponendo che rifiutiamo con eventi nella forma ). Dalla struttura della tabella è ovvio che avrei potuto scegliere qualsiasi numero inferiore a 0,001. Inoltre, il rischio di tipo II del rifiuto è 0, quindi sembra che qui non ci sia nulla di "sbagliato".$x = 1$$y = 1$$H_0$$y \leq \alpha$

Tuttavia, ammetto che questo esempio è in qualche modo inventato e non del tutto onesto perché gioca con la difficoltà di organizzare i test con dati discreti. Si potrebbero trovare esempi equivalenti con dati continui, ma sarebbero ancora più elaborati. Concordo con il PO che il principio di probabilità non ha quasi alcun valore pratico; Lo interpreto come un principio per garantire una certa coerenza all'interno della teoria.