Progettare un test per un sensitivo che dice di poter influenzare i tiri di dado

Diciamo che ho un amico (chiamiamolo "George") che dice che può controllare il tiro di dadi usando la sua mente (cioè, rendere i dadi più probabilità di cadere su un numero specifico a cui sta pensando).

Come posso progettare un test scientificamente rigoroso per determinare se può effettivamente farlo? (Non credo davvero che possa, ovviamente, ma voglio che accetti i dettagli di un test, in stile Randi incredibile, prima che inizi il test.) Voglio ridurre le (molto probabilmente) scuse post test che verrà fuori.

Ecco quello che ho finora:

Determinare la tecnica fisica del lancio dei dadi (quali dadi, tazza dell'agitatore, superficie di atterraggio, ecc.)
Definire una "sessione di prova", composta da X tiri di dadi. Questo deve essere abbastanza piccolo da fare in una seduta, ma abbastanza grande da determinare (dopo l'analisi) entro il 95% -99% di fiducia se i dadi sono caduti equi o hanno favorito una parte
Esegui sessioni Y sui dadi scelti (senza alcuna influenza da parte di George), come "controllo" per assicurarti che i dadi mostrino risultati "equi" da soli
Esegui sessioni Z con George. Prima di ognuno, tira un dado separato per determinare su quale numero George "si concentrerà" durante l'intera sessione.
Compilare e analizzare i risultati.
George trova delle scuse per la sua triste performance.

Quindi le mie domande per te:

Qualche difetto o problema con la mia metodologia generale? Qualcosa a cui George probabilmente obietterebbe?
Dovrei usare un D6? O una D20? Importa? Un dado con più facce richiederebbe più tiri per produrre risultati altrettanto sicuri? O il contrario? Preferirei meno rotoli che più, a causa di considerazioni pratiche :)
Quali sono i valori ragionevoli per X , Y e Z ? Non sono del tutto indipendenti; se il mio valore scelto di X consente solo il 95% di confidenza per una singola sessione, allora 1 su 20 sessioni potrebbe "fallire", anche senza l'influenza di George
Come definisco "successo" o "fallimento" per una singola sessione? (Ho trovato questa domanda che passa attraverso i dettagli di un test chi-quadrato, quindi penso che sia la mia metodologia di valutazione, ma quali sono le soglie di confidenza ragionevoli?)
Come definire "successo" o "fallimento" per il test generale? George potrebbe "vincere" una singola sessione per puro caso, ma quante delle sessioni Z dovrebbe passare per superare l'intero test?

Probabilmente analizzerò questi risultati in un foglio di calcolo di MS Excel, se questo fa la differenza.

probability experiment-design dice

— BradC
fonte

Se sta solo manipolando i dadi con la mente, allora qualcuno dovrebbe lanciarli. Penso che cose come D6 o D20 dovrebbero essere lasciate a George. Che tipo di manipolazione George ha detto di poter fare? Ha detto che poteva fare un numero particolare che desiderava trovare? In tal caso, i successi sarebbero esempi di quel numero mentre i fallimenti sarebbero qualcos'altro.

— Giovanni,

@John - Ha solo affermato che può far risalire quel numero più spesso di quanto non farebbe altrimenti, non che aumenterà sempre quel numero.

— BradC,

(Originariamente chiesto una versione di questa domanda a math.stackexchange.com/q/57624/14626 )

— BradC

le tue risposte in matematica di Michael Hardy e TonyK sono entrambe abbastanza buone.

— Giovanni,

Non sarei soddisfatto con un livello di confidenza minimo del 95% o addirittura del 99%; richieste straordinarie tendono a richiedere prove straordinarie. O per dirla in un contesto più bayesiano, la mia precedente convinzione che avesse una tale abilità è così bassa che avrei bisogno di una quantità ridicola di prove per alterare significativamente la mia convinzione posteriore.

— Michael McGowan,

Risposte:

Consiglierei di analizzarlo nel modo seguente:

Conta ogni ruolo in cui George predice con successo il risultato come un successo e ogni altro come un fallimento. Quindi, puoi facilmente calcolare una probabilità di successo per George e un intervallo di confidenza del 95% o del 99%. Afferma di poter predire il risultato "anche due volte" oltre a tirare casualmente i dadi? Poi:

H0: p> = 1/3

H1: p <1/3

(supponendo un dado a 6 facce).

Da lì, è abbastanza semplice fare il test di ipotesi. Inoltre, puoi calcolare la potenza a priori abbastanza facilmente (anche in qualcosa come Excel). Scegli un numero di lanci (come 10), quindi crea una tabella con i possibili successi come righe (0-10). Quindi, per ogni successo, calcola la probabilità che avrà così tanti successi (se dovesse solo indovinare, che è quello che supponiamo stia facendo). Inoltre, per ciascun valore, determinare se ciò comporterebbe un rifiuto o l'accettazione del null. Quindi, per trovare il potere, puoi semplicemente sommare tutte le probabilità in cui il null verrebbe rifiutato.

— random_forest_fanatic
fonte

Un D20 richiederà più tiri per lo stesso livello di significatività perché George abbia successo se è necessario eseguire il test chi-quadro. Non penso che tu debba eseguire il test completo di Chis Square. Devi solo controllare se il dado lancia il numero "scelto" più spesso del caso. Vorrei solo usare il cdf del binomio per calcolare il valore p di rotolare il numero scelto più spesso del caso con come parametro binomiale per D6. Penso che sia facile determinare il numero base al valore p necessario per il successo di George. Non sono nemmeno sicuro che tu abbia bisogno di sessioni Z. Perché non eseguire solo una sessione per ogni lato del dado. La randomizzazione della parte prescelta conta anche per le ipotesi a cui sei interessato? $\theta=\frac{1}{6}$ $X$

— elevata larghezza di banda
fonte

Randomizzare la parte prescelta probabilmente non importa, ero solo preoccupato per A) Tenere conto di ogni possibile vero pregiudizio nei dadi e B) Assicurarsi che ogni singola sessione anomala (quella 1 su 20 a causa della vera casualità di cui ho parlato) non è preso come una conferma della sua abilità psichica. Probabilmente 6 sessioni, una per ogni numero, sarebbero sufficienti, a condizione che la mia X (e il livello di confidenza) sia abbastanza alto.

— BradC,