I ricercatori precedenti non hanno rilevato la mano calda semplicemente a causa di un errore statistico?

Molti fan / giocatori di pallacanestro credono che dopo aver effettuato diversi tiri di fila, il colpo successivo abbia maggiori probabilità di entrare. Questa è a volte chiamata la mano calda.

A partire (penso) con Gilovich, Mallone e Tversky (1985) , è stato "dimostrato" che si trattava in realtà di un errore. Anche se sono stati effettuati diversi tiri di fila, il colpo successivo non ha più probabilità di entrare rispetto a quanto impone la percentuale media di tiro.

Miller e Sanjurjo (2015) sostengono che la mano calda esiste davvero e che i precedenti ricercatori erano semplicemente caduti in preda a un errore statistico di base. Il loro argomento è qualcosa del genere:

Lancia una moneta quattro volte. Calcola la probabilità che H segua H. Per fornire alcuni esempi: HHTT avrebbe probabilità 1/2, HTHT avrebbe probabilità 0/2, TTHH avrebbe probabilità 0/1 1/1 e sia TTTT che TTTH sarebbero NA

La battuta finale di Miller e Sanjurjo è che il valore atteso di questa probabilità non è 0,5, ma ≈0,4. E l'errore commesso da precedenti ricercatori è stato presumere erroneamente che il valore atteso di questa probabilità sia 0,5. Quindi, se ad esempio questi precedenti ricercatori hanno condotto l'esperimento di lancio della moneta sopra e hanno trovato la probabilità media di essere 0,497, hanno erroneamente concluso che non vi era alcuna prova di una mano calda (non significativamente diversa da 0,5), quando in realtà c'era molto forte evidenza di una mano calda (significativamente diversa da 0.4).

La mia domanda è questa: Miller e Sanjurjo hanno ragione sul fatto che precedenti ricercatori non sono riusciti a rilevare la mano calda semplicemente a causa di questo errore? Ho sfogliato solo uno o due articoli su questo, quindi volevo ottenere una conferma da qualcuno qui che potesse conoscere meglio questa letteratura. Sembra un errore sorprendentemente sciocco persistere per tre o più decenni.

(Questa risposta è stata completamente riscritta per maggiore chiarezza e leggibilità a luglio 2017.)

Lancia una moneta 100 volte di fila.

Esamina il capovolgimento immediatamente dopo una serie di tre code. Let p ( H | 3 T ) sia la percentuale di lanci della moneta dopo ogni striscia di tre code di fila che sono teste. Analogamente, lasciate p ( H | 3 H ) sia la percentuale di lanci della moneta dopo ogni striscia di tre teste di fila che sono teste. ( Esempio in fondo a questa risposta. )$\hat{p}(H|3T)$$\hat{p}(H|3H)$

Let .$x:=\hat{p}(H|3H)-\hat{p}(H|3T)$

Se i gettoni sono iid, quindi "ovviamente", attraverso molte sequenze di 100 gettoni,

(1) Si prevede che accada spesso quanto x < 0 .$x>0$$x<0$

(2) .$E(X)=0$

Generiamo un milione di sequenze di 100 gettoni e otteniamo i seguenti due risultati:

(I) verifica approssimativamente tutte le volte che x < 0 .$x>0$$x<0$

(II) ( ˉ x è la media di x attraverso il milione di sequenze).$\bar{x} \approx 0$$\bar{x}$$x$

E così concludiamo che i lanci di monete sono davvero iid e non ci sono prove di una mano calda. Questo è ciò che ha fatto GVT (1985) (ma con colpi di pallacanestro al posto di lanci di monete). Ed è così che hanno concluso che la mano calda non esiste.

Punchline: Incredibilmente, (1) e (2) non sono corretti. Se i lanci di monete sono iid, allora dovrebbe essere quello

$x>0$$x<0$$x=0$$x$

$E(X) \approx -0.08$

L'intuizione (o contro-intuizione) in questione è simile a quella di molti altri famosi puzzle di probabilità: il problema di Monty Hall, il problema dei due ragazzi e il principio della scelta limitata (nel bridge del gioco di carte). Questa risposta è già abbastanza lunga e quindi salterò la spiegazione di questa intuizione.

E così i risultati (I) e (II) ottenuti da GVT (1985) sono in realtà prove evidenti a favore della mano calda. Questo è ciò che Miller e Sanjurjo (2015) hanno mostrato.

Ulteriore analisi della tabella 4 di GVT.

Molti (ad es. @Scerwin in basso) hanno - senza preoccuparsi di leggere GVT (1985) - espresso incredulità sul fatto che qualsiasi "statistico addestrato avrebbe mai" prendere una media delle medie in questo contesto.

Ma questo è esattamente ciò che GVT (1985) ha fatto nella sua Tabella 4. Vedi la sua Tabella 4, colonne 2-4 e 5-6, riga inferiore. Lo trovano in media tra i 26 giocatori,

$\hat{p}(H|1M) \approx 0.47$$\hat{p}(H|1H) \approx 0.48$

$\hat{p}(H|2M) \approx 0.47$$\hat{p}(H|2H) \approx 0.49$

$\hat{p}(H|3M) \approx 0.45$$\hat{p}(H|3H) \approx 0.49$

$k=1,2,3$$\hat{p}(H|kH)>\hat{p}(H|kM)$

Ma se invece di prendere la media delle medie (una mossa ritenuta incredibilmente stupida da alcuni), ripetiamo la loro analisi e aggregiamo tra i 26 giocatori (100 colpi per ciascuno, con alcune eccezioni), otteniamo la seguente tabella di medie ponderate.

Any                     1175/2515 = 0.4672

3 misses in a row       161/400 = 0.4025
3 hits in a row         179/313 = 0.5719

2 misses in a row       315/719 = 0.4381
2 hits in a row         316/581 = 0.5439        

1 miss in a row         592/1317 = 0.4495
1 hit in a row          581/1150 = 0.5052

Il tavolo dice, ad esempio, che un totale di 2.515 colpi sono stati effettuati dai 26 giocatori, di cui 1.175 o 46,72%.

E dei 400 casi in cui un giocatore ha perso 3 di fila, il 161 o il 40,25% è stato immediatamente seguito da un colpo. E dei 313 casi in cui un giocatore ha colpito 3 di fila, il 179 o il 57,19% sono stati immediatamente seguiti da un colpo.

Le medie ponderate sopra sembrano essere prove evidenti a favore della mano calda.

Tieni presente che l'esperimento di tiro è stato impostato in modo che ogni giocatore stesse sparando da dove era stato stabilito che potesse effettuare circa il 50% dei suoi colpi.

(Nota: abbastanza "Stranamente", nella Tabella 1 per un'analisi molto simile con le riprese in-game di Sixers, GVT presenta invece le medie ponderate. Quindi perché non hanno fatto lo stesso per la Tabella 4? certamente ha calcolato le medie ponderate per la Tabella 4 - i numeri che presento sopra, non mi è piaciuto quello che hanno visto e hanno scelto di sopprimerli. Questo tipo di comportamento è sfortunatamente alla pari del corso in ambito accademico.)

$HHHTTTHHHHH…H$$\hat{p}(H|3T)=1/1=1$

$\hat{p}(H|3H)=91/92 \approx 0.989$

La tabella 4 di PS GVT (1985) contiene numerosi errori. Ho individuato almeno due errori di arrotondamento. E anche per il giocatore 10, i valori tra parentesi nelle colonne 4 e 6 non si sommano a uno in meno di quello nella colonna 5 (contrariamente alla nota in fondo). Ho contattato Gilovich (Tversky è morto e Vallone non ne sono sicuro), ma sfortunatamente non ha più le sequenze originali di successi e mancanze. La tabella 4 è tutto ciò che abbiamo.

(Dichiarazione di non responsabilità: non conosco questa letteratura.) Mi sembra che Miller e Sanjurjo abbiano una valida critica di una particolare misura statistica. Non so se questo dovrebbe essere considerato come invalidare tutti i lavori precedenti sull'effetto mano calda, poiché si concentrano solo su questa particolare misura.

La misura è

$M$$\mathbb{E} M > 0$$\mathbb{E} M = 0$

$\mathbb{E} M < 0$$M$

$M$

Nessuno dei due documenti è sufficientemente chiaro per quanto riguarda le loro applicazioni di Statistica, quindi in questa risposta cercherò di chiarire.

Gilovich, Mallone e Tversky (1985) nel loro Abstract definiscono "l'effetto Hot-Hand" come segue:

" Sia i giocatori di basket che i fan tendono a credere che le possibilità di un giocatore di colpire un tiro siano maggiori dopo un colpo che dopo un mancato colpo precedente. "

$k$$H_k$$k$$M_k$

dove per compattezza, resta inteso che il tiro in questione è quello immediatamente successivo ai successi o ai colpi sequenziali. Queste sono probabilità condizionali teoriche (cioè costanti), non frequenze empiriche relative condizionali.

$\hat P(H \mid H_k) ,\; \hat P(H\mid M_k)$

$P(H)$

$T\equiv \hat P(H \mid H_k) - \hat P(H\mid M_k)$

$T$

$T$

Pertanto, se si verifica un problema con Gilovich et al. carta, non è la definizione della mano calda, non è la formulazione dell'ipotesi nulla, non è la selezione della statistica da utilizzare: è la validità dei valori critici utilizzati per eseguire i test ( e quindi dell'assunto distributivo implicito), se la distribuzione finita a piccoli campioni (sotto l'ipotesi nulla) è visibilmente non centrata su zero e anche asimmetrica.

In questi casi, ciò che si fa di solito è ottenere mediante simulazione valori critici speciali per eseguire il test (ricordare ad esempio i valori critici speciali per il test Dickey-Fuller per una radice unitaria). Non sono riuscito a vedere un simile approccio nel documento Miller-Sanjurjo, invece, eseguono un "aggiustamento del bias medio" e trovo che dopo questo aggiustamento la conclusione del test sia invertita. Non sono sicuro che questa sia la strada da percorrere.

$200$$n=100$$p=0.5$
$T_3 = \hat P(H \mid H_3) - \hat P(H\mid M_3)$$-0.0807$$-0.072$$62.5\%$dei valori essendo negativi. L'istogramma empirico è

A mio avviso, Miller e Sanjurjo hanno semplicemente calcolato erroneamente le frequenze relative nella Tabella 1. La loro tabella è mostrata sotto con due nuove colonne aggiunte, che contano il numero di sottosequenze HH e HT che si verificano all'interno di ciascuna sequenza di 4 gettoni. Per ottenere la probabilità condizionale desiderata p (H | H) è necessario sommare questi conteggi N (HH) e N (HT) e quindi dividere come mostrato di seguito. In questo modo si ottiene p (H | H) = 0,5, come previsto. Per qualche ragione, Miller e Sanjurjo hanno prima calcolato la frequenza relativa per ciascuna sequenza e quindi una media delle sequenze. È solo sbagliato.

Sequence     Subsequences       N(HH) N(HT)    p(H|H)
TTTT  ->  TT.. , .TT. , ..TT      0     0        -  
TTTH  ->  TT.. , .TT. , ..TH      0     0        -  
TTHT  ->  TT.. , .TH. , ..HT      0     1       0.0 
THTT  ->  TH.. , .HT. , ..TT      0     1       0.0 
HTTT  ->  HT.. , .TT. , ..TT      0     1       0.0 
TTHH  ->  TT.. , .TH. , ..HH      1     0       1.0 
THTH  ->  TH.. , .HT. , ..TH      0     1       0.0 
THHT  ->  TH.. , .HH. , ..HT      1     1       0.5 
HTTH  ->  HT.. , .TT. , ..TH      0     1       0.0 
HTHT  ->  HT.. , .TH. , ..HT      0     2       0.0 
HHTT  ->  HH.. , .HT. , ..TT      1     1       0.5 
THHH  ->  TH.. , .HH. , ..HH      2     0       1.0 
HTHH  ->  HT.. , .TH. , ..HH      1     1       0.5 
HHTH  ->  HH.. , .HT. , ..TH      1     1       0.5 
HHHT  ->  HH.. , .HH. , ..HT      2     1       0.66
HHHH  ->  HH.. , .HH. , ..HH      3     0       1.0 
                                 --    --       ----
                                 12    12       0.40
                            p(H|H)=N(HH)/N(H*)
                                  =12/(12+12)
                                  =0.5

In qualsiasi sequenza osservata, l'ultimo condizionale è "mancante", nel senso che in seguito non ha più valore. Gli autori si occupano di questo semplicemente ignorando i casi in cui ciò accade, dicendo che non sono definiti. Se la serie è breve, questa scelta avrà un evidente impatto sui calcoli. La figura 1 è una bella illustrazione di questa idea.

Ho intenzione di cambiare un commento che ho fatto sopra per una risposta, e rivendicare la risposta alla domanda originale è che i documenti originali sono corretti. Gli autori dell'articolo del 2015 lanciano sequenze che dovrebbero essere logicamente incluse nella loro analisi, come descrivo nel commento, e quindi introducono un pregiudizio a sostegno delle loro affermazioni. Il mondo funziona come dovrebbe.

Addendum in risposta al commento: esaminiamo la tabella 1 nel documento. Vediamo che stiamo lanciando 4 valori dall'ultima colonna, quindi per ottenere la differenza prevista abbiamo solo una media di 12 delle 16 sequenze. Se consideriamo queste probabilità come frequenze e diciamo, per la prima riga TTTT, qual è la frequenza con cui una testa segue una testa, allora logicamente succede sempre e dovremmo mettere un 1 nella p (H, H ), non un trattino. Lo facciamo per le altre tre sequenze che abbiamo buttato fuori e concludiamo che il valore atteso della differenza è 0, non -.33. Non possiamo semplicemente lanciare dati del genere, quando esiste una chiara interpretazione logica dei dati.

Nota che per far svanire la deriva, dobbiamo calcolare correttamente le probabilità, cosa che non è stata fatta nel documento. Le probabilità nella tabella sono dichiarate come "la probabilità che una testa segua una coda, in questa data sequenza di quattro tiri". E vediamo che per la riga TTTH, dovremmo credere che la probabilità sia 1/3. Non è. Ci sono quattro tiri nella fila, e uno dei quattro tiri in quella fila è l'evento "una testa segue una coda". La probabilità è 1/4. Quindi calcola correttamente le probabilità e usa tutte le righe e otterrai la risposta che è stata accettata per 30 anni.