Regressione alla media in "Pensare, veloce e lento"

In Thinking, Fast and Slow , Daniel Kahneman pone la seguente domanda ipotetica:

(P. 186) Julie è attualmente senior in un'università statale. Lesse fluentemente quando aveva quattro anni. Qual è la sua media dei voti (GPA)?

La sua intenzione è di illustrare come spesso non riusciamo a rendere conto della regressione alla media quando facciamo previsioni su determinate statistiche. Nella discussione successiva, consiglia:

(P. 190) Ricordiamo che la correlazione tra due misure - nella fattispecie lettura dell'età e GPA - è uguale alla proporzione di fattori condivisi tra i loro determinanti. Qual è la tua ipotesi migliore su quella proporzione? La mia ipotesi più ottimista è di circa il 30%. Supponendo questa stima, abbiamo tutto ciò di cui abbiamo bisogno per produrre una previsione imparziale. Ecco le indicazioni su come arrivarci in quattro semplici passaggi:

Inizia con una stima del GPA medio.

Determina il GPA che corrisponde alla tua impressione delle prove.

Stimare la correlazione tra lettura precocità e GPA.

Se la correlazione è .30, sposta il 30% della distanza dalla media al GPA corrispondente.

La mia interpretazione del suo consiglio è la seguente:

Usa "Ha letto fluentemente quando aveva quattro anni" per stabilire un punteggio standard per la precocità di lettura di Julie.
Determinare un GPA con un punteggio standard corrispondente. (Il GPA razionale da prevedere corrisponderebbe a questo punteggio standard se la correlazione tra GPA e la precocità di lettura fosse perfetta.)
Stimare quale percentuale di variazioni in GPA può essere spiegata da variazioni nella precocità di lettura. (Suppongo che si riferisca al coefficiente di determinazione con "correlazione" in questo contesto?)
Poiché solo il 30% del punteggio standard della precocità di lettura di Julie può essere spiegato da fattori che possono anche spiegare il punteggio standard del suo GPA, siamo solo giustificati nel prevedere che il punteggio standard del GPA di Julie sarà il 30% di quello che sarebbe in caso di perfetta correlazione.

La mia interpretazione della procedura di Kahneman è corretta? In tal caso, esiste una giustificazione matematica più formale della sua procedura, in particolare il passaggio 4? In generale, qual è la relazione tra la correlazione tra due variabili e le variazioni / differenze nei loro punteggi standard?

standard-deviation regression-coefficients regression-to-the-mean

— razioni
fonte

Risposte:

La mia interpretazione della procedura di Kahneman è corretta?

Questo è un po 'difficile da dire, perché il passaggio n. 2 di Kahneman non è formulato in modo molto preciso: "Determina il GPA che corrisponde alla tua impressione delle prove" - che cosa dovrebbe significare esattamente? Se le impressioni di qualcuno sono ben calibrate, non sarà necessario correggere la media. Se le impressioni di qualcuno sono notevolmente off, allora dovrebbero piuttosto correggere ancora più forte.

Quindi sono d'accordo con @AndyW che il consiglio di Kahneman è solo una regola empirica.

$z$ $z$

[...] esiste una giustificazione matematica più formale della sua procedura, in particolare il passaggio 4? In generale, qual è la relazione tra la correlazione tra due variabili e le variazioni / differenze nei loro punteggi standard?

$y$ $x$ $z$ $\rho$

y = ρ X,

$y=\rho x,$

$x$ $y$ $\rho$

Questo è esattamente ciò che viene chiamato "regressione alla media". Puoi vedere alcune formule e derivazioni nella discussione su Wikipedia .

— ameba dice Reinstate Monica
fonte

L'ordine dei tuoi numeri non corrisponde alla citazione di Kahneman. Per questo motivo sembra che potresti perdere il punto generale.

Il punto uno di Kahneman è il più importante. Significa letteralmente stimare il GPA medio - per tutti. Il punto dietro questo consiglio è che è la tua ancora. Qualsiasi previsione fornita deve essere in riferimento alle modifiche intorno a questo punto di ancoraggio. Non sono sicuro di vedere questo passaggio in nessuno dei tuoi punti!

Kahneman usa un acronimo, WYSIATI, quello che vedi è tutto quello che c'è. Questa è la tendenza umana a sopravvalutare l'importanza delle informazioni attualmente disponibili. Per molte persone, le informazioni sulla capacità di lettura farebbero pensare alle persone che Julie sia intelligente, e quindi le persone indovinerebbero il GPA di una persona intelligente.

Ma il comportamento di un bambino a quattro anni contiene pochissime informazioni relative al comportamento degli adulti. Probabilmente stai meglio ignorandolo nel fare previsioni. Dovrebbe solo farti oscillare dalla tua ancora di una piccola quantità. Inoltre, la prima ipotesi della gente di un GPA di persone intelligenti può essere molto imprecisa. A causa della selezione, la maggior parte degli anziani al college ha un'intelligenza superiore alla media.

In realtà ci sono altre informazioni nascoste nella domanda oltre all'abilità di lettura di Julie a quattro anni.

È probabile che Julie sia un nome femminile
Frequenta un'università statale
Lei è una senior

Sospetto che tutte e tre queste caratteristiche aumentino leggermente il GPA medio rispetto alla popolazione studentesca complessiva. Per esempio, scommetto che gli anziani probabilmente hanno un GPA più alto di quello di Sophmores perché perché gli studenti con un GPA molto cattivo abbandonano.

Quindi la procedura di Kahneman (come ipotetica) sarebbe simile a questa.

Il GPA medio per una donna anziana in un'università statale è 3,1.
Immagino che in base all'abilità di lettura avanzata di Julie a 4 il suo GPA sia di 3,8
Immagino che la capacità di lettura a 4 anni abbia una correlazione di 0,3 con GPA
Quindi il 30% della distanza tra 3.1 e 3.8 è 3.3 (cioè 3.1 + (3.8-3.1)*0.3)

Quindi in questo ipotetico l'ipotesi finale per GPA di Julie è 3.3.

La regressione alla media nell'approccio di Kahneman è che il passaggio 2 sarà probabilmente una sopravvalutazione lorda dell'importanza delle informazioni disponibili. Quindi una strategia migliore è quella di regredire la nostra previsione alla media complessiva. I passaggi 3 e 4 sono (ad-hoc) modi per stimare quanto regredire.

— Andy W.
fonte

Comprendo l'intuizione alla base della procedura, ma non la giustificazione matematica. La mia interpretazione è che il punto di stima del GPA medio è quello di consentire di stimare GPA specifici in termini di punteggi standard; altrimenti, non potrebbero essere significativamente paragonati alla lettura della precocità. (Cont.)

— Razioni

Kahneman afferma che la maggior parte delle persone indovina GPA = 3,7 o 3,8, che probabilmente corrisponde al punteggio standard che associano alla precocità di lettura di Julie, ma presume anche implicitamente che la correlazione tra le due variabili sia perfetta. Sono principalmente confuso sul fatto che il passaggio 4 sia una regola empirica basata sull'intuizione o una procedura reale e statisticamente valida (cioè, si possono trattare i punteggi standard in modo additivo e prenderne le proporzioni in base alla correlazione?). Se si tratta semplicemente di una regola empirica dei laici, esiste un metodo di approssimazione statisticamente più rigoroso?

— Razioni

Con "additivo", mi riferisco alla nostra ipotesi che (1) una parte del punteggio GPA standard di Julie sia spiegata da fattori che possono anche spiegare la sua precocità di lettura, che (2) la percentuale rimanente del suo GPA punteggio standard è spiegata da fattori unico nello spiegare GPA, che (3) questi contributi sommati equivalgono al punteggio standard finale GPA che prediamo per Julie e che (4) possiamo correggere la nostra previsione semplicemente prendendo una parte della nostra previsione distorta. È valido lavorare con proporzioni di deviazioni standard come questa - al contrario, diciamo, lavorare con le loro radici quadrate?

— Razioni

È una regola ad hoc. I passaggi due e tre non sono necessariamente logicamente coerenti tra loro. (Sono due modi diversi di dire la stessa informazione, uno è una dimensione dell'effetto e l'altro è una dimensione dell'effetto standardizzata).

— Andy W