Comprensione del paradosso di Simpson: l'esempio di Andrew Gelman con regressione delle entrate per sesso e altezza

Andrew Gelman in uno dei suoi recenti post sul blog dice:

1. Non credo siano necessari controfattuali o potenziali esiti per il paradosso di Simpson. Dico questo perché si può impostare il paradosso di Simpson con variabili che non possono essere manipolate o per le quali le manipolazioni non sono direttamente di interesse.

2. Il paradosso di Simpson fa parte di un problema più generale secondo cui la regressione cambia se si aggiungono più predittori, il capovolgimento del segno non è realmente necessario.

Ecco un esempio che uso nel mio insegnamento che illustra entrambi i punti:

Sono in grado di eseguire una regressione predicendo il reddito da sesso e altezza. Trovo che il rapporto sessuale sia di $ 10.000 (cioè, confrontando un uomo e una donna della stessa altezza, in media l'uomo farà $ 10.000 in più) e il coefficiente di altezza è di $ 500 (cioè, confrontando due uomini o due donne di diverse altezze, in media la persona più alta farà $ 500 in più per pollice di altezza).

Come posso interpretare questi coef? Sento che il coef dell'altezza è facile da interpretare (è facile immaginare di confrontare due persone dello stesso sesso con diverse altezze), infatti sembrerebbe in qualche modo “sbagliato” regredire in altezza senza controllare il sesso, tanto quanto il grezzo la differenza tra persone alte e basse può essere “spiegata” essendo differenze tra uomini e donne. Ma il coef del sesso nel modello sopra sembra molto difficile da interpretare: perché confrontare un uomo e una donna che sono entrambi alti 66 pollici, per esempio? Sarebbe un paragone di un uomo basso con una donna alta. Tutto questo ragionamento sembra vagamente causale, ma non penso che abbia senso pensarci su potenziali risultati.

Ci ho riflettuto (e ho anche commentato il post) e penso che ci sia qualcosa che implora di essere compreso con maggiore chiarezza qui.

Fino alla parte sull'interpretazione del genere va bene. Ma non vedo quale sia il problema dietro il confronto tra un uomo basso e una donna alta. Ecco il mio punto: in effetti ha ancora più senso (dato l'assunto che gli uomini sono in media più alti). Non è possibile confrontare un "uomo basso" e una donna "bassa" esattamente per lo stesso motivo, che la differenza di reddito è spiegata in qualche parte dalla differenza di altezza. Lo stesso vale per uomini alti e donne alte e ancora di più per donne basse e uomini alti (che è ulteriormente fuori discussione, per così dire). Quindi, in pratica, l'effetto dell'altezza viene eliminato solo nel caso in cui si confrontino uomini bassi e donne alte (e questo aiuta a interpretare il coefficiente di genere). Non suona un campanello su simili concetti sottostanti dietro i popolari modelli di abbinamento?

L'idea alla base del paradosso di Simpson è che l'effetto della popolazione potrebbe essere diverso dagli effetti saggi del sottogruppo. Ciò è in qualche modo collegato al suo punto 2 e al fatto che riconosce che l'altezza non dovrebbe essere controllata da sola (ciò che diciamo ha omesso la distorsione variabile). Ma non potrei collegarlo alla controversia sul coefficiente di genere.

Forse potresti essere in grado di esprimerlo più chiaramente? O commentare la mia comprensione?

Non sono del tutto sicuro della tua domanda, ma posso commentare le sue affermazioni e la tua confusione nel modello di esempio.

Andrew non è del tutto chiaro se l'interesse scientifico risieda nell'associazione reddito-reddito aggiustata in altezza o nell'associazione reddito-reddito aggiustata per sesso . In un modello causale il sesso provoca altezza ma l'altezza non provoca sesso. Quindi, se vogliamo l'impatto del sesso, la regolazione dell'altezza introdurrebbe un pregiudizio del mediatore (forse anche un pregiudizio del collettore, poiché i ricchi sono più alti!). Lo trovo confuso e divertente quando vedo la ricerca applicata che interpreta l' altro"covariate" (confonditori e variabili di precisione) che sono inclusi in un modello. Sono senza senso, ma forniscono semplicemente un'adeguata stratificazione per effettuare il confronto necessario. La regolazione dell'altezza, se si è interessati all'inferenza sulle differenze di reddito basate sul sesso, è la cosa sbagliata da fare.

Concordo che i controfattuali non sono necessari per spiegare il paradosso di Simpson. Possono essere semplicemente un tratto intrinseco ai dati. Penso che i RR sia grezzi che adeguati siano in qualche modo corretti senza essere causali. È più problematico, ovviamente, quando l' obiettivo è l'analisi causale e l'eccessivo adattamento rivela problemi di non collassabilità (che gonfia un OR) e dimensioni del campione insufficienti.

Come promemoria per i lettori: il paradosso di Simpson è un fenomeno molto specifico che si riferisce a un'istanza in cui un'associazione cambia direzione dopo aver controllato una variabile confondente. I dati sulle ammissioni di Berkeley sono stati l'esempio motivante. Lì, i RR grezzi mostravano che le donne avevano meno probabilità di essere accettate da Berkeley. Tuttavia, una volta stratificati per dipartimenti , i RR hanno mostrato che le donne avevano maggiori probabilità di essere accettate in ogni singolo dipartimento . Hanno semplicemente avuto maggiori probabilità di rivolgersi ai dipartimenti difficili che hanno respinto molte persone.

Ora, nella teoria dell'inferenza causale, saremmo confusi nel concepire che il dipartimento da applicare alle cause del genere. Il genere è intrinseco giusto? Bene, sì e no. Miettenen sostiene un approccio "base di studio" a tali problemi: chi è la popolazione? Non sono tutti gli studenti idonei, sono quelli che si applicano specificamente a Berkeley. I dipartimenti più competitivi hanno attratto le donne ad applicare a Berkeley quando non avrebbero fatto domanda diversamente. Espandersi: una donna profondamente intelligente vuole entrare nel miglior programma di ingegneria, diciamo. Se Berkeley non avesse avuto un grande programma di ingegneria, non si sarebbe comunque candidata a Berkeley, si sarebbe candidata a MIT o CalPoly. Quindi alla luce di ciò, la popolazione "che applica gli studenti", il dipartimento causa il genere ed è fonte di confusione. (avvertenza: sono uno studente universitario di prima generazione, quindi non so molto su quali programmi sono famosi per cosa).

Quindi, come possiamo sintetizzare questi dati? È vero che Berkeley ha più probabilità di ammettere un uomo che ha fatto domanda che una donna. Ed è vero che i dipartimenti di Berkeley avevano più probabilità di ammettere le donne che di ammettere gli uomini. I RR grezzi e stratificati sono misure sensate anche se non causali. Ciò sottolinea quanto sia importante essere precisi con la nostra formulazione di statistici (l'umile autore non si presume che sia preciso in remoto).

La confusione è un fenomeno distinto dalla non collassabilità, un'altra forma di distorsione da variabile omessa ma che è nota per produrre effetti più lievi sulle stime. A differenza della regressione logistica, la non collassabilità non causa distorsioni nella regressione lineare e la considerazione di un continuo nell'esempio di Gelman avrebbe dovuto essere descritta in modo più approfondito.

L'interpretazione di Andrew del coefficiente sessuale nel suo modello di reddito aggiustato per sesso / altezza rivela la natura delle ipotesi del modello: l'assunzione di linearità. In effetti nel modello lineare, tali confronti tra uomini e donne sono abilitati perché per una donna specifica possiamo prevedereche altezza simile avrebbe potuto guadagnare un maschio, anche se non fosse osservato. Questo vale anche se si consente la modifica dell'effetto, in modo che l'inclinazione della tendenza nelle donne sia diversa da quella degli uomini. D'altra parte, non penso che sia così folle concepire uomini e donne della stessa altezza, 66 pollici sarebbero davvero una donna alta e un uomo basso. Mi sembra una lieve proiezione, piuttosto che una estrapolazione grossolana. Inoltre, poiché le ipotesi del modello possono essere espresse chiaramente, aiuta i lettori a capire che l'associazione altezza-reddito stratificata per sesso porta informazioni che vengono prese in prestito o mediate tracampioni di maschi e femmine. Se tale associazione fosse oggetto di inferenza, lo statistico serio considererebbe ovviamente la possibilità di modificare l'effetto.

"Perché confrontare un uomo e una donna che sono entrambi alti 66 pollici, per esempio? Sarebbe un paragone di un uomo basso con una donna alta "

Il modello presuppone che il reddito dipenda dal genere e dall'altezza. Tuttavia, il modo in cui l'altezza genera un reddito maggiore potrebbe non essere lo stesso per uomini e donne. Le donne possono essere considerate alte "abbastanza" ad un'altezza per la quale un uomo può ancora essere considerato basso.

Semplificare il modello nel modo seguente può essere utile.

Supponi di voler regredire la probabilità di essere assunto come commesso in negozi di grandi rivenditori di abbigliamento e considera la seguente strategia di identificazione.

Si osserva che i datori di lavoro hanno maggiori probabilità di assumere lavoratori che soddisfano una certa altezza minima, in cui il "minimo" è relativo al genere.

Invece di misurare l'altezza in cm, supponiamo che esistano due valori di soglia che definiscono a quale altezza rispettivamente un uomo e una donna sono "alti":> = 180 cm per i maschi e> = 170 cm per le femmine.

Supponendo che le soglie esistano nella realtà (cioè i datori di lavoro fanno una differenza marcata tra l'essere donne e 169 cm o 171 cm di altezza) e che sono quelle giuste, puoi costruire un manichino che definisce maschi e femmine alti / corti. Uomini e donne di diversa altezza possono ancora rientrare nella stessa categoria del tuo manichino e allo stesso tempo la tua misura è coerente con le reali dinamiche di quel particolare mercato del lavoro.

Diresti (in parole più semplici) che la tipica lotta di genere secondo cui gli uomini hanno più possibilità delle donne in quanto il loro reddito è più alto del p% sarebbe paradossalmente parziale?

Forse è un punto. Tendiamo a vedere le cose come sembrano e non ad analizzare le implicazioni sottostanti.

per andare oltre il paradosso di Simpson dovremmo rispondere alla domanda "quanti più soldi fanno fare a una donna lo stesso lavoro imparziale rispetto a un uomo?" allora qualcuno potrebbe dire che devono essere in gravidanza e crescere i figli più delle loro controparti, il che è vero, ma il problema importante è che si sospira solo per dire "le donne per il fatto stesso di essere donne hanno meno opportunità" e un profondo l'analisi con le statistiche condizionali ci porterebbe a vedere che in sostanza ci sono pari opportunità e sono altri fattori non correlati al sesso ciò che fa sembrare le statistiche sono le discriminazioni legate alle questioni sessuali.