Il Paradox di Simpson copre tutte le istanze di inversione da una variabile nascosta?

Quella che segue è una domanda sulle molte visualizzazioni offerte come "prova per immagine" dell'esistenza del paradosso di Simpson, e forse una domanda sulla terminologia.

Il paradosso di Simpson è un fenomeno abbastanza semplice da descrivere e fornire esempi numerici (la ragione per cui ciò può accadere è profonda e interessante). Il paradosso è che esistono tabelle di contingenza 2x2x2 (Agresti, Analisi dei dati categorici) in cui l'associazione marginale ha una direzione diversa da ogni associazione condizionale.

Cioè, il confronto dei rapporti in due sottopopolazioni può andare entrambi in una direzione ma il confronto nella popolazione combinata va nell'altra direzione. In simboli:

Esistono tali che a + $a,b,c,d,e,f,g,h$

ma e

Questo è accuratamente rappresentato nella seguente visualizzazione (da Wikipedia ):

Una frazione è semplicemente la pendenza dei vettori corrispondenti ed è facile vedere nell'esempio che i vettori B più corti hanno una pendenza maggiore rispetto ai vettori L corrispondenti, ma il vettore B combinato ha una pendenza più piccola del vettore L combinato.

Esiste una visualizzazione molto comune in molte forme, una in particolare all'inizio di quel riferimento di Wikipedia su Simpson:

Questo è un ottimo esempio di confusione, come una variabile nascosta (che separa due sottopopolazioni) può mostrare uno schema diverso.

Tuttavia, matematicamente, tale immagine non corrisponde in alcun modo a una visualizzazione delle tabelle di contingenza che sono alla base del fenomeno noto come il paradosso di Simpson . Innanzitutto, le linee di regressione sono su dati di set di punti con valori reali, non contano i dati da una tabella di contingenza.

Inoltre, è possibile creare set di dati con una relazione arbitraria delle pendenze nelle linee di regressione, ma nelle tabelle di contingenza, esiste una limitazione nella differenza tra le pendenze. Cioè, la linea di regressione di una popolazione può essere ortogonale a tutte le regressioni delle sottopopolazioni date. Ma nel Paradox di Simpson i rapporti delle sottopopolazioni, sebbene non una pendenza di regressione, non possono allontanarsi troppo dalla popolazione amalgamata, anche se nella direzione opposta (di nuovo, vedi l'immagine di confronto del rapporto da Wikipedia).

Per me, è abbastanza per essere colto di sorpresa ogni volta che vedo quest'ultima immagine come una visualizzazione del paradosso di Simpson. Ma poiché vedo gli esempi (quello che chiamo sbagliato) ovunque, sono curioso di sapere:

• Mi sto perdendo una sottile trasformazione dagli esempi originali Simpson / Yule delle tabelle di contingenza in valori reali che giustificano la visualizzazione della linea di regressione?
• Sicuramente Simpson è un caso particolare di errore confondente. Il termine 'Paradosso di Simpson' ora è stato identificato con un errore confondente, in modo che qualunque sia la matematica, qualsiasi cambiamento di direzione attraverso una variabile nascosta può essere chiamato Paradosso di Simpson?

Addendum: ecco un esempio di generalizzazione in una tabella 2xmxn (o 2 per m in continuo):

Se combinato con il tipo di tiro, sembra che un giocatore faccia più tiri quando i difensori sono più vicini. Raggruppati per tipo di tiro (distanza dal canestro in realtà), si verifica la situazione più intuitivamente attesa, che più colpi vengono fatti più i difensori in trasferta.

Questa immagine è quella che considero una generalizzazione di Simpson in una situazione più continua (distanza dei difensori). Ma non vedo ancora come l'esempio della linea di regressione sia un esempio di Simpson.

Il paradosso è che esistono tabelle di contingenza 2x2x2 (Agresti, Analisi dei dati categorici) in cui l'associazione marginale ha una direzione diversa rispetto a ciascuna associazione condizionale [...] Mi manca una trasformazione sottile dagli esempi originali Simpson / Yule di tabelle di contingenza in valori reali che giustificano la visualizzazione della linea di regressione?

Il problema principale è che stai equiparando un modo semplice per mostrare il paradosso come il paradosso stesso. Il semplice esempio della tabella di contingenza non è di per sé il paradosso. Il paradosso di Simpson riguarda intuizioni causali contrastanti quando si confrontano associazioni marginali e condizionali, molto spesso a causa di inversioni di segni (o attenuazioni estreme come l'indipendenza, come nell'esempio originale dato dallo stesso Simpson , in cui non c'è un'inversione di segni). Il paradosso sorge quando si interpretano causalmente entrambe le stime, il che potrebbe portare a conclusioni diverse --- il trattamento aiuta o danneggia il paziente? E quale stima dovresti usare?

$\frac{\partial E(Y|X)}{\partial X} > 0$$\frac{\partial E(Y|X, C = c)}{\partial X} < 0, \forall c$

Sicuramente Simpson è un caso particolare di errore confondente.

Questo non è corretto! Il paradosso di Simpson non è un caso particolare di errore confondente - se fosse solo quello, allora non ci sarebbe alcun paradosso. Dopotutto, se sei sicuro che qualche relazione sia confusa, non saresti sorpreso di vedere inversioni di segni o attenuazioni nelle tabelle di contingenza o coefficienti di regressione --- forse te lo aspetteresti.

Quindi, mentre il paradosso di Simpson si riferisce a un'inversione (o estrema attenuazione) di "effetti" quando si confrontano associazioni marginali e condizionali, ciò potrebbe non essere dovuto al confondimento e, a priori, non si può sapere se la tabella marginale o condizionale è la "corretta" "uno da consultare per rispondere alla tua domanda causale. Per fare ciò, è necessario conoscere meglio la struttura causale del problema.

Considera questi esempi forniti in Pearl :

$X$$Y$$Z$$Z$$Z$$Z$$Z$

La spiegazione di Pearl del perché questo è stato considerato un "paradosso" e del motivo per cui confonde ancora le persone è molto plausibile. Prendiamo ad esempio il semplice caso raffigurato in (a): gli effetti causali non possono semplicemente ribaltarsi in quel modo. Quindi, se assumiamo erroneamente che entrambe le stime siano causali (marginale e condizionale), saremmo sorpresi nel vedere accadere una cosa del genere --- e gli umani sembrano essere collegati per vedere la causalità nella maggior parte delle associazioni.

Quindi torniamo alla domanda principale (titolo):

Il Paradox di Simpson copre tutte le istanze di inversione da una variabile nascosta?

In un certo senso, questa è l'attuale definizione del paradosso di Simpson. Ma ovviamente la variabile di condizionamento non è nascosta, deve essere osservata altrimenti non vedresti il ​​paradosso accadere. La maggior parte della parte sconcertante del paradosso deriva da considerazioni causali e questa variabile "nascosta" non è necessariamente un fattore di confusione.

Tabelle delle contingenze e regressione

$y$$x$$z$

$y$$x$

$z$$z=1$

$z =0$

$\left(\frac{cov(y,x)}{var(x)}\right)$$\left(\frac{cov(y,x|z)}{var(x|z)}\right)$$\left(\frac{cov(y,x)}{var(x)}\right)$

Mi sto perdendo una sottile trasformazione dagli esempi originali Simpson / Yule delle tabelle di contingenza in valori reali che giustificano la visualizzazione della linea di regressione?

Sì. Una rappresentazione simile di analisi categoriche è possibile visualizzando le probabilità del registro di risposta sull'asse Y. Il paradosso di Simpson appare più o meno allo stesso modo con una linea "grezza" che corre contro le tendenze specifiche dello strato ponderate in distanza in base alle probabilità di log del referente dello strato del risultato.

Ecco un esempio con i dati di ammissione di Berkeley

Qui il genere è un codice maschio / femmina, sull'asse X c'è il registro delle ammissioni grezze per maschio contro femmina, la linea nera tratteggiata pesante mostra la preferenza di genere: la pendenza positiva suggerisce una propensione verso le ammissioni maschili. I colori rappresentano l'ammissione a dipartimenti specifici. In tutti i casi tranne due, l'inclinazione della linea delle preferenze di genere specifica per reparto è negativa. Se questi risultati sono mediati insieme in un modello logistico che non tiene conto dell'interazione, l'effetto complessivo è un'inversione che favorisce le ammissioni femminili. Si applicavano a reparti più difficili più frequentemente dei maschi.

Sicuramente Simpson è un caso particolare di errore confondente. Il termine 'Paradosso di Simpson' ora è stato identificato con un errore confondente, in modo che qualunque sia la matematica, qualsiasi cambiamento di direzione attraverso una variabile nascosta può essere chiamato Paradosso di Simpson?

In breve, no. Il paradosso di Simpson è semplicemente il "cosa" mentre il confondimento è il "perché". La discussione dominante si è concentrata su dove sono d'accordo. La confusione può avere un effetto minimo o trascurabile sulle stime, e in alternativa il paradosso di Simpson, sebbene drammatico, può essere causato da non confondenti. Come nota, i termini "nascosto" o "in agguato" sono imprecisi. Dal punto di vista dell'epidemiologo, un attento controllo e la progettazione dello studio dovrebbero consentire la misurazione o il controllo di possibili contributori a distorsioni di confusione. Non devono essere "nascosti" per essere un problema.

Ci sono momenti in cui le stime puntuali possono variare drasticamente, fino al punto di inversione, che non risulta da confusione. Collezionisti e mediatori sono anche effetti di cambiamento, possibilmente invertendoli. Il ragionamento causale avverte che per lo studio degli effetti, l'effetto principale dovrebbe essere studiato isolatamente piuttosto che adattarsi a questi poiché la stima stratificata è errata. (È come dedurre, erroneamente, che vedere il medico ti fa star male o che le pistole uccidono le persone, quindi le persone non uccidono le persone).