Come risolvere il paradosso di Simpson?

Il paradosso di Simpson è un classico rompicapo discusso in corsi introduttivi di statistica in tutto il mondo. Tuttavia, il mio corso era contento di notare semplicemente che esisteva un problema e non forniva una soluzione. Vorrei sapere come risolvere il paradosso. Cioè, di fronte al paradosso di un Simpson, in cui due diverse scelte sembrano competere per essere la scelta migliore a seconda di come sono partizionati i dati, quale scelta si dovrebbe scegliere?

Per rendere concreto il problema, consideriamo il primo esempio fornito nel pertinente articolo di Wikipedia . Si basa su un vero studio su un trattamento per i calcoli renali.

Supponiamo che io sia un medico e un test rivela che un paziente ha calcoli renali. Utilizzando solo le informazioni fornite nella tabella, vorrei determinare se dovrei adottare il trattamento A o il trattamento B. Sembra che se conosco la dimensione della pietra, dovremmo preferire il trattamento A. Ma se non lo facciamo, allora dovremmo preferire il trattamento B.

Ma considera un altro modo plausibile per arrivare a una risposta. Se la pietra è grande, dovremmo scegliere A, e se è piccola, dovremmo scegliere di nuovo A. Quindi anche se non conosciamo la dimensione della pietra, con il metodo dei casi, vediamo che dovremmo preferire A. Ciò contraddice il nostro ragionamento precedente.

Quindi: un paziente entra nel mio ufficio. Un test rivela che hanno calcoli renali ma non mi dà informazioni sulla loro dimensione. Quale trattamento mi consiglia? Esiste una risoluzione accettata per questo problema?

Wikipedia suggerisce una risoluzione usando "reti bayesiane causali" e un test "back-door", ma non ho idea di cosa siano.

Nella tua domanda, affermi di non sapere quali siano le "reti bayesiane causali" e i "test backdoor".

Supponiamo di avere una rete bayesiana causale. Cioè, un grafico aciclico diretto i cui nodi rappresentano proposizioni e i cui bordi diretti rappresentano potenziali relazioni causali. Potresti avere molte di queste reti per ciascuna delle tue ipotesi. Ci sono tre modi per rendere un argomento convincente circa la forza o l'esistenza di un vantaggio .$A \stackrel?\rightarrow B$

Il modo più semplice è un intervento. Questo è ciò che le altre risposte suggeriscono quando affermano che la "randomizzazione corretta" risolverà il problema. È casuale forzare di avere valori diversi e si misura . Se riesci a farlo, hai finito, ma non puoi sempre farlo. Nel tuo esempio, potrebbe non essere etico offrire alle persone trattamenti inefficaci per malattie mortali, oppure possono avere qualche voce in capitolo nel loro trattamento, ad esempio, possono scegliere il meno duro (trattamento B) quando i loro calcoli renali sono piccoli e meno dolorosi.$A$$B$

Il secondo modo è il metodo della porta d'ingresso. Si vuole dimostrare che agisce su via , vale a dire, . Se si assume che è potenzialmente causato da ma non ha altre cause, e si può misurare che è correlato con e è correlato con , allora si può concludere prova deve fluire via . L'esempio originale: sta fumando, è il cancro,B C A → C → B C A C A B C C A B $A$$B$$C$$A\rightarrow C \rightarrow B$$C$$A$$C$$A$$B$$C$$C$$A$$B$$C$è l'accumulo di catrame. Il catrame può provenire solo dal fumo e si correla con il fumo e il cancro. Pertanto, il fumo provoca il cancro attraverso il catrame (anche se potrebbero esserci altri percorsi causali che mitigano questo effetto).

Il terzo modo è il metodo backdoor. Si vuole dimostrare che e non sono correlati a causa di una "back door", ad esempio, causa comune, vale a dire, . Dal momento che avete assunto un modello causale, si deve semplicemente bisogno di bloccare l'tutti i percorsi (osservando variabili e di condizionamento su di loro) che la prova possa scorrere su da e giù per . È un po 'complicato bloccare questi percorsi, ma Pearl fornisce un chiaro algoritmo che ti consente di sapere quali variabili devi osservare per bloccare questi percorsi.B A ← D → B A $A$$B$$A \leftarrow D \rightarrow B$$A$$B$

gung ha ragione nel dire che con una buona randomizzazione, i confondenti non contano. Dal momento che stiamo assumendo che non sia consentito intervenire sulla causa ipotetica (trattamento), qualsiasi causa comune tra la causa ipotetica (trattamento) e l'effetto (sopravvivenza), come l'età o la dimensione del calcolo renale, sarà fonte di confusione. La soluzione è prendere le giuste misure per bloccare tutte le porte posteriori. Per ulteriori letture vedi:

Perla, Giudea. "Diagrammi causali per la ricerca empirica." Biometrika 82.4 (1995): 669-688.

Per applicare questo al tuo problema, prima disegniamo il grafico causale. (Trattamento-precedente) formato di pietra renale e tipo di trattamento sono entrambi cause di successo . può essere una causa di se altri medici stanno assegnando il trattamento in base alla dimensione del calcolo renale. Chiaramente non esistono altre relazioni causali tra , , e . viene dopo quindi non può essere la sua causa. Analogamente viene dopo e .Y Z X Y X Y Z Y X Z X $X$$Y$$Z$$X$$Y$$X$$Y$$Z$$Y$$X$$Z$$X$$Y$

Poiché è una causa comune, dovrebbe essere misurata. Spetta allo sperimentatore determinare l'universo di variabili e potenziali relazioni causali . Per ogni esperimento, lo sperimentatore misura le "variabili backdoor" necessarie e quindi calcola la distribuzione di probabilità marginale del successo del trattamento per ciascuna configurazione di variabili. Per un nuovo paziente, si misurano le variabili e si segue il trattamento indicato dalla distribuzione marginale. Se non puoi misurare tutto o non hai molti dati ma conosci qualcosa sull'architettura delle relazioni, puoi fare "propagazione delle credenze" (inferenza bayesiana) sulla rete.$X$

Ho una risposta precedente che discute qui il paradosso di Simpson: il paradosso di base di Simpson . Potrebbe aiutarti a leggerlo per capire meglio il fenomeno.

In breve, il paradosso di Simpson si verifica a causa di confusione. Nel tuo esempio, il trattamento è confuso* con il tipo di calcoli renali che ogni paziente aveva. Dalla tabella completa dei risultati sappiamo che il trattamento A è sempre migliore. Pertanto, un medico dovrebbe scegliere il trattamento A. L'unico motivo per cui il trattamento B ha un aspetto migliore nell'insieme è che è stato somministrato più spesso ai pazienti con condizioni meno gravi, mentre il trattamento A è stato somministrato a pazienti con condizioni più gravi. Tuttavia, il trattamento A ha funzionato meglio con entrambe le condizioni. Come medico, non ti interessa il fatto che in passato il trattamento peggiore è stato dato ai pazienti che avevano le condizioni minori, ti preoccupi solo del paziente prima di te e se vuoi che il paziente migliori, fornirai con il miglior trattamento disponibile.

* _{Si noti che il punto di eseguire esperimenti e randomizzare i trattamenti è creare una situazione in cui i trattamenti non vengono confusi. Se lo studio in questione fosse un esperimento, direi che il processo di randomizzazione non è riuscito a creare gruppi equi, anche se potrebbe essere stato uno studio osservazionale - non lo so.}

Questo simpatico articolo di Judea Pearl pubblicato nel 2013 affronta esattamente il problema di quale opzione scegliere di fronte al paradosso di Simpson:

Comprensione del paradosso di Simpson (PDF)

Vuoi la soluzione per un esempio o il paradosso in generale? Non ce n'è per quest'ultimo perché il paradosso può sorgere per più di un motivo e deve essere valutato caso per caso.

Il paradosso è principalmente problematico quando si riportano i dati di sintesi ed è fondamentale nella formazione delle persone su come analizzare e riportare i dati. Non vogliamo che i ricercatori riportino statistiche riassuntive che nascondano o offuscano i modelli nei dati o che gli analisti non riescano a riconoscere quale sia il vero modello nei dati. Nessuna soluzione è stata data perché non esiste una soluzione.

In questo caso particolare, il medico con il tavolo sceglieva sempre sempre A e ignorava la riga di riepilogo. Non fa differenza se conoscono le dimensioni della pietra o no. Se qualcuno che analizza i dati avesse riportato solo le righe di riepilogo presentate per A e B, ci sarebbe un problema perché i dati ricevuti dal medico non rispeccherebbero la realtà. In questo caso probabilmente avrebbero anche dovuto lasciare l'ultima riga fuori dalla tabella poiché è corretta solo sotto un'interpretazione di ciò che dovrebbe essere la statistica riassuntiva (ce ne sono due possibili). Lasciare il lettore all'interpretazione delle singole celle avrebbe generalmente prodotto il risultato corretto.

(I tuoi copiosi commenti sembrano suggerire che sei più preoccupato per le disparità di N e Simpson è più ampio di così, quindi sono riluttante a soffermarmi ulteriormente sulla disparità di N. N. Forse fai una domanda più mirata. Inoltre, sembra che tu pensi sto sostenendo una conclusione di normalizzazione. Non sto. Sto sostenendo che è necessario considerare che la statistica riassuntiva è stata selezionata in modo relativamente arbitrario e che la selezione di alcuni analisti ha dato origine al paradosso. Sto inoltre sostenendo che si guardano le cellule avere.)

Un "take away" importante è che se le assegnazioni di trattamento sono sproporzionate tra i sottogruppi, è necessario tener conto dei sottogruppi durante l'analisi dei dati.

Un secondo importante "take away" è che gli studi osservazionali sono particolarmente inclini a fornire risposte sbagliate a causa della presenza sconosciuta del paradosso di Simpson. Questo perché non possiamo correggere il fatto che il trattamento A tendesse a essere somministrato ai casi più difficili se non sappiamo che lo fosse.

In uno studio adeguatamente randomizzato possiamo (1) assegnare il trattamento in modo casuale in modo che dare un "vantaggio sleale" a un trattamento sia altamente improbabile e ci occuperemo automaticamente dell'analisi dei dati o, (2) se c'è un motivo importante per fare ciò, allocare i trattamenti in modo casuale ma sproporzionato sulla base di alcuni problemi noti e quindi tenerne conto durante l'analisi.