The Book of Why di Judea Pearl: Perché sta rubando le statistiche?

Sto leggendo Il libro del perché di Judea Pearl, e mi sta prendendo in giro ¹ . In particolare, mi sembra che stia incondizionatamente basando le statistiche "classiche" sollevando un argomento da pagliaccia secondo cui le statistiche non sono mai, mai in grado di indagare sulle relazioni causali, che non sono mai interessate alle relazioni causali e che le statistiche "sono diventate un modello riduzione dei dati ". La statistica diventa una brutta parola nel suo libro.

Per esempio:

Gli statistici sono stati immensamente confusi su quali variabili dovrebbero e non dovrebbero essere controllate, quindi la pratica di default è stata quella di controllare tutto ciò che si può misurare. [...] È una procedura comoda e semplice da seguire, ma è allo stesso tempo dispendiosa e piena di errori. Un risultato chiave della rivoluzione causale è stato quello di porre fine a questa confusione.

Allo stesso tempo, gli statistici sottovalutano notevolmente il controllo, nel senso che detestano parlare della causalità [...]

Tuttavia, i modelli causali sono stati nelle statistiche come, per sempre. Voglio dire, un modello di regressione può essere utilizzato essenzialmente come modello causale, dal momento che stiamo essenzialmente assumendo che una variabile sia la causa e un'altra sia l'effetto (quindi la correlazione è un approccio diverso dalla modellazione della regressione) e testando se questa relazione causale spiega gli schemi osservati .

Un'altra citazione:

Non sorprende che gli statistici in particolare abbiano trovato difficile comprendere questo enigma [il problema di Monty Hall]. Sono abituati, come affermava RA Fisher (1922), "alla riduzione dei dati" e ignorando il processo di generazione dei dati.

Questo mi ricorda la risposta che Andrew Gelman scrisse al famoso cartone animato xkcd su bayesiani e frequentisti: "Tuttavia, penso che il fumetto nel suo insieme sia ingiusto in quanto confronta un sensibile bayesiano con uno statistico frequentista che segue ciecamente i consigli di libri di testo superficiali ".

La quantità di false dichiarazioni della parola S che, come la percepisco, esiste nel libro di Judea Pearls mi ha fatto chiedermi se l'inferenza causale (che finora ho percepito come un modo utile e interessante di organizzare e testare un'ipotesi scientifica ² ) è discutibile.

Domande: pensi che Judea Pearl stia travisando le statistiche e, se sì, perché? Solo per far sembrare l'inferenza causale più grande di quello che è? Pensi che l'inferenza causale sia una rivoluzione con una grande R che cambia davvero tutto il nostro pensiero?

Modificare:

Le domande di cui sopra sono il mio problema principale, ma dal momento che sono, certamente, supponente, risponda a queste domande concrete (1) qual è il significato della "Rivoluzione causale"? (2) in cosa differisce dalle statistiche "ortodosse"?

<sub>1. Anche perché lui è come un ragazzo modesto.
2. Intendo in senso scientifico, non statistico.</sub>

EDIT : Andrew Gelman ha scritto questo post sul blog sul libro Judea Pearls e penso che abbia fatto un lavoro molto migliore spiegando i miei problemi con questo libro rispetto a me. Ecco due citazioni:

A pagina 66 del libro, Pearl e Mackenzie scrivono che le statistiche "sono diventate un'impresa di riduzione dei dati alla cieca." Ehi! Di che diavolo stai parlando?? Sono uno statistico, ho fatto statistiche per 30 anni, lavorando in settori che vanno dalla politica alla tossicologia. "Riduzione dei dati alla cieca"? Sono solo cazzate. Utilizziamo sempre modelli.

E un altro:

Guarda. Conosco il dilemma del pluralista. Da un lato, Pearl crede che i suoi metodi siano migliori di tutto ciò che è venuto prima. Belle. Per lui e per molti altri, sono i migliori strumenti là fuori per studiare l'inferenza causale. Allo stesso tempo, come pluralista o studente di storia scientifica, ci rendiamo conto che ci sono molti modi per preparare una torta. È difficile mostrare rispetto per gli approcci che non lavori davvero per te, e ad un certo punto l'unico modo per farlo è fare un passo indietro e rendersi conto che le persone reali usano questi metodi per risolvere problemi reali. Ad esempio, penso che prendere decisioni usando i valori di p sia un'idea terribile e logicamente incoerente che ha portato a molti disastri scientifici; allo stesso tempo, molti scienziati riescono a usare i valori di p come strumenti per l'apprendimento. Lo riconosco. Allo stesso modo, Consiglio a Pearl di riconoscere che l'apparato statistico, la modellizzazione della regressione gerarchica, le interazioni, la post-stratificazione, l'apprendimento automatico, ecc. Ecc., Risolvono problemi reali nell'inferenza causale. I nostri metodi, come quelli di Pearl, possono anche sbagliare - GIGO! - e forse Pearl ha ragione sul fatto che saremmo tutti meglio a passare al suo approccio. Ma non penso che sia d'aiuto quando rilascia dichiarazioni inesatte su ciò che facciamo.

Concordo pienamente sul fatto che il tono di Pearl sia arrogante e che la sua caratterizzazione di "statistici" sia semplicistica e monolitica. Inoltre, non trovo i suoi scritti particolarmente chiari.

Tuttavia, penso che abbia ragione.

Il ragionamento causale non faceva parte del mio addestramento formale (Master): il più vicino all'argomento era un corso elettivo in progettazione sperimentale, cioè qualsiasi affermazione sulla causalità mi richiedeva di controllare fisicamente l'ambiente. Il libro di Pearl Causality è stata la mia prima esposizione a una confutazione di questa idea. Ovviamente non posso parlare per tutti gli statistici e i curricula, ma dal mio punto di vista sottoscrivo l'osservazione di Pearl che il ragionamento causale non è una priorità nelle statistiche.

È vero che gli statistici a volte controllano più variabili di quanto sia strettamente necessario, ma ciò raramente porta a errori (almeno nella mia esperienza).

Questa è anche una convinzione che ho avuto dopo la laurea con un Master in statistica nel 2010.

Tuttavia, è profondamente errato. Quando controlli un effetto comune (chiamato "collider" nel libro), puoi introdurre un errore di selezione. Questa realizzazione è stata abbastanza sorprendente per me e mi ha davvero convinto dell'utilità di rappresentare le mie ipotesi causali come grafici.

EDIT: mi è stato chiesto di elaborare la distorsione della selezione. Questo argomento è piuttosto sottile, consiglio vivamente di esaminare il MOOC edX su Causal Diagrams , una bella introduzione ai grafici che ha un capitolo dedicato alla distorsione della selezione.

Ad esempio, per parafrasare questo documento citato nel libro: considera le variabili A = attrattiva, B = bellezza, C = competenza. Supponiamo che B e C siano causalmente indipendenti dalla popolazione generale (vale a dire, la bellezza non causa competenza, la competenza non causa bellezza e la bellezza e la competenza non condividono una causa comune). Supponi anche che uno qualsiasi di B o C sia sufficiente per essere attraente, ovvero che A sia un collisore. Il condizionamento su A crea un'associazione spuria tra B e C.

Un esempio più serio è il "paradosso del peso alla nascita", secondo il quale il fumo di una madre (S) durante la gravidanza sembra diminuire la mortalità (M) del bambino, se il bambino è sottopeso (U). La spiegazione proposta è che i difetti alla nascita (D) causano anche un basso peso alla nascita e contribuiscono anche alla mortalità. Il diagramma causale corrispondente è {S -> U, D -> U, U -> M, S -> M, D -> M} in cui U è un collider; il suo condizionamento introduce l'associazione spuria. L'intuizione alla base di questo è che se la madre è una fumatrice, il basso peso alla nascita ha meno probabilità di essere dovuto a un difetto.

La tua stessa domanda riflette cosa sta dicendo Pearl!

una semplice regressione lineare è essenzialmente un modello causale

$Y, X, Z$$E[Y\mid X]$$E[X\mid Y]$$E[Y\mid X,Z]$$E[Z\mid Y, X]$

Un'equazione strutturale lineare, d'altra parte, è un modello causale. Ma il primo passo è comprendere la differenza tra ipotesi statistiche (vincoli sulla distribuzione di probabilità congiunta osservata) e ipotesi causali (vincoli sul modello causale).

pensi che Judea Pearl travisi le statistiche e, se sì, perché?

No, non la penso così, perché ogni giorno vediamo queste idee sbagliate. Naturalmente, Pearl sta facendo alcune generalizzazioni, dal momento che alcuni statistici lavorano con l'inferenza causale (Don Rubin è stato un pioniere nella promozione di potenziali esiti ... anche io sono uno statistico!). Ma ha ragione nel dire che la maggior parte dell'educazione statistica tradizionale evita la causalità, anche per definire formalmente quale sia un effetto causale.

$Y$$X$$E[Y|X]$ $E[Y_{x}]$$E[Y|do(x)]$

Anche la citazione che porti dal libro è un ottimo esempio. Non troverai nei libri statistici tradizionali una definizione corretta di cosa sia un confondente, né indicazioni su quando dovresti (o non dovresti) adattarti a una covariata negli studi osservazionali. In generale, vengono visualizzati "criteri di correlazione", ad esempio "se la covariata è associata al trattamento e al risultato, è necessario adeguarsi per esso". Uno degli esempi più notevoli di questa confusione si manifesta nel Paradox di Simpson: di fronte a due stime di segni opposti, quale dovresti usare, aggiustato o non aggiustato? La risposta, ovviamente, dipende dal modello causale.

E cosa intende Pearl quando dice che questa domanda è stata portata a termine? Nel caso di una semplice regolazione tramite regressione, si sta riferendo al criterio backdoor (vedere di più qui) . E per l'identificazione in generale --- al di là della semplice regolazione --- significa che ora abbiamo algoritmi completi per l'identificazione di effetti causali per un dato DAG semi-markoviano.

Un'altra osservazione qui vale la pena fare. Anche negli studi sperimentali - in cui le statistiche tradizionali hanno sicuramente fatto molto lavoro importante con la progettazione di esperimenti! - alla fine della giornata hai ancora bisogno di un modello causale . Gli esperimenti possono soffrire di mancanza di conformità, perdita di follow-up, distorsioni di selezione ... inoltre, il più delle volte non vuoi limitare i risultati dei tuoi esperimenti alla popolazione specifica che hai analizzato, vuoi generalizzare il tuo risultati sperimentali su una popolazione più ampia / diversa. Qui, ancora una volta, ci si potrebbe chiedere: cosa dovresti adattare? I dati e le conoscenze sostanziali sono sufficienti per consentire tale estrapolazione? Tutti questi sono concetti causali, quindi hai bisogno di un linguaggio per esprimere formalmente ipotesi causali e verificare se sono sufficienti per permetterti di fare quello che vuoi!

In breve, queste idee sbagliate sono molto diffuse in statistica ed econometria, ci sono molti esempi qui in Cross Validated, come:

• capire cos'è un confonditore
• capire quali variabili dovresti includere in una regressione (per stimare gli effetti causali)
• comprendendo che anche se includi tutte le variabili una regressione potrebbe non essere causale
• comprendere la differenza tra (mancanza di) associazioni statistiche e causalità
• la definizione di un modello causale e degli effetti causali

E molti altri.

Pensi che l'inferenza causale sia una rivoluzione con una grande R che cambia davvero tutto il nostro pensiero?

Considerando l'attuale stato delle cose in molte scienze, quanto abbiamo progredito e quanto velocemente stanno cambiando le cose, e quanto possiamo ancora fare, direi che questa è davvero una rivoluzione.

PS : Pearl ha suggerito due dei suoi post sul blog di causalità dell'UCLA che saranno di interesse per questa discussione, puoi trovare i post qui e qui .

PS 2 : come ha menzionato gennaio nella sua nuova modifica, Andrew Gelman ha un nuovo post nel suo blog. Oltre al dibattito sul blog di Gelman, Pearl ha anche risposto su Twitter (sotto):

La recensione di Gelman su #Bookofwhy dovrebbe essere interessante perché rappresenta un atteggiamento che paralizza ampi circoli di ricercatori statistici. La mia reazione iniziale è ora pubblicata su https://t.co/mRyDcgQtEc Articoli correlati:https://t.co/xUwR6eCGrZ ehttps://t.co/qwqV3oyGUy

- Judea Pearl (@yudapearl) 9 gennaio 2019

Sono un fan della scrittura di Judea e ho letto Causality (amore) e Book of Why (come).

Non credo che la Giudea stia basando le statistiche. È difficile ascoltare le critiche. Ma cosa possiamo dire di qualsiasi persona o settore che non prenda critiche? Tendono dalla grandezza alla compiacenza. Devi chiederti: la critica è corretta, necessaria, utile e propone alternative? La risposta a tutti questi è un enfatico "Sì".

$^1$

Necessario? I media sono inondati di dichiarazioni apparentemente contraddittorie sugli effetti sulla salute delle principali esposizioni. L'incoerenza con l'analisi dei dati ha ristagnato prove che ci lasciano carenti politiche, procedure sanitarie e raccomandazioni utili per una vita migliore.

Utile? Il commento di Judea è pertinente e abbastanza specifico da dare una pausa. È direttamente rilevante per qualsiasi analisi dei dati che qualsiasi statistico o esperto di dati potrebbe incontrare.

Propone alternative? Sì, la Giudea in effetti discute la possibilità di metodi statistici avanzati e persino il modo in cui si riducono a quadri statistici noti (come Structural Equation Modeling) e la loro connessione ai modelli di regressione). Tutto si riduce a richiedere una dichiarazione esplicita della conoscenza del contenuto che ha guidato l'approccio alla modellazione.

La Giudea non sta semplicemente suggerendo di defenestrare tutti i metodi statistici (ad es. Regressione). Piuttosto, sta dicendo che dobbiamo abbracciare qualche teoria causale per giustificare i modelli.

$^1$

Non ho letto questo libro, quindi posso solo giudicare la citazione particolare che dai. Tuttavia, anche su questa base, sono d'accordo con te sul fatto che questo sembra estremamente ingiusto per la professione statistica. In realtà penso che gli statistici abbiano sempre fatto un ottimo lavoro nel sottolineare la distinzione tra associazioni statistiche (correlazione, ecc.) E causalità, e avvertendo contro la conflazione delle due. In effetti, secondo la mia esperienza, gli statistici sono stati in genere la principale forza professionale che lotta contro l'onnipresente confusione tra causa e correlazione. È assolutamente falso (e praticamente calunnia) affermare che gli statistici sono "... detestati nel parlare della causalità". Vedo perché sei infastidito dalla lettura di arroganti cazzate come questa.

Direi che è ragionevolmente comune per i non statisticiche usano modelli statistici per avere una scarsa comprensione della relazione tra associazione statistica e causalità. Alcuni hanno una buona formazione scientifica da altri campi, nel qual caso possono anche essere ben consapevoli del problema, ma ci sono certamente alcune persone che usano modelli statistici che hanno una scarsa conoscenza di questi problemi. Questo è vero in molti campi scientifici applicati in cui i professionisti hanno una formazione di base in statistica, ma non la imparano a livello profondo. In questi casi sono spesso gli statistici professionisti che avvisano gli altri ricercatori delle distinzioni tra questi concetti e la loro relazione corretta. Gli statistici sono spesso i progettisti chiave di RCT e altri esperimenti che coinvolgono controlli usati per isolare la causalità. Sono spesso chiamati a spiegare protocolli come randomizzazione, placebo, e altri protocolli utilizzati per tentare di interrompere le relazioni con potenziali variabili confondenti. È vero che gli statistici a volte controllano più variabili di quanto sia strettamente necessario, ma ciò raramente porta a errori (almeno nella mia esperienza). Penso che la maggior parte degli statistici sia consapevole della differenza travariabili confondenti e variabili collider quando eseguono analisi di regressione in vista di inferenze causali, e anche se non sempre costruiscono modelli perfetti, l'idea che in qualche modo si sottraggano alla considerazione della causalità è semplicemente ridicola.

Penso che Judea Pearl abbia dato un prezioso contributo alla statistica con il suo lavoro sulla causalità, e gli sono grato per questo meraviglioso contributo. Ha costruito ed esaminato alcuni formalismi molto utili che aiutano a isolare le relazioni causali e il suo lavoro è diventato un punto fermo di una buona educazione statistica. Ho letto il suo libro Causalitàmentre ero uno studente laureato, ed è sul mio scaffale e sugli scaffali di molti altri statistici. Gran parte di questo formalismo fa eco a cose che sono state conosciute intuitivamente dagli statistici da prima che fossero formalizzate in un sistema algebrico, ma è comunque molto prezioso e va oltre ciò che è ovvio. (In realtà penso che in futuro vedremo una fusione dell'operazione "do" con l'algebra di probabilità che si verifica a livello assiomatico, e questo probabilmente alla fine diventerà il nucleo della teoria della probabilità. Mi piacerebbe vederlo integrato direttamente nell'educazione statistica , in modo da conoscere i modelli causali e l'operazione "do" quando si conoscono le misure di probabilità.)

Un'ultima cosa da tenere a mente qui è che ci sono molte applicazioni di statistiche in cui l'obiettivo è predittivo , in cui il professionista non sta cercando di inferire la causalità. Questi tipi di applicazioni sono estremamente comuni nelle statistiche e, in tali casi, è importante non limitarsi alle relazioni causali. Questo è vero nella maggior parte delle applicazioni di statistica in ambito finanziario, risorse umane, modellizzazione della forza lavoro e molti altri campi. Non bisogna sottovalutare la quantità di contesti in cui non si può o non si deve cercare di controllare le variabili.

Aggiornamento: noto che la mia risposta non è d'accordo con quella fornita da Carlos . Forse non siamo d'accordo su ciò che costituisce "uno statistico / econometrico con una formazione regolare". Chiunque definirei uno "statistico" di solito ha almeno un'istruzione di livello universitario e di solito ha una formazione / esperienza professionale sostanziale. (Ad esempio, in Australia, il requisito di diventare uno "statistico accreditato" con il nostro organismo professionale nazionale richiede un minimo di quattro anni di esperienza dopo una laurea con lode, o sei anni di esperienza dopo una laurea ordinaria.) In ogni caso, uno studente lo studio delle statistiche non è uno statistico .

Noto che come prova della presunta mancanza di comprensione della causalità da parte degli statistici, la risposta di Carlos indica diverse domande su CV.SE che pongono domande sulla causalità nella regressione. In ognuno di questi casi, la domanda viene posta da qualcuno che è ovviamente un novizio (non uno statistico) e le risposte fornite da Carlos e altri (che riflettono la spiegazione corretta) sono risposte molto votate. In effetti, in molti casi Carlos ha fornito un resoconto dettagliato della causalità e le sue risposte sono le più votate. Ciò dimostra sicuramente che gli statistici comprendono la causalità .

Alcuni altri poster hanno sottolineato che l'analisi della causalità spesso non è inclusa nel curriculum statistico. È vero, ed è un vero peccato, ma la maggior parte dei statistici professionisti non sono neolaureati e hanno imparato ben oltre ciò che è incluso in un programma di master standard. Ancora una volta, a questo proposito, sembra che io abbia una visione più alta del livello medio di conoscenza degli statistici rispetto ad altri poster.

una semplice regressione lineare è essenzialmente un modello causale

Ecco un esempio che ho trovato in cui un modello di regressione lineare non è causale. Diciamo a priori che un farmaco è stato assunto al momento 0 ( t = 0 ) e che non ha alcun effetto sulla frequenza degli attacchi di cuore a t = 1 . Gli attacchi di cuore a t = 1 influenzano gli attacchi di cuore a t = 2 (cioè il danno precedente rende il cuore più suscettibile al danno). La sopravvivenza a t = 3 dipende solo dal fatto che le persone abbiano avuto o meno un infarto a t = 2 - l'attacco cardiaco a t = 1 influenzerebbe realisticamente la sopravvivenza a t = 3 , ma non avremo una freccia, per il bene di semplicità.

Ecco la leggenda:

Ecco il vero grafico causale:

Facciamo finta di non sapere che gli attacchi di cuore a t = 1 sono indipendenti dall'assunzione del farmaco a t = 0, quindi costruiamo un semplice modello di regressione lineare per stimare l'effetto del farmaco sull'attacco di cuore a t = 0 . Qui il nostro predittore sarebbe Drug t = 0 e la nostra variabile di risultato sarebbe Heart Attack t = 1 . Gli unici dati che abbiamo sono le persone che sopravvivono a t = 3 , quindi eseguiremo la nostra regressione su tali dati.

Ecco l'intervallo credibile bayesiano del 95% per coefficiente di droga t = 0 :

Gran parte della probabilità che possiamo vedere è maggiore di 0, quindi sembra che ci sia un effetto! Tuttavia, sappiamo a priori che esiste un effetto 0. La matematica della causalità sviluppata da Judea Pearl e altri rende molto più facile vedere che ci sarà parzialità in questo esempio (a causa del condizionamento di un discendente di un collisore). Il lavoro della Giudea implica che in questa situazione, dovremmo usare l'intero set di dati (cioè non guardare le persone che sono sopravvissute), che rimuoverà i percorsi distorti:

Ecco l'intervallo credibile al 95% quando si guarda l'intero set di dati (cioè non condizionando quelli che sono sopravvissuti).

.

È densamente centrato su 0, che essenzialmente non mostra alcuna associazione.

Negli esempi di vita reale, le cose potrebbero non essere così semplici. Potrebbero esserci molte più variabili che potrebbero causare distorsioni sistematiche (confondimento, distorsione da selezione, ecc.). Cosa regolare nelle analisi è stato matematizzato da Pearl; gli algoritmi possono suggerire quale variabile regolare o addirittura dirci quando la regolazione non è sufficiente per rimuovere la distorsione sistematica. Con questa teoria formale messa in atto, non abbiamo bisogno di dedicare così tanto tempo a discutere su cosa adattarci e su cosa non adattarci; possiamo rapidamente giungere a conclusioni sul fatto che i nostri risultati siano validi o meno. Possiamo progettare meglio i nostri esperimenti, possiamo analizzare più facilmente i dati osservativi.

Ecco un corso liberamente disponibile online sui DAG causali di Miguel Hernàn. Ha un sacco di casi di studio nella vita reale in cui professori / scienziati / statistici sono giunti a conclusioni opposte sulla domanda in corso. Alcuni di loro potrebbero sembrare paradossi. Tuttavia, puoi risolverli facilmente tramite il criterio di separazione e backdoor di Judea Pearl .

Per riferimento, ecco il codice per il processo di generazione dei dati e il codice per gli intervalli credibili mostrati sopra:

import numpy as np
import pandas as pd
import statsmodels as sm
import pymc3 as pm
from sklearn.linear_model import LinearRegression

%matplotlib inline

# notice that taking the drug is independent of heart attack at time 1.
# heart_attack_time_1 doesn't "listen" to take_drug_t_0
take_drug_t_0 = np.random.binomial(n=1, p=0.7, size=10000)
heart_attack_time_1 = np.random.binomial(n=1, p=0.4, size=10000)

proba_heart_attack_time_2 = []

# heart_attack_time_1 increases the probability of heart_attack_time_2. Let's say
# it's because it weakens the heart and makes it more susceptible to further
# injuries
# 
# Yet, take_drug_t_0 decreases the probability of heart attacks happening at
# time 2
for drug_t_0, heart_attack_t_1 in zip(take_drug_t_0, heart_attack_time_1):
    if drug_t_0 == 0 and heart_attack_t_1 == 0:
        proba_heart_attack_time_2.append(0.1)
    elif drug_t_0 == 1 and heart_attack_t_1 == 0:
        proba_heart_attack_time_2.append(0.1)
    elif drug_t_0 == 0 and heart_attack_t_1 == 1:
        proba_heart_attack_time_2.append(0.5)
    elif drug_t_0 == 1 and heart_attack_t_1 == 1:
        proba_heart_attack_time_2.append(0.05)

heart_attack_time_2 = np.random.binomial(
    n=2, p=proba_heart_attack_time_2, size=10000
)

# people who've had a heart attack at time 2 are more likely to die by time 3

proba_survive_t_3 = []
for heart_attack_t_2 in heart_attack_time_2:
    if heart_attack_t_2 == 0:
        proba_survive_t_3.append(0.95)
    else:
        proba_survive_t_3.append(0.6)

survive_t_3 = np.random.binomial(
    n=1, p=proba_survive_t_3, size=10000
)

df = pd.DataFrame(
    {
        'survive_t_3': survive_t_3,
        'take_drug_t_0': take_drug_t_0,
        'heart_attack_time_1': heart_attack_time_1,
        'heart_attack_time_2': heart_attack_time_2
    }
)

# we only have access to data of the people who survived
survive_t_3_data = df[
    df['survive_t_3'] == 1
]

survive_t_3_X = survive_t_3_data[['take_drug_t_0']]

lr = LinearRegression()
lr.fit(survive_t_3_X, survive_t_3_data['heart_attack_time_1'])
lr.coef_

with pm.Model() as collider_bias_model_normal:
    alpha = pm.Normal(name='alpha', mu=0, sd=1)
    take_drug_t_0 = pm.Normal(name='take_drug_t_0', mu=0, sd=1)
    summation = alpha + take_drug_t_0 * survive_t_3_data['take_drug_t_0']
    sigma = pm.Exponential('sigma', lam=1)           

    pm.Normal(
        name='observed', 
        mu=summation,
        sd=sigma,
        observed=survive_t_3_data['heart_attack_time_1']
    )

    collider_bias_normal_trace = pm.sample(2000, tune=1000)

pm.plot_posterior(collider_bias_normal_trace['take_drug_t_0'])

with pm.Model() as no_collider_bias_model_normal:
    alpha = pm.Normal(name='alpha', mu=0, sd=1)
    take_drug_t_0 = pm.Normal(name='take_drug_t_0', mu=0, sd=1)
    summation = alpha + take_drug_t_0 * df['take_drug_t_0']
    sigma = pm.Exponential('sigma', lam=1)           

    pm.Normal(
        name='observed', 
        mu=summation,
        sd=sigma,
        observed=df['heart_attack_time_1']
    )

    no_collider_bias_normal_trace = pm.sample(2000, tune=2000)

pm.plot_posterior(no_collider_bias_normal_trace['take_drug_t_0'])

Due articoli, il secondo un classico, che aiutano (penso) a far luce sui punti della Giudea e su questo argomento più in generale. Questo viene da qualcuno che ha usato ripetutamente SEM (che è correlazione e regressione) e risuona con le sue critiche:

https://www.sciencedirect.com/science/article/pii/S0022103111001466

http://psycnet.apa.org/record/1973-20037-001

In sostanza, gli articoli descrivono perché i modelli correlazionali (regressione) non possono normalmente essere considerati come implicanti una forte inferenza causale. Qualsiasi modello di associazione può adattarsi a una data matrice di covarianza (cioè, non specificazione della direzione e / o relazione tra le variabili). Da qui la necessità di cose come un disegno sperimentale, proposizioni controfattuali, ecc. Ciò vale anche quando si ha una struttura temporale nei propri dati in cui la causa putativa si verifica in tempo prima dell'effetto putativo.

"... dal momento che stiamo essenzialmente supponendo che una variabile sia la causa e un'altra sia l'effetto (quindi la correlazione è un approccio diverso dal modello di regressione) ..."

La modellazione di regressione sicuramente NON fa questo presupposto.

"... e verifica se questa relazione causale spiega i modelli osservati."

Se stai assumendo la causalità e la convalidi contro le osservazioni, stai facendo un modello SEM o quello che Pearl chiamerebbe modello SCM. È discutibile se si desidera chiamare quella parte del dominio delle statistiche. Ma penso che molti non lo chiamerebbero statistiche classiche.

Piuttosto che scaricare sulle statistiche in generale, credo che Pearl stia solo criticando la reticenza dello statista per affrontare la semantica causale. Considera questo un grave problema a causa di quello che Carl Sagan chiama il fenomeno "entra e esci", in cui lasci cadere uno studio che dice "il consumo di carne 'fortemente associato' con un aumento della libido, p <.05" e poi si inchina sapendo bene, i due risultati saranno collegati in modo causale nella mente del pubblico.