L'apprendimento automatico è meno utile per comprendere la causalità, quindi meno interessante per le scienze sociali?

La mia comprensione della differenza tra apprendimento automatico / altre tecniche predittive statistiche rispetto al tipo di statistiche che gli scienziati sociali (ad esempio, gli economisti) usano è che gli economisti sembrano molto interessati a comprendere l'effetto di una o più variabili, sia in termini di magnitudo e rilevare se la relazione è causale. Per questo, finisci per interessarti di metodi sperimentali e quasi sperimentali, ecc.

L'apprendimento automatico o la modellazione statistica che sono predittivi spesso trascurano completamente questo aspetto e in molti casi non forniscono un grado specifico in cui una variabile influisce sul risultato (logit e probit sembrano fare entrambe le cose).

Una domanda correlata è: in che misura i modelli economici o comportamentali ispirati teoricamente presentano un vantaggio rispetto ai modelli ateorici nella previsione di nuovi domini? Cosa direbbe uno statistico di apprendimento automatico o orientato alla previsione alla critica secondo cui senza un modello economico non si sarebbe in grado di prevedere correttamente nuovi campioni in cui le covariate erano molto diverse.

Sarei davvero felice di sentire la gente prendere questo da tutte le prospettive.

Non ci sono differenze formali con IMHO che distinguano l'apprendimento automatico e le statistiche a livello fondamentale di adattamento dei modelli ai dati. Potrebbero esserci differenze culturali nella scelta dei modelli, negli obiettivi di adattamento dei modelli ai dati e in alcuni casi estendere le interpretazioni.

Negli esempi tipici a cui riesco a pensare che abbiamo sempre

• una raccolta di modelli per per alcuni set di indici ,$M_i$$i \in I$$I$
• e per ciascuno un componente sconosciuto (i parametri, possono essere di dimensione infinita) del modello .$i$$\theta_i$$M_i$

Adattare ai dati è quasi sempre un problema di ottimizzazione matematica che consiste nel trovare la scelta ottimale del componente sconosciuto per far sì che adatti ai dati misurati da alcune funzioni preferite.$M_i$$\theta_i$$M_i$

La selezione tra i modelli è meno standard e sono disponibili diverse tecniche. Se l'obiettivo dell'adattamento del modello è puramente predittivo, la selezione del modello viene effettuata nel tentativo di ottenere buone prestazioni predittive, mentre se l'obiettivo primario è interpretare i modelli risultanti, è possibile selezionare modelli più facilmente interpretabili rispetto ad altri modelli anche se il loro il potere predittivo dovrebbe essere peggiore.$M_i$

La cosiddetta selezione del modello statistico della vecchia scuola si basa su test statistici forse combinati con strategie di selezione graduale, mentre la selezione del modello di apprendimento automatico si concentra in genere sull'errore di generalizzazione atteso, che viene spesso stimato utilizzando la convalida incrociata. Tuttavia, gli sviluppi attuali e la comprensione della selezione del modello sembrano convergere verso un terreno più comune, si veda, ad esempio, Selezione del modello e Media del modello .

Inferenza della causalità dai modelli

Il nocciolo della questione è come possiamo interpretare un modello? Se i dati ottenuti provengono da un esperimento accuratamente progettato e il modello è adeguato, è plausibile che possiamo interpretare l'effetto di una modifica di una variabile nel modello come un effetto causale, e se ripetiamo l'esperimento e interveniamo su questa particolare variabile possiamo aspettarci di osservare l'effetto stimato. Se, tuttavia, i dati sono osservativi, non possiamo aspettarci che gli effetti stimati nel modello corrispondano agli effetti di intervento osservabili. Ciò richiederà ulteriori presupposti indipendentemente dal fatto che il modello sia un "modello di apprendimento automatico" o un "modello statistico classico".

Può darsi che le persone addestrate nell'uso di modelli statistici classici con particolare attenzione alle stime univariate dei parametri e alle interpretazioni sulla dimensione dell'effetto abbiano l'impressione che un'interpretazione causale sia più valida in questo quadro che in un quadro di apprendimento automatico. Direi di no.

L'area dell'inferenza causale nelle statistiche non rimuove realmente il problema, ma rende esplicite le ipotesi su cui si basano le conclusioni causali. Sono indicati come presupposti non verificabili . Il documento Inferenza causale nelle statistiche: una panoramica di Judea Pearl è un buon documento da leggere. Un importante contributo dall'inferenza causale è la raccolta di metodi per la stima degli effetti causali in base a ipotesi in cui vi sono effettivamente confonditori non osservati, il che è altrimenti una delle maggiori preoccupazioni. Vedere la Sezione 3.3 nel documento Pearl sopra. Un esempio più avanzato può essere trovato nel documento Modelli strutturali marginali e inferenza causale in epidemiologia .

È una questione in questione se valgono le assunzioni non verificabili. Sono precisamente non verificabili perché non possiamo testarli usando i dati. Per giustificare le ipotesi sono richiesti altri argomenti.

Come esempio di incontro tra machine learning e inferenza causale, le idee di stima mirata della massima verosimiglianza, come presentate in Targeted Maximum Likelihood Learning di Mark van der Laan e Daniel Rubin, in genere sfruttano le tecniche di machine learning per una stima non parametrica seguita dal "targeting "verso un parametro di interesse. Quest'ultimo potrebbe benissimo essere un parametro con un'interpretazione causale. L'idea in Super Learnerè fare molto affidamento sulle tecniche di apprendimento automatico per la stima dei parametri di interesse. È un punto importante di Mark van der Laan (comunicazione personale) che i modelli statistici classici, semplici e "interpretabili" sono spesso sbagliati, il che porta a stimatori distorti e una valutazione troppo ottimistica dell'incertezza delle stime.

Esiste un insieme (abbastanza limitato) di strumenti statistici per la cosiddetta "inferenza causale". Questi sono progettati per valutare effettivamente le relazioni causali e hanno dimostrato di farlo correttamente. Eccellente, ma non per i mansueti del cuore (o del cervello, per quella materia).

A parte questo, in molti casi, la capacità di implicare la causalità è molto più una conseguenza del tuo progetto che delle tecniche a portata di mano: se hai il controllo su "tutte" le variabili del tuo esperimento e vedi accadere qualcosa ogni volta che solo) cambia una variabile, è ragionevole chiamare la cosa che succede una 'conseguenza' della cosa che cambi (purtroppo, nella ricerca reale, questi casi estremi si verificano raramente). Un altro ragionamento intuitivo ma solido è basato sul tempo: se cambi casualmente (ma in modo controllato) una variabile e un'altra cambia il giorno dopo, anche la causalità è dietro l'angolo.

Tutto il mio secondo paragrafo funziona essenzialmente a prescindere da quali metodi usi per trovare quali variabili sono cambiate in quali condizioni, quindi almeno in teoria non c'è motivo per cui Machine Learning (ML) sarebbe peggiore dei metodi basati su statistiche.

Disclaimer : folowing paragrafo altamente soggettivo

Tuttavia, nella mia esperienza, troppo spesso le tecniche ML vengono lasciate libere su una massa di dati senza considerare da dove provengono i dati o come sono stati raccolti (ovvero ignorando il progetto). In questi casi, un risultato molto spesso aumenta, ma sarà estremamente difficile dire qualcosa di utile sulla causalità. Questo lo faràessere esattamente lo stesso quando un metodo statisticamente valido viene eseguito su quegli stessi dati. Tuttavia, le persone con un forte background statistico sono addestrate per essere critiche nei confronti di questi argomenti e, se tutto va bene, eviteranno queste insidie. Forse è semplicemente la mentalità dei primi (ma sciatti) utilizzatori di tecniche ML (in genere non gli sviluppatori di nuove tecniche ma quelli desiderosi di "dimostrare" alcuni risultati con loro nel loro campo di interesse) che hanno dato alla ML la sua cattiva reputazione su questo account. (Si noti che sto , non dicendo statistiche è meglio di ML, o che tutte le persone che fanno ML sono sciatta e quelle che fanno le statistiche non sono)

La mia opinione è che i modelli utilizzati in economia e le altre scienze sociali sono utili solo nella misura in cui hanno un potere predittivo nel mondo reale - un modello che non prevede il mondo reale è solo una matematica intelligente. Un mio detto preferito ai colleghi è che "i dati sono re".

Mi sembra che la tua domanda solleva due critiche a un approccio predittivo. Innanzitutto, fai notare che i modelli prodotti dalle tecniche di apprendimento automatico potrebbero non essere interpretabili . In secondo luogo, suggerisci che i metodi utilizzati da coloro che lavorano nelle scienze sociali sono più utili per scoprire relazioni causali rispetto all'apprendimento automatico.

Per affrontare il primo punto, vorrei offrire il seguente argomento contrario. La moda attuale nell'apprendimento automatico favorisce metodi (come SVM e NN) che non sono affatto facili da comprendere per un laico. Ciò non significa che tutte le tecniche di apprendimento automatico abbiano questa proprietà. Ad esempio, il venerabile albero decisionale C4.5 è ancora ampiamente utilizzato 20 anni dopo aver raggiunto la fase finale del suo sviluppo e produce come output una serie di regole di classificazione. Direi che tali regole si prestano meglio all'interpretazione rispetto a concetti come il rapporto delle probabilità di registro, ma questa è un'affermazione soggettiva. In ogni caso, tali modelli sono interpretabili.

Nell'affrontare il secondo punto, ammetterò che se si addestra un modello di apprendimento automatico in un ambiente e lo si verifica in un altro, probabilmente fallirà, tuttavia, non c'è motivo di supporre a priori che questo non sia vero anche per un modello più convenzionale: se costruisci il tuo modello sotto una serie di presupposti e poi lo valuti sotto un altro, otterrai risultati negativi. Per cooptare una frase della programmazione per computer: "garbage in, garbage out" si applica ugualmente bene sia all'apprendimento automatico sia ai modelli progettati.

No. L'inferenza causale è un'area attiva di ricerca nell'apprendimento automatico, ad esempio vedere gli atti di questo seminario e di questo . Vorrei tuttavia sottolineare che anche se l'inferenza causale o l'interpretazione del modello sono il tuo interesse primario, è comunque una buona idea provare un approccio opaco puramente predittivo in parallelo, in modo da sapere se esiste una penalità significativa per le prestazioni insiste nel un modello interpretabile.

Non ripeterò gli ottimi punti già espressi in altre risposte, ma vorrei aggiungere una prospettiva leggermente diversa. Quello che dico qui è in qualche modo filosofico, non necessariamente attinto dall'esperienza professionale, ma da un background misto nelle scienze fisiche, nella teoria dei sistemi complessi e nell'apprendimento automatico (e, devo ammetterlo, in gran parte statistiche universitarie).

Una sostanziale differenza tra l'apprendimento automatico e gli approcci statistici classici (di cui sono a conoscenza) sta nella serie di ipotesi che vengono fatte. Nelle statistiche classiche, molte ipotesi sui processi e le distribuzioni sottostanti sono fisse e tendono ad essere date per scontate. Nell'apprendimento automatico, tuttavia, queste ipotesi sono esplicitamente scelte per ciascun modello, risultando in un insieme molto più ampio di possibilità e forse una maggiore consapevolezza delle ipotesi che vengono fatte.

Stiamo vedendo sempre più che i sistemi nel mondo che ci circonda si comportano in modi complessi e non lineari e che molti processi non obbediscono a ipotesi di normalità ecc. Tipicamente presenti nelle statistiche classiche. Direi che, a causa della flessibilità e della varietà delle ipotesi del modello, gli approcci di apprendimento automatico spesso porteranno a un modello più solido in questi casi.

Ci sono forti assunzioni di modello incorporate in frasi come "grandezza dell'effetto", "relazione causale" e "grado in cui una variabile influenza il risultato". In un sistema complesso (come un'economia), queste ipotesi saranno valide solo all'interno di una certa finestra di possibili stati del sistema. Con alcuni osservabili e processi, questa finestra può essere grande, portando a modelli relativamente robusti. Con altri potrebbe essere piccolo o addirittura vuoto. Forse il pericolo maggiore è la via di mezzo: un modello può sembrare funzionare, ma quando il sistema cambia, fallisce in modo improvviso e sorprendente.

L'apprendimento automatico non è una panacea. Piuttosto, lo vedo come una ricerca di nuovi modi di ottenere un significato dalle nostre osservazioni, alla ricerca di nuovi paradigmi necessari per affrontare efficacemente la complessità che stiamo iniziando a percepire nel mondo che ci circonda.