Cosa fanno gli statistici che non possono essere automatizzati?

Il software alla fine renderà obsoleti gli statistici? Cosa si può fare che non può essere programmato in un computer?

@Adam, se pensi ai ricercatori statistici in modo analogo a quelli in altri campi - persone che si basano sulla metodologia e sulle conoscenze esistenti - allora potrebbe chiarire che la risposta alla tua prima domanda è "No".

Gli statistici che si guadagnano da vivere semplicemente applicando pacchetti software fissi potrebbero molto probabilmente essere sostituiti da computer per ogni passo tranne che per scrivere la sezione di discussione di un documento in cui i risultati devono essere interpretati. Quindi, in questo senso, sì - potrebbe essere automatizzato (anche se dovrebbe essere un pezzo complicato di software che ha un inferno di un processore di linguaggio naturale).

Tuttavia, come la maggior parte dei ricercatori alla fine capisce, le routine "in scatola" che le persone usano spesso sono piuttosto limitate e devono essere modificate (o devono essere completamente sviluppati nuovi metodi) per rispondere a domande di ricerca specializzate - è qui che l'aspetto umano delle statistiche è indispensabile . Oppure, un ricercatore deve semplicemente accontentarsi di una domanda di ricerca un po 'diversa, ma correlata, alla quale si può rispondere usando i metodi classici.

La maggior parte degli esperti di statistica che conosco lavorano in lavori di ricerca (ad esempio professori, ricercatori) in cui il loro ruolo principale è quello di sviluppare una nuova metodologia. Se questo processo potesse essere automatizzato, il che significa che un computer può formulare e mettere a punto una nuova metodologia utile, temo che i ricercatori in ogni campo sarebbero obsoleti.

I computer renderanno obsoleti gli statistici solo quando una forte intelligenza artificiale rende gli umani nel loro insieme obsoleti.

La domanda mi ricorda la domanda su "Se ci sono tutti questi solidi metodi statistici, perché le persone usano ancora altri metodi?" Parte della risposta è abitudine e allenamento, ma gran parte è che la domanda è ingenua: "robusto" non significa "non devi pensare e capire cosa stai facendo", come implica la domanda.

Voglio dire, potresti scaricare il pacchetto di statistiche R oggi e fare qualsiasi tecnica statistica di base al calar della notte. È quindi possibile scaricare un paio di pacchetti e iniziare a utilizzare metodi così esoterici che la maggior parte di noi non ne ha nemmeno sentito parlare. La domanda è: otterresti risposte ragionevoli? La risposta è: probabilmente no.

Gli algoritmi sono automatizzati, ma devi comunque effettuare molte chiamate di giudizio lungo tutto il percorso investigativo: dal piano di attacco al giudizio finale sul fatto che i risultati abbiano effettivamente senso. Per arrivare a quel punto, stai davvero parlando di computer simili a Star-Trek in cui puoi dire "Computer, dimmi ...", a quel punto praticamente ogni vocazione umana è obsoleta.

Cosa può fare uno statistico che un computer non può fare? Scrivi il programma originale da cui vengono sostituiti.

Al di là di quella risposta un po 'sciocca, la radice della domanda è ignorare l'attuale scienza della statistica a favore della sua meccanica e scartare del tutto il ruolo del processo creativo nell'analisi statistica. Questo è, per usare l'esempio dell'auto di Peter Flom, come dire che le auto sono costruite usando rivetti e saldature, quindi non c'è motivo per cui la nuova Mustang non possa essere progettata da rivetti e robot di saldatura.

Un'enorme quantità di statistiche richiede competenze in materia, richieste di giudizio e creatività. L'analisi "in scatola" eseguita da un algoritmo spesso non ti fornisce la risposta migliore e ci sono una miriade di esempi documentati in cui l'utilizzo di metodi automatici ti dà effettivamente la risposta sbagliata , o almeno non la risposta che pensi di ottenere. L'uso di procedure di selezione delle variabili basate su valori p e analisi basate su quantili puramente definiti numericamente sono due con cui ho più familiarità, ma sono sicuro che puoi trovare molti altri là fuori.

Anche se tutto ciò era ancora in qualche modo automatizzato, c'è la questione dell'interpretazione dei risultati. Il lavoro dello statistico (o scienziato incline statisticamente) non viene svolto quando si ottiene un coefficiente di regressione o un valore p. Che cosa significa che trovare media . Quali sono le avvertenze? Cosa rappresenta questo nel contesto di ciò che è accaduto prima?

Infine, hai lo sviluppo di nuovi metodi. Le statistiche non sono qualcosa che è stato semplicemente creato molto tempo fa da persone di cui riconosciamo i nomi: Fisher, Cox, ecc. È un campo in evoluzione e non è possibile programmare un nuovo metodo in un computer fino a quando una persona non sviluppa il metodo stesso.

Un altro modo di interpretare questa domanda potrebbe essere: "il rapido aumento delle tecniche statistiche automatizzate negli ultimi anni ha corrisposto a una diminuzione della domanda di posti di lavoro per statistici dedicati e analisti di dati?"

Possiamo rispondere a questa domanda guardando i dati

Dati per gentile concessione di indeed.com e blog di rivoluzioni

Non sono completamente d'accordo con la premessa della domanda, cioè penso che non ci sia modo in cui i computer possano mai sperare di sostituire gli statistici, ma di dare un esempio concreto al perché penso che:

Il lavoro che gli statistici fanno con gli scienziati, in particolare, nella progettazione e nell'interpretazione degli esperimenti, richiede non solo una mente umana, ma anche una tendenza filosofica che è inconcepibile che i computer possano mai mostrare.

A meno che non finiamo in una sorta di situazione tipo Skynet, ovviamente, nel qual caso ritengo che tutte le scommesse siano probabilmente fuori per quanto riguarda il futuro di tutta l'umanità, non importa solo degli statistici ,-) :-)

La domanda suggerisce una visione ingenua di uno statistico - che si tratta di verificare se ap <0,05 e riportare alcuni numeri e grafici standard. Se questo è ciò che intendi per statistico, allora hai ragione nel dire che gran parte di esso potrebbe essere completamente automatizzato. Ma non è questo che significa statistico.

Definisci comunque il tuo termine statistico e potresti ottenere risposte migliori.

Caricare un pacchetto di statistiche sul tuo computer non ti rende uno statistico più di quanto l'acquisto di un'auto ti renda in grado di guidare.

Anche se lo statistico applica solo routine "in scatola", ci sono molte domande.

1. Quale routine? Quale routine risponderà alle domande del cliente?
2. Con quali variabili? e dovrebbero essere trasformati? Alcuni livelli dovrebbero essere combinati? Quale dovrebbe essere forzato in un modello?
3. Con quali dati? I valori anomali devono essere eliminati? Parzialmente rasato? Forse un metodo robusto?

e così via.

Ma il lavoro inizia molto prima dell'accensione del computer e termina molto dopo lo spegnimento del pacchetto statistico.

Prima: cosa vuole fare il cliente? Spesso questo è molto lavoro! Quali dati ha il cliente? Oy vey! Le variabili sono etichettate da V1 a V828171 Quali sono quali? Qual è lo stato della letteratura? Cosa si aspetta il cliente? Quanto tecnico dovrebbe essere?

Dopo: cosa significano i risultati ? (e non solo "questo significa che la regressione è significativa") Come dovrebbero essere spiegati i risultati al cliente? Quali altre domande sollevano i risultati?

Penso che passerà molto tempo prima che i computer possano farlo.

Gli studi accademici che esaminano la probabilità di automazione di diverse occupazioni o attività non pensano che gli statistici saranno presto sostituiti dai computer. Cfr. Ad esempio il controverso studio Frey & Osborne (2013) che classifica le professioni in base alla loro probabilità di informatizzazione, gli statistici sono classificati 213 su 702 con una probabilità del 22% (vedi tabella in appendice). Se sei ulteriormente interessato, leggi anche l' articolo Slate qui .

Arntz et al. (2016) ( qui un articolo di The Economist) esaminano i compiti piuttosto che le professioni per l'Unione europea e giungono a una conclusione simile: fare "matematica o statistica complessa" è statisticamente significativamente negativamente correlato all'automazione del lavoro (cfr. Tabella 3).

Ma è consigliabile fare attenzione, gli accademici e / o gli economisti non sono sempre stati molto bravi a predire il futuro (il premio Nobel Robert Lucas, ad esempio, ha concluso nel 2003, pochi anni prima della crisi finanziaria, che il "problema centrale della prevenzione della depressione come è stato risolto, per tutti gli scopi pratici, ed è stato in effetti risolto per molti decenni " ). Entrambi gli studi sembrano essere documenti di lavoro, che sono ampiamente discussi ma non sono stati pubblicati su riviste peer-reviewed standard.

Per quanto riguarda il dibattito accademico, qui puoi trovare un articolo generale sullo stato della ricerca sull'automazione.

Penso che l'IA renderà gli statistici solo più intelligenti e competitivi. Perché? Perché questo è l'intento dell'intelligenza artificiale sin dalla loro concezione molti decenni fa ...