Su George Box, Galit Shmueli e il metodo scientifico?

(Questa domanda potrebbe sembrare più adatta alla Philosophy SE. Spero che gli statistici possano chiarire i miei malintesi sulle dichiarazioni di Box e Shmueli, quindi la sto pubblicando qui).

George Box (di fama ARIMA) ha dichiarato:

"Tutti i modelli sono sbagliati, ma alcuni sono utili."

Galit Shmueli nel suo famoso articolo "Spiegare o predire" , sostiene (e cita altri che sono d'accordo con lei) che:

Spiegare e prevedere non sono la stessa cosa e alcuni modelli fanno un buon lavoro di spiegazione, anche se fanno un cattivo lavoro di previsione.

Ritengo che questi principi siano in qualche modo contraddittori.

Se un modello non prevede bene, è utile?

Ancora più importante, se un modello spiega bene (ma non prevede necessariamente bene), allora deve essere vero (cioè non sbagliato) in un modo o nell'altro. Quindi, come si combina con Box "tutti i modelli sono sbagliati"?

Infine, se un modello spiega bene, ma non prevede bene, come è persino scientifico? La maggior parte dei criteri di demarcazione scientifica (verificismo, falsificazionismo, ecc ...) implica che un'affermazione scientifica deve avere un potere predittivo, o colloquialmente: una teoria o un modello è corretto solo se può essere empiricamente testato (o falsificato), il che significa che esso deve prevedere i risultati futuri.

Le mie domande:

• L'affermazione di Box e le idee di Shmueli sono davvero contraddittorie o mi sto perdendo qualcosa, ad esempio un modello non può avere un potere predittivo ma può ancora essere utile?
• Se le dichiarazioni di Box e Shmueli non sono contraddittorie, cosa significa che un modello è sbagliato e non prevede bene, ma ha ancora potere esplicativo? In altre parole: se si toglie la correttezza e l'abilità predittiva, cosa rimane di un modello?

Quali convalide empiriche sono possibili quando un modello ha potere esplicativo, ma non potere predittivo? Shmueli menziona cose come: usare l'AIC per la spiegazione e il BIC per la previsione, ecc., Ma non vedo come ciò risolva il problema. Con i modelli predittivi, è possibile utilizzare la regolarizzazione AIC, o BIC o , o , ecc ... ma alla fine i test del campione e le prestazioni in produzione sono ciò che determina la qualità del modello. Ma per i modelli che spiegano bene, non vedo come una funzione di perdita possa mai veramente valutare un modello. Nella filosofia della scienza, c'è il concetto di sottodeterminazione$R^2$$L1$L L p < 0,05 p < 0,1 p < 0,01che qui sembra pertinente: per ogni dato set di dati, si può sempre scegliere con discrezione una certa distribuzione (o miscela di distribuzioni) e una funzione di perdita in modo tale che si adattino ai dati (e quindi si possa affermare di spiegarli). Inoltre, la soglia che dovrebbe essere sotto per qualcuno per affermare che il modello spiega adeguatamente i dati è arbitraria (tipo di valori p simili, perché è e non o ?).$L$$L$$p < 0.05$$p < 0.1$$p < 0.01$

• Sulla base di quanto sopra, come si può validare oggettivamente un modello che spiega bene, ma non prevede bene, dal momento che non è possibile eseguire test fuori campione?

Vorrei iniziare con la citata citazione di George Box, secondo cui "tutti i modelli sono sbagliati, ma alcuni sono utili". Questa affermazione è un incapsulamento dell'approccio metodologico del "positivismo", che è un approccio filosofico che è altamente influente nelle scienze. Questo approccio è descritto in dettaglio (nel contesto della teoria economica) nel saggio metodologico classico di Friedman (1966) . In quel saggio, Friedman sostiene che qualsiasi utile teoria scientifica costituisce necessariamente una semplificazione della realtà, e quindi i suoi presupposti devono sempre allontanarsi dalla realtà in una certa misura, e possono persino discostarsi sostanzialmente dalla realtà.nel ridurre la complessità del mondo a un insieme gestibile di principi e la sua accuratezza nel fare previsioni sulla realtà e generare nuove ipotesi verificabili sulla realtà. Pertanto, Friedman sostiene che "tutti i modelli sono sbagliati" in quanto contengono tutti presupposti che semplificano (e quindi si discostano) dalla realtà, ma che "alcuni sono utili" nella misura in cui forniscono un semplice quadro per fare previsioni utili sulla realtà.

Ora, se leggi Box (1976) (l'articolo in cui afferma che "tutti i modelli sono sbagliati"), vedrai che non cita Friedman, né menziona positivismo metodologico. Tuttavia, la sua spiegazione del metodo scientifico e delle sue caratteristiche è estremamente simile a quella sviluppata da Friedman. In particolare, entrambi gli autori sottolineano che una teoria scientifica farà previsioni sulla realtà che possono essere testate rispetto ai fatti osservati e che l'errore nella previsione può quindi essere utilizzato come base per la revisione della teoria.

Passiamo ora alla dicotomia discussa da Galit Shmueli in Shmueli (2001) . In questo articolo, Shmueli confronta la spiegazione causale e la previsione dei risultati osservati e sostiene che si tratta di attività distinte. In particolare, sostiene che le relazioni causali si basano su costrutti sottostanti che non si manifestano direttamente in risultati misurabili, e quindi "i dati misurabili non sono rappresentazioni accurate dei loro costrutti sottostanti" (p. 293). Sostiene quindi che esiste un aspetto dell'analisi statistica che implica deduzioni su relazioni causali sottostanti non osservabili che non si manifestano in differenze misurabili controfattuali nei risultati.

A meno che non fraintenda qualcosa, penso che sia giusto dire che questa idea è in tensione con le opinioni positiviste di Box e Friedman, come rappresentato nella citazione di Box. Il punto di vista positivista afferma essenzialmente che non esistono "costrutti" metafisici ammissibili oltre a quelli che si manifestano in risultati misurabili. Il positivismo si limita alla considerazione di dati osservabili e concetti basati su questi dati; esclude la considerazione a prioriconcetti metafisici. Pertanto, un positivista sosterrebbe che il concetto di causalità può essere valido solo nella misura in cui è definito in termini di risultati misurabili nella realtà --- nella misura in cui è definito come qualcosa di distinto da questo (poiché Shmueli lo tratta), questo sarebbe considerato una speculazione metafisica e sarebbe trattato come inammissibile nel discorso scientifico.

Quindi penso che tu abbia ragione --- questi due approcci sono essenzialmente in conflitto. L'approccio positivista usato da Box insiste sul fatto che validi concetti scientifici siano fondati interamente nelle loro manifestazioni nella realtà, mentre l'approccio alternativo usato da Shmueli afferma che ci sono alcuni "costrutti" che sono importanti concetti scientifici (che vogliamo spiegare) ma che non possono essere perfettamente rappresentati quando sono "resi operativi" mettendoli in relazione con risultati misurabili nella realtà.

Un modello, quando usato per spiegare le cose, è una semplificazione della realtà. Semplificazione è solo un'altra parola per "sbagliato in qualche modo utile". Ad esempio, se arrotondiamo il numero da 3.1415926535898 a 3.14 stiamo commettendo un errore, ma questo errore consente a noi umani di concentrarci sulla parte più importante di quel numero. Questo è il modo in cui i modelli vengono utilizzati per spiegare, fornisce approfondimenti su alcuni problemi, ma per necessità deve sottrarsi a molte altre cose: noi umani non siamo proprio bravi a guardare migliaia di cose contemporaneamente. Se ci preoccupiamo principalmente di prevedere, vogliamo includere quelle migliaia di cose ogni volta che è possibile, ma spiegare il compromesso è diverso.

Un esempio di un modello che è eccellente nella previsione ma che non spiega nulla è riportato nell'articolo di Wikipedia “ Tutti i modelli sono sbagliati ”. L'esempio è il modello di gravitazione di Newton. Il modello di Newton fornisce quasi sempre previsioni indistinguibili dalle osservazioni empiriche. Tuttavia il modello è estremamente non plausibile: perché postula una forza che può agire istantaneamente su distanze arbitrariamente grandi.

Il modello di Newton è stato soppiantato dal modello fornito nella teoria della relatività generale di Einstein. Con la relatività generale, le forze gravitazionali viaggiano attraverso lo spazio a velocità finita (la velocità della luce).

Il modello di Newton non è una semplificazione del modello relativistico generale. Per illustrarlo, considera una mela che cade da un albero. Secondo la relatività generale, la mela cade senza che la Terra eserciti alcuna forza sulla mela. (Il motivo principale per cui la mela cade è che la Terra deforma il tempo, in modo che gli orologi vicino alla base dell'albero corrano più lentamente degli orologi in alto nell'albero.) Pertanto, come osserva l'articolo di Wikipedia, il modello di Newton è completamente sbagliato da un esplicativo prospettiva.

L'articolo di Shmueli [2010] presume che ci siano due scopi per un modello: previsione e spiegazione. In effetti, diversi autori hanno affermato che ci sono tre scopi (vedi ad esempio Konishi & Kitagawa [ Criteri di informazione e modellistica statistica , 2008: §1.1] e Friendly & Meyer [ Discrete Data Analysis , 2016: §11.6]). I tre scopi corrispondono ai tre tipi di ragionamento logico:

• previsione (corrispondente alla detrazione);
• stima dei parametri (corrispondente all'induzione);
• descrizione della struttura (corrispondente al rapimento).

Sono una laurea in Statistica, quindi non mi definirò un esperto, ma qui sono i miei due centesimi.

Le modelle non si spiegano da sole; gli umani li interpretano. I modelli lineari sono più facili da comprendere rispetto alle reti neurali e alle foreste casuali perché sono più vicini al modo in cui prendiamo le decisioni. In effetti, le ANN imitano il cervello umano, ma non decidi quale ristorante andare domani facendo una serie di moltiplicazioni di matrice. Invece, soppesate alcuni fattori nella vostra mente per la loro importanza, che è essenzialmente una combinazione lineare.

Il "potere esplicativo" misura quanto bene un modello va d'accordo con l'intuizione umana, mentre il "potere predittivo" misura quanto bene si allinea con il meccanismo sottostante del processo in questione. La contraddizione tra loro è essenzialmente il divario tra ciò che il mondo è e come possiamo percepirlo / comprenderlo. Spero che questo spieghi perché "alcuni modelli fanno un buon lavoro di spiegazione, anche se fanno un cattivo lavoro nel predire".

Ian Stewart una volta disse: "Se i nostri cervelli fossero abbastanza semplici da farci capire, saremmo così semplici che non potremmo". Sfortunatamente, i nostri piccoli cervelli umani sono in realtà molto semplici rispetto all'universo, o persino a un mercato azionario (che coinvolge molti cervelli :). Fino ad ora, tutti i modelli sono prodotti dal cervello umano, quindi deve essere più o meno impreciso, il che porta a "Tutti i modelli sono sbagliati" di Box. D'altra parte, un modello non deve essere tecnicamente corretto per essere utile. Ad esempio, le leggi del moto di Newton sono state smentite da Einstein, ma rimane utile quando un oggetto non è ridicolmente grande o veloce.

Per rispondere alla tua domanda, onestamente non riesco a vedere l'incompatibilità tra i punti di Box e Shmueli. Sembra che tu consideri il "potere esplicativo" e il "potere predittivo" proprietà binomiali, ma penso che si collocano alle due estremità di uno spettro.