Qual è il problema con i test post-hoc?

Lo dice il mio professore di statistica, tutti i libri che guardo lo affermano: i test post-hoc non sono scientifici. Prima devi derivare un'ipotesi dalla teoria, quindi raccogliere i dati e analizzarli.

Ma davvero non capisco quale sia il problema.

Suppongo che io vedo cifre di vendita per diversi colori di auto e formi l'ipotesi che da un numero di auto di colore diverso vendute il più grande gruppo di auto sulla strada dovrebbe essere bianco. Quindi un giorno mi siedo in qualche strada e noto tutti i colori di tutte le macchine che mi passano. Quindi faccio alcuni test e trovo qualunque cosa.

Supponiamo che un giorno mi sia annoiato e mi sia seduto in qualche strada e abbia notato tutti i colori di tutte le macchine che mi hanno superato. Da quando amo i grafici, ho tracciato un grazioso istogramma e ho scoperto che le macchine bianche formano il gruppo più numeroso. Quindi penso che forse la maggior parte delle auto sulla strada sono bianche ed eseguono alcuni test.

In che modo e perché i risultati o l'interpretazione dei risultati del test post-hoc differiscono da quelli del test di ipotesi * basato sulla teoria?

_{* Qual è il nome per l'opposto di un test post-hoc, comunque?}

Vorrei aggiungere che la maggior parte delle nostre conoscenze sull'universo (la Terra si muove attorno al Sole) è dedotta post hoc dall'osservazione.

Mi sembra che in fisica sia perfettamente giusto supporre che non sia una coincidenza che il sole sia sorto in Oriente negli ultimi mille anni.

"Sai, stasera mi è successa la cosa più sorprendente. Stavo venendo qui, sulla strada per la lezione, e sono entrato nel parcheggio. E non ci crederai. Ho visto un'auto con la patente targa ARW 357. Riesci a immaginare? Di tutti i milioni di targhe nello stato, qual è stata la possibilità che avrei visto quella particolare stasera? Incredibile! " Richard Feynman

Sento di non essere in grado di spiegare gli aspetti tecnici profondi di questo problema. Tuttavia, penso che molti di essi possano essere ridotti a un'intuizione.

Nella prima configurazione inizi con alcune ipotesi che verifichi su nuovi dati (dall'esperimento progettato). Studiare le cifre delle vendite può portarti a un esperimento ben progettato, in cui puoi davvero decidere quanto forte dovrebbe essere la tua risposta (potere statistico, valori p, dimensioni del campione e altre cose).

Nel secondo set, innanzitutto, non si decide nulla sulla forza della risposta. Questo è un problema Il secondo problema è che l'estrazione dell'ipotesi dallo stesso campione utilizzato per i test aumenterà in modo molto incontrollabile le possibilità che i modelli casuali vengano interpretati come informazioni preziose. Quello che fai è notare qualcosa (che le macchine bianche sono in gran numero) e chiederti se questo è significativo. Il punto è che hai selezionato solo un fatto notevole visibile su quel campione, scartando altre ipotesi. In questo modo hai creato condizioni favorevoli per alcune ipotesi e hai infranto i presupposti della maggior parte dei test statistici apriori.

Non è scientifico comportarsi come se non si fosse a conoscenza di questa perdita , e fingere che si tratti di un esperimento con tutti i suoi presupposti, quando non è vero. È scientifico in questo caso utilizzare l'analisi post hoc per formulare un'ipotesi e progettare un nuovo esperimento per testarlo.

Se prima raccogli dati e poi costruisci una teoria basata sui dati, rischi di adattare una storia alle tue osservazioni. Il problema è che noi umani siamo estremamente bravi a scrivere storie. In altre parole: qualsiasi dato può essere "spiegato" da una storia, se la storia è abbastanza contorta.

Questo processo prevede aneddoti interessanti. Tuttavia, non vi è alcun motivo per cui dovrebbe spiegare la realtà e / o fornire buone previsioni. È necessario impostare e convalidare un modello per questo.

xkcd osserva che questo fenomeno pervade il "commento" sportivo :

Correlato è il fenomeno della pareidolia : vedere schemi in cui nessuno esiste. Vedi, ad esempio, la "Faccia" che la gente ha visto nelle precedenti immagini satellitari di Marte:

Inoltre, quando raccogli più dati, devi fare attenzione a non modificare la tua storia in modi sempre più bizzarri per farla "continuare" a "spiegare" le tue osservazioni :

La scienza opera formando ipotesi (che ovviamente sono motivate dall'esperienza), facendo previsioni basate su tali ipotesi e poi verificandole. Avrebbe senso osservare qualcosa nel passato, generalizzare questa osservazione in una teoria, ma poi trattare il passato stesso come una specie di esperimento retroattivo che convalida automaticamente la teoria? No, perché l'intera domanda era quanto bene generalizza la tua teoria, non se ha funzionato o meno una volta in passato. Questo è il motivo per cui testare le ipotesi suggerite dai dati è considerato una cattiva scienza.

Il tuo professore e le altre risposte hanno ragione sul fatto che l'analisi post hoc ha dei problemi. Tuttavia, hai anche ragione che molta buona scienza proviene dall'analisi post-hoc. Il punto chiave è che dovrebbero essere preferiti esperimenti ben progettati e che l'analisi post-hoc dovrebbe essere trattata con cautela e con strumenti speciali per prevenire manufatti spuri mancanti da scoperte reali. L'articolo di Wikipedia sul falso tasso di scoperta può fornire una visione del problema.

Solo per fare un paio di esempi:

• Se prendiamo misure biometriche sull'intera popolazione mondiale di bovini, possiamo concludere che i bovini hanno due narici. Questa è in effetti un'analisi post-hoc, ma la maggior parte della biologia, della vulcanologia o della storia è stata costruita in questo modo. Il motivo per cui non ignoriamo il fatto che il bestiame ha due narici è l'evidenza a favore del fatto che è così travolgente.
• Prendiamo i dati dai vitelli nati nell'anno precedente in un determinato allevamento di bestiame. Ci rendiamo conto che ogni martedì sotto la luna piena oltre il 50% dei vitelli appena nati erano femmine, ad eccezione delle festività pubbliche in quel paese o dei martedì invernali. Se in precedenza avessimo formulato l'ipotesi che quei giorni producessero più vitelli femminili, potremmo fare un test di ipotesi e accettare (o rifiutare) quell'ipotesi. Tuttavia, se si tiene conto del fatto che si tratta solo di un'analisi post-hoc, le prove non saranno sufficienti per respingere un fenomeno spurio.

C'è un articolo spesso citato che respinge ironicamente tutte le prove di paracadute utili come aneddotiche - che è solo una classe di prove particolarmente cattiva basata sull'analisi post-hoc.

E per usare un buon esempio usato dalla risposta di Stephan Kolassa: alcune macchie scure che ricordano una faccia su Marte possono essere respinte come pareidolia, ma qualcosa che riproduce l' Ultima Cena di Leonardo Da Vinci nei minimi dettagli non potrebbe.

Se non hai una teoria a sostegno delle tue proposizioni, allora anche se la tua proposizione è validata, potrebbe essere una coincidenza e non prova nulla. Ad esempio, trovo che faccio il vasino quando sorge il sole e lo faccio da 10 anni - sulla base di questi dati, un'analisi post-hoc mi dice che esiste una relazione tra il fatto che faccio il vasino e il sorgere del sole, mentre ciò che esiste è semplicemente una coincidenza. Il sole non sorge perché fai il vasino o viceversa.

La vita è piena di coincidenze. Le teorie sostenute dalla teoria eliminano tali coincidenze o pseudo-relazioni.

Ecco un'intuizione che potresti trovare utile. Se sei annoiato e conti le macchine, devi ancora ricordare che ciò che vedi è il risultato di un processo casuale. In particolare, le auto avrebbero potuto avere colori diversi.

Pertanto, se si forma l'ipotesi che il colore più frequente sia il bianco, potrebbe essere perché in realtà lo è, ma potrebbe anche essere che il colore più frequente sia il rosso ma, in quel particolare esperimento, il più frequente sia stato il bianco (che è sempre possibile ).

Ora, se lo fai post-hoc , testerai che il bianco è il più frequente e, dato che i dati suggeriscono che molto ipotesi, potresti concludere che il bianco è il più frequente ... Almeno, i dati non saranno mai in contraddizione l'ipotesi (post-hoc).