Quanto è strano un gruppo di incidenti aerei?

Domanda originale (25/07/14): questa citazione dai media ha senso, o esiste un modo statistico migliore per visualizzare l'ondata di incidenti aerei recenti?

Tuttavia, Barnett attira anche l'attenzione sulla teoria della distribuzione di Poisson, che implica che brevi intervalli tra gli incidenti sono in realtà più probabili di quelli lunghi.

"Supponiamo che ci sia una media di un incidente mortale all'anno, il che significa che la possibilità di un incidente in un dato giorno è uno su 365", afferma Barnett. "Se si verifica un arresto anomalo il 1 ° agosto, la possibilità che si verifichi l'incidente successivo il 2 agosto successivo è 1/365. Ma la probabilità che l'incidente successivo si verifichi il 3 agosto è (364/365) x (1/365) , perché il prossimo incidente si verifica il 3 agosto solo se non si verifica un arresto anomalo il 2 agosto. "

"Sembra controintuitivo, ma la conclusione segue inesorabilmente dalle leggi della probabilità", afferma Barnett.

Fonte: http://www.bbc.com/news/magazine-28481060

Chiarimento (27/07/14): Ciò che è contro intuitivo (per me) sta dicendo che eventi rari tendono a verificarsi vicino nel tempo. Intuitivamente, penserei che eventi rari non si verrebbero vicino nel tempo. Qualcuno può indicarmi una distribuzione teorica o empirica attesa del tempo tra eventi sotto i presupposti di una distribuzione di Poisson? (Cioè, un istogramma in cui l'asse y è frequenza o probabilità e l'asse x è tempo tra 2 occorrenze consecutive raggruppate in giorni, settimane, mesi o anni o simili.) Grazie.

Chiarimento (28/07/14): il titolo implica che è più probabile che vi siano gruppi di incidenti rispetto agli incidenti ampiamente distanziati. Consente di rendere operativo questo. Diciamo che un cluster è composto da 3 incidenti aerei e un breve periodo di tempo è di 3 mesi e un lungo periodo di tempo di 3 anni. Sembra illogico pensare che vi sia una maggiore probabilità che si verifichino 3 incidenti entro un periodo di 3 mesi rispetto a un periodo di 3 anni. Anche se prendiamo per scontato il primo incidente, è illogico pensare che entro i prossimi 3 mesi si verificheranno altri 2 incidenti rispetto ai prossimi 3 anni. Se questo è vero, allora il titolo dei media è fuorviante e errato. Mi sto perdendo qualcosa?

Riepilogo: la prima frase del paragrafo citato della BBC è sciatta e fuorviante.

Anche se le risposte e i commenti precedenti hanno già fornito un'ottima discussione, ritengo che alla domanda principale non sia stata data una risposta soddisfacente.

Quindi supponiamo che una probabilità di un incidente aereo in un dato giorno è e che gli arresti sono indipendenti gli uni dagli altri. Supponiamo inoltre che un aereo sia precipitato il 1 ° gennaio. Quando si schianterebbe il prossimo aereo?$p=1/365$

Bene, facciamo una semplice simulazione: per ogni giorno per i prossimi tre anni deciderò a caso se un altro aereo si è schiantato con probabilità e annoto il giorno del prossimo incidente; Ripeterò questa procedura $p$ volte. Ecco l'istogramma risultante:$100\,000$

$\mathrm{Pr}(t) = (1-p)^t p$$t$

$0.27\%$$0.10\%$

$0.8\%$$94\%$ Ecco perché anche con una distribuzione di probabilità monotonicamente decrescente è sicuramente possibile che "ammassi" (ad esempio due incidenti aerei in tre giorni) siano molto improbabili.

Ecco un altro istogramma per ottenere davvero questo punto. È semplicemente una somma dell'istogramma precedente in diversi periodi di tempo non intersecanti:

Ciò che il giornalista sta dicendo è che l'occorrenza casuale di un incidente aereo può essere modellata come un processo di Poisson - una situazione in cui la probabilità che un evento si verifichi in un intervallo (piccolo) è proporzionale alla lunghezza di detto intervallo e in cui ciascuna occorrenza in Indipendente da tutti gli altri.

È un modello ragionevole per lo scenario descritto?

Probabilmente.

Certo, questi eventi potrebbero non essere indipendenti al 100% poiché altri piloti probabilmente modificano il loro comportamento (anche se solo leggermente) dopo un incidente. [Non lo so - forse alcuni piloti eseguono un po 'di addestramento in più sul simulatore o qualcosa del genere]. Tuttavia, l'ipotesi di indipendenza è ancora del tutto ragionevole.

E i gruppi di incidenti aerei?

Sì. Dato un processo di Poisson (o anche qualche altro processo casuale), si dovrebbe aspettare di vedere alcuni gruppi di occorrenze.

In effetti, come descritto dall'Oxford Dictionary of Statistics nella sua voce per il processo di Poisson (che è una "descrizione matematica della casualità"):

[R]andomness usually gives rise to apparent clustering, despite the natural
expectation that randomness would lead to regularity.

Ad esempio, dai un'occhiata a questo semplice bit di codice R :

set.seed(123)
x <- runif(500)
y <- runif(500)

plot(x, y, pch=20, col='blue', main="A Random Distribution of Points")

che produce:

Anche se sappiamo che questo è un diagramma di punti casuali, sembra che ci siano alcuni bit non casuali - in particolare, in alcune parti del grafico ci sono gruppi di punti mentre altre parti sono spalancate. È lo stesso tipo di comportamento che l'articolo sta cercando di descrivere (solo con i dati di serie temporali e non con i dati spaziali ).

AGGIORNARE:

@JoelW .: Quindi, ad esempio, supponiamo che la probabilità che un aereo si schianti domani (o in qualsiasi altro giorno) sia " p " (e, diciamo " p " è qualcosa come 1 su cento).

Il motivo per cui il prossimo incidente aereo è più probabile che si verifichi domani rispetto a più probabilità che si verifichi esattamente tra un anno (ovvero il 26 luglio 2015 ) è perché la probabilità che il prossimo incidente si verifichi esattamente in un anno è uguale a:

= Prob(crash tomorrow) * Prob(365 days with *no* crashes)

Ha senso?

In definitiva, credo che la ragione per queste cose sono contro-intuitivo è perché di solito quando pensiamo a una frase come: "The odds of a plane crash in one month compared with the odds of one happening tomorrow". Naturalmente non consideriamo immediatamente il periodo di 24 ore che inizia esattamente tra un mese. Invece, noi (o almeno lo faccio) tendiamo a pensarci in modo più, beh, flessibile . Quindi, più simile a: a month ± a week. Questo e il fatto che ci dimentichiamo di prendere in considerazione le probabilità di un incidente che non si verifica nel frattempo ... (Ma di nuovo, forse sono solo io ...).

Accidenti!

Risorse addizionali:

• Articolo di Wikipedia su Clustering Illusion
• Un pdf che menziona specificamente il "raggruppamento" di incidenti aerei (a pagina 8) e descrive brevemente la matematica di un processo di Poisson .

Se il numero di incidenti aerei è distribuito da Poisson (come sembra affermare), il tempo tra gli incidenti ha una distribuzione esponenziale. Il pdf della distribuzione esponenziale è una funzione decrescente monotona del tempo. Quindi gli arresti precedenti sono più probabili degli arresti successivi.

Le altre risposte hanno già affrontato come cluster di eventi indipendenti . (Leggere il caos di Gleick, tanti anni fa, mi ha aperto gli occhi su questa idea.)

Ma, in realtà, ci sono prove evidenti che gli incidenti aerei non sono eventi indipendenti. L'influenza di Cialdini ha un ottimo capitolo su questo (menzionato anche qui che ha un paio di collegamenti ai dati; e ho trovato un estratto di quella parte del libro ). Ovviamente questo è altamente controverso: in sostanza sta dicendo che più un incidente aereo è pubblicizzato, più è probabile che influenzi un pilota (consciamente o inconsciamente) a far schiantare il suo aereo. Ma le spiegazioni psicologiche alla base dell'ipotesi sembrano plausibili e anche i dati sembrano supportarla.

(Nei commenti sarebbero benvenuti collegamenti a ricerche di debunking basate su statistiche.)