Ci sono lezioni statistiche dall'episodio del "Codice biblico"

Sebbene questa domanda sia in qualche modo soggettiva, spero che si qualifichi come una buona domanda soggettiva secondo le linee guida sulle domande frequenti . Si basa su una domanda che Olle Häggström mi ha posto un anno fa e sebbene io abbia qualche idea a riguardo, non ho una risposta definitiva e apprezzerei l'aiuto di altri.

Sfondo:

Un articolo intitolato "Sequenze di lettere equidistanti nel libro della Genesi" di D. Witztum, E. Rips e Y. Rosenberg affermava straordinariamente che il testo ebraico del Libro della Genesi codifica eventi che non si sono verificati fino a millenni dopo il testo fu scritto. Il documento è stato pubblicato da "Statistical Science" nel 1994 (Vol. 9 429-438), ed è stato offerto come un "puzzle stimolante" la cui soluzione può contribuire al campo della statistica.

In risposta, un altro articolo intitolato "Risolvere il puzzle del codice biblico" di B. McKay, D. Bar-Natan, M. Bar-Hillel e G. Kalai è apparso in Statistical science nel 1999 (Vol. 14 (1999) 150-173) . Il nuovo articolo sostiene che il caso di Witztum, Rips e Rosenberg è fatalmente difettoso, anzi che il loro risultato si limita a riflettere sulle scelte fatte nel progettare il loro esperimento e nel raccogliere i dati per esso. L'articolo presenta ampie prove a sostegno di tale conclusione.

(I miei interessi che sono riassunti nella Sezione 8 del nostro documento sono dettagliati in un altro rapporto tecnico con Bar Hillel e Mckay intitolato "I due famosi esperimenti sui rabbini: quanto simili sono troppo simili?" Vedi anche questo sito .)

Le domande:

La domanda specifica di Olle Häggström era:

"Una volta ho suggerito che il tuo documento potrebbe essere utile in un corso di statistica a livello universitario avanzato, allo scopo di illustrare le insidie del data mining e delle tecniche correlate. Sei d'accordo?"

Oltre alla domanda di Olle, vorrei fare una domanda più generale.

C'è qualcosa di correlato alle statistiche che abbiamo imparato (incluse forse alcune domande interessanti da porre) dall'episodio del Codice biblico.

Giusto per chiarire, la mia domanda è limitata alle intuizioni relative alle statistiche e non a qualsiasi altro aspetto di questo episodio.

hypothesis-testing data-mining

— Gil Kalai
fonte

questo è un argomento interessante. Sono curioso di sapere perché tu (McKay et al 1999) dovresti scegliere "Guerra e pace" come controllo piuttosto che, ad esempio, stringhe casuali di lettere (forse ponderate dalle loro frequenze osservate). In altre parole, è sufficiente che il testo sia sufficientemente lungo o deve essere sufficientemente lungo e comprensibile (o sufficientemente lungo e di qualche valore letterario)?

— David LeBauer,

David, la scelta di "Guerra e pace" come testo di controllo (Più precisamente l'inizio della traduzione ebraica di "Guerra e pace" della stessa lunghezza del Libro della Genesi) è stata fatta dai ricercatori originali. La storia secondo Aumann è questa: quando Bob Aumann, che ha seguito con attenzione l'esperimento, ha raccontato a Kenneth Arrow le meravigliose scoperte di "Genesi", Arrow ha chiesto cosa ne pensasse di "Guerra e pace". Aumann ha quindi iniziato a riferire sulla situazione di guerra e di pace in Israele, ma si è scoperto che ciò che Arrow chiedeva era se lo stesso fenomeno non potesse essere trovato in "Guerra e pace".

— Gil Kalai,

L'episodio del codice biblico sarebbe una buona illustrazione dei punti di forza della visione bayesiana della probabilità. In particolare, il fattore Bayes è sufficientemente grande dato che assegneremmo una piccola probabilità precedente a . (Essendo l'ipotesi che esiste un meccanismo per cui gli eventi del mondo sono codificati nella Bibbia).

P (D | H) / P (D | n o t H)

$P(D|H)/P(D|not H)$

P (H)

$P(H)$

— charles.y.zheng

A proposito, sei libero di pubblicare le tue risposte. Sarei molto interessato, dato che presumibilmente hai resistito a molte analisi dell'intera esperienza.

— Iteratore

Caro Iteratore, sì, sì, ho intenzione di farlo contemporaneamente.

— Gil Kalai,

Apparentemente no, se si considera che non è ancora stata data una risposta.

Più seriamente, però: in realtà c'erano alcune intuizioni nella domanda e nei commenti. L'intuizione principale sembra essere che hai bisogno di un controllo se vuoi dimostrare che qualcosa è insolito.

— Thomas Levine
fonte

-1. Questo non risponde davvero alla domanda e dovrebbe piuttosto essere stato un commento.

— ameba dice Ripristina Monica il