Alcune domande sulla casualità statistica

Da randoness statistico di Wikipedia :

La casualità globale e la casualità locale sono diverse. La maggior parte delle concezioni filosofiche della casualità sono globali, perché si basano sull'idea che "nel lungo periodo" una sequenza sembra veramente casuale, anche se alcune sotto-sequenze non sembrano casuali. In una sequenza "veramente" casuale di numeri di lunghezza sufficiente, ad esempio, è probabile che ci sarebbero lunghe sequenze di nient'altro che zeri, sebbene nel complesso la sequenza potrebbe essere casuale. La casualità locale si riferisce all'idea che possono esserci lunghezze minime della sequenza in cui le distribuzioni casuali sono approssimate.Lunghi tratti delle stesse cifre, anche quelli generati da processi "veramente" casuali, diminuirebbero la "casualità locale" di un campione (potrebbe essere localmente casuale solo per sequenze di 10.000 cifre; l'esecuzione di sequenze inferiori a 1.000 potrebbe non apparire casuale affatto, per esempio).

Una sequenza che mostra un modello non è quindi dimostrata non statisticamente casuale. Secondo i principi della teoria di Ramsey, oggetti sufficientemente grandi devono necessariamente contenere una determinata sottostruttura ("il disordine completo è impossibile").

Non capisco bene il significato delle due frasi in grassetto.

1. La prima frase significa che qualcosa rende una sequenza locale casuale a una lunghezza maggiore e non locale casuale a una lunghezza più breve?

   Come funziona l'esempio tra parentesi?

2. La seconda frase significa che una sequenza che mostra uno schema non può essere dimostrata come non statisticamente casuale? Perché?

Grazie

Il concetto può essere chiaramente illustrato da un codice eseguibile. Iniziamo (in R) usando un buon generatore di numeri pseudo casuali per creare una sequenza di 10.000 zeri e uno:

set.seed(17)
x <- floor(runif(10000, min=0, max=2))

Questo supera alcuni test numerici casuali di base. Ad esempio, un t-test per confrontare la media di ha un valore p 40.09 %, che permette di accettare l'ipotesi che zeri e sono ugualmente probabili.$1/2$$40.09$

Da questi numeri procediamo ad estrarre una sottosequenza di valori successivi a partire dal valore 5081st:$1000$

x0 <- x[1:1000 + 5080]

Se devono apparire casuali, devono anche superare gli stessi test numerici casuali. Ad esempio, testiamo se la loro media è 1/2:

> t.test(x0-1/2)

    One Sample t-test

data:  x0 - 1/2 
t = 2.6005, df = 999, p-value = 0.009445
alternative hypothesis: true mean is not equal to 0 
95 percent confidence interval:
 0.01006167 0.07193833 
sample estimates:
mean of x 
    0.041 

Il p-valore basso (meno dell'1%) suggerisce fortemente la media è significativamente maggiore di . In effetti, la somma cumulativa di questa sottosequenza ha una forte tendenza al rialzo:$1/2$

> plot(cumsum(x0-1/2))

Non è un comportamento casuale!

Il confronto della sequenza originale (tracciata come somma cumulativa) con questa sottosequenza rivela cosa sta succedendo:

$9000$

Come hanno dimostrato queste semplici analisi, nessun test può "provare" che una sequenza appare casuale. Tutto quello che possiamo fare è verificare se le sequenze si discostano abbastanza dai comportamenti attesi di sequenze casuali conto dell'offerta prova che sono , non a caso. È così che funzionano le batterie dei test a numeri casuali : cercano schemi altamente improbabili che si presentano in sequenze di numeri casuali. Di tanto in tanto ci indurranno a concludere che una sequenza di numeri veramente casuale non appare casuale: la rifiuteremo e proveremo qualcos'altro.

A lungo termine, però - proprio come siamo tutti morti - qualsiasi generatore di numeri veramente casuale genererà ogni possibile sequenza di 1000 cifre e lo farà all'infinito molte volte. Ciò che ci salva da un dilemma logico è che dovremmo aspettare molto tempo perché si verifichi un'aberrazione così apparente.

Questo estratto usa i termini "casualità locale" e "casualità globale" per distinguere tra ciò che può accadere con un numero finito di campioni di una variabile casuale e la distribuzione o aspettativa di probabilità di una variabile casuale.

$x_i$$\{0,1\}$$\theta$$\theta$$\lim_{n \to \infty} \frac{1}{n} \sum_{i=1}^n x_i = \theta$

$[0,1]$$[a,b]$$0 \leq a < b \leq 1$$\theta$

Niente di nuovo qui.

$n$

Quindi, non brucerei troppe cellule cerebrali pensando a questo estratto. Non è matematicamente così preciso e in realtà è fuorviante sulla natura della casualità.

Modifica in base al commento: @kjetilbhalvorsen +1 al tuo commento per la conoscenza storica. Tuttavia, penso ancora che il valore di questi termini sia limitato e fuorviante. Le tabelle che stai descrivendo sembrano implicare in modo fuorviante che piccoli campioni che hanno, ad esempio, un campione significano lontano dal valore atteso effettivo o forse una lunga sequenza improbabile ma certamente possibile di ripetuti 0 (nel mio esempio di Bernoulli), in qualche modo mostrano meno casualità (dicendo che non mostrano questa "casualità locale" falsa). Non riesco a pensare a qualcosa di più fuorviante per lo statistico in erba!

Penso che gli autori del post di Wikipedia stiano fraintendendo la casualità. Sì, potrebbero esserci tratti che sembrano non essere casuali, ma se il processo che ha creato la sequenza è veramente casuale, lo stesso deve essere l'output. Se certe sequenze sembrano non casuali, questa è una percezione errata del lettore (cioè gli umani sono progettati per trovare schemi). La nostra capacità di vedere il Big Dipper, e Orion, ecc. Nel cielo notturno non è una prova che i modelli di stelle non siano casuali. Concordo sul fatto che la casualità appare spesso non casuale. Se un processo genera modelli realmente non casuali per brevi sequenze, non è un processo casuale.

Non penso che il processo cambi a dimensioni del campione diverse. Aumentate le dimensioni del campione, aumentate la probabilità che vediamo una sequenza casuale che ci sembra non casuale. Se esiste una probabilità del 10% di vedere uno schema in 20 osservazioni casuali, aumentare il numero totale di osservazioni a 10000 aumenterebbe la probabilità di vedere la non casualità, da qualche parte.