Qual è l'intuizione alla base della distribuzione beta?

Disclaimer: non sono uno statistico ma un ingegnere del software. La maggior parte delle mie conoscenze in statistica proviene dall'autoeducazione, quindi ho ancora molte lacune nella comprensione dei concetti che possono sembrare banali per altre persone qui. Quindi sarei molto grato se le risposte includessero termini meno specifici e più spiegazioni. Immagina di parlare con tua nonna :)

Sto cercando di capire la natura della distribuzione beta : a cosa dovrebbe essere usata e come interpretarla in ogni caso. Se stessimo parlando, diciamo, della distribuzione normale, si potrebbe descriverlo come orario di arrivo di un treno: più spesso arriva giusto in tempo, un po 'meno frequentemente è 1 minuto prima o 1 minuto di ritardo e molto raramente arriva con differenza di 20 minuti dalla media. La distribuzione uniforme descrive, in particolare, la possibilità di ogni biglietto alla lotteria. La distribuzione binomiale può essere descritta con lanci di monete e così via. Ma esiste una spiegazione così intuitiva della distribuzione beta ?

Diciamo, e . La distribuzione beta in questo caso si presenta così (generata in R):β = .5 B ( α , β $\alpha=.99$$\beta=.5$$B(\alpha, \beta)$

Ma cosa significa in realtà? L'asse Y è ovviamente una densità di probabilità, ma cosa c'è sull'asse X?

Apprezzerei molto ogni spiegazione, sia con questo esempio che con qualsiasi altro.

La versione breve è che la distribuzione Beta può essere intesa come rappresentativa di una distribuzione di probabilità , ovvero rappresenta tutti i possibili valori di una probabilità quando non sappiamo quale sia quella probabilità. Ecco la mia spiegazione intuitiva preferita di questo:

Chiunque segua il baseball ha familiarità con le medie di battuta - semplicemente il numero di volte in cui un giocatore ottiene un colpo base diviso per il numero di volte che sale a pipistrello (quindi è solo una percentuale tra 0e 1). .266è generalmente considerata una media di battuta media, mentre .300è considerata eccellente.

Immagina di avere un giocatore di baseball e vogliamo predire quale sarà la sua media battuta per tutta la stagione. Potresti dire che possiamo usare la sua media di battuta finora, ma questa sarà una misura molto scarsa all'inizio di una stagione! Se un giocatore sale una volta e batte un singolo, la sua media in battuta è brevemente 1.000, mentre se colpisce, la sua media in battuta è 0.000. Non va molto meglio se vai a battere cinque o sei volte: potresti ottenere una serie fortunata e ottenere una media 1.000, o una serie sfortunata e ottenere una media 0, nessuna delle quali è un buon predittore remoto di come batterai quella stagione.

Perché la tua media battuta nei primi colpi non è un buon predittore della tua media battuta? Quando il primo at-bat di un giocatore è uno strikeout, perché nessuno prevede che non avrà mai un colpo per tutta la stagione? Perché stiamo entrando con le aspettative precedenti. Sappiamo che nella storia, la maggior parte delle medie di battuta nel corso di una stagione sono rimaste tra qualcosa di simile .215e .360, con alcune eccezioni estremamente rare su entrambi i lati. Sappiamo che se un giocatore ottiene alcuni strikeout di fila all'inizio, ciò potrebbe indicare che finirà un po 'peggio della media, ma sappiamo che probabilmente non si discosterà da quel range.

Dato il nostro problema medio di battuta, che può essere rappresentato con una distribuzione binomiale (una serie di successi e fallimenti), il modo migliore per rappresentare queste aspettative precedenti (ciò che in statistica chiamiamo semplicemente un precedente ) è con la distribuzione Beta - sta dicendo, prima di vedere il giocatore fare il suo primo swing, quello che ci aspettiamo che sia la sua media in battuta. Il dominio della distribuzione Beta è (0, 1), proprio come una probabilità, quindi sappiamo già che siamo sulla buona strada, ma l'adeguatezza della Beta per questo compito va ben oltre.

Ci aspettiamo che la media della battuta per tutta la stagione del giocatore sarà molto probabilmente in giro .27, ma che potrebbe ragionevolmente variare da .21a .35. Questo può essere rappresentato con una distribuzione Beta con i parametri e β = 219 :$\alpha=81$$\beta=219$

curve(dbeta(x, 81, 219))

Ho escogitato questi parametri per due motivi:

• La media è $\frac{\alpha}{\alpha+\beta}=\frac{81}{81+219}=.270$
• Come puoi vedere nella trama, questa distribuzione è quasi interamente all'interno (.2, .35)- l'intervallo ragionevole per una media battuta.

Hai chiesto cosa rappresenta l'asse x in un grafico della densità di distribuzione beta: qui rappresenta la sua media di battuta. Si noti quindi che in questo caso, non solo l'asse y è una probabilità (o più precisamente una densità di probabilità), ma anche l'asse x (la media battuta è solo una probabilità di un colpo, dopo tutto)! La distribuzione Beta rappresenta una distribuzione di probabilità delle probabilità .

Ma ecco perché la distribuzione Beta è così appropriata. Immagina che il giocatore riceva un singolo colpo. Il suo record per la stagione è ora 1 hit; 1 at bat. Dobbiamo quindi aggiornare le nostre probabilità. Vogliamo spostare l'intera curva di poco per riflettere le nostre nuove informazioni. Mentre la matematica per dimostrarlo è un po 'coinvolta ( è mostrata qui ), il risultato è molto semplice . La nuova distribuzione Beta sarà:

$\mbox{Beta}(\alpha_0+\mbox{hits}, \beta_0+\mbox{misses})$

Dove e β 0 sono i parametri con cui siamo partiti, ovvero 81 e 219. Pertanto, in questo caso, α è aumentato di 1 (il suo unico colpo), mentre β non è aumentato affatto (nessun mancato ancora). Ciò significa che la nostra nuova distribuzione è Beta ( 81 + 1 , 219 ) o:$\alpha_0$$\beta_0$$\alpha$$\beta$$\mbox{Beta}(81+1, 219)$

curve(dbeta(x, 82, 219))

Si noti che è appena cambiato, il cambiamento è davvero invisibile a occhio nudo! (Questo perché un colpo non significa davvero nulla).

$\mbox{Beta}(81+100, 219+200)$

curve(dbeta(x, 81+100, 219+200))

Si noti che la curva è ora più sottile e spostata verso destra (media battuta più alta) rispetto al passato: abbiamo una migliore percezione di quale sia la media battuta del giocatore.

$\frac{\alpha}{\alpha+\beta}$$\frac{81+100}{81+100+219+200}=.303$$\frac{100}{100+200}=.333$$\frac{81}{81+219}=.270$

Pertanto, la distribuzione Beta è la migliore per rappresentare una distribuzione probabilistica di probabilità - il caso in cui non sappiamo quale sia la probabilità in anticipo, ma abbiamo alcune ipotesi ragionevoli.

Una distribuzione Beta viene utilizzata per modellare cose che hanno un intervallo limitato, come 0 a 1.

Esempi sono la probabilità di successo in un esperimento che ha solo due risultati, come successo e fallimento. Se esegui un numero limitato di esperimenti e alcuni hanno esito positivo, puoi rappresentare ciò che ti dice una distribuzione beta.

Un altro esempio sono le statistiche degli ordini . Ad esempio, se generi diversi (diciamo 4) numeri 0,1 uniformi casuali e li ordini, qual è la distribuzione del terzo?

$n$$s$$s>1$$Beta(s+1, (n-s)+1)$

Altre informazioni al riguardo ...

$(0,1)$

$U_1$$\ldots$$U_n$$n$$(0,1)$$U_{(1)}$$\ldots$$U_{(n)}$$(U_1, \ldots, U_n)$$U_1$$\ldots$$U_n$$U_{(1)}=\min(U_i)$$U_{(n)}=\max(U_i)$$U_{(k)} \sim \textrm{Beta}(k, n+1-k)$$k=1,\ldots,n$

Questo risultato mostra che le distribuzioni Beta appaiono naturalmente in matematica e ha alcune interessanti applicazioni in matematica.

Ci sono due motivazioni principali:

Innanzitutto, la distribuzione beta è coniugata prima della distribuzione di Bernoulli. Ciò significa che se hai una probabilità sconosciuta come la propensione di una moneta che stai stimando con ripetute lancette di monete, allora la probabilità indotta sulla propensione sconosciuta da una sequenza di lanci di monete viene distribuita beta.

$\log(x)$$\log(1-x)$$x$$[0,1]$$x_1, \dots, x_n$

La distribuzione beta non è speciale per modellare in generale cose su [0,1] poiché molte distribuzioni possono essere troncate a quel supporto e sono più applicabili in molti casi.

Supponiamo che un venditore su qualche sito di e-commerce riceva 500 valutazioni di cui 400 sono buone e 100 sono cattive.

$p$

La qualità ingenua in termini di valutazioni del venditore è dell'80% perché 0,8 = 400 / 500. Ma la qualità "vera" in termini di valutazioni che non conosciamo.

$p=77\%$

$p$

$\alpha=400+1$$\beta=100+1$

$p$

library(ggplot2)

# 90% positive of 10 ratings
o1 <- 9
o0 <- 1
M <- 100
N <- 100000

m <- sapply(0:M/M,function(prob)rbinom(N,o1+o0,prob))
v <- colSums(m==o1)
df_sim1 <- data.frame(p=rep(0:M/M,v))
df_beta1 <- data.frame(p=0:M/M, y=dbeta(0:M/M,o1+1,o0+1))

# 80% positive of 500 ratings
o1 <- 400
o0 <- 100
M <- 100
N <- 100000

m <- sapply(0:M/M,function(prob)rbinom(N,o1+o0,prob))
v <- colSums(m==o1)
df_sim2 <- data.frame(p=rep(0:M/M,v))
df_beta2 <- data.frame(p=0:M/M, y=dbeta(0:M/M,o1+1,o0+1))

ggplot(data=df_sim1,aes(p)) +
    scale_x_continuous(breaks=0:10/10) +

    geom_histogram(aes(y=..density..,fill=..density..),
        binwidth=0.01, origin=-.005, colour=I("gray")) +
    geom_line(data=df_beta1 ,aes(p,y),colour=I("red"),size=2,alpha=.5) +

    geom_histogram(data=df_sim2, aes(y=..density..,fill=..density..),
        binwidth=0.01, origin=-.005, colour=I("gray")) +
    geom_line(data=df_beta2,aes(p,y),colour=I("orange"),size=2,alpha=.5)

http://www.joyofdata.de/blog/an-intuitive-interpretation-of-the-beta-distribution/

Finora la preponderanza delle risposte ha riguardato la logica della generazione di camper beta come precedente per le proporzioni di un campione e una risposta intelligente ha correlato i camper beta per ordinare le statistiche.

Le distribuzioni Beta derivano anche da una semplice relazione tra due RV gamma (k_i, 1), i = 1,2 li chiama X e Y. X / (X + Y) ha una distribuzione Beta.

I camper gamma hanno già la loro logica nel modellare i tempi di arrivo per eventi indipendenti, quindi non affronterò questo dato che non è una tua domanda. Ma una "frazione di tempo" impiegata per completare una delle due attività eseguite in sequenza si presta naturalmente a una distribuzione Beta.

$x$$(1-x)$$f(x;\alpha,\beta) = \text{constant}\cdot x^{\alpha-1}(1-x)^{\beta-1}$$1/B(\alpha,\beta)$$\alpha$$\beta$è come un "peso" per il contributo del fallimento. Hai uno spazio di parametri bidimensionale (uno per il contributo dei successi e uno per il contributo dei fallimenti) che rende difficile pensare e capire.

Nell'esempio citato i parametri sono alpha = 81 e beta = 219 dell'anno precedente [81 risultati in 300 a pipistrelli o (81 e 300 - 81 = 219)]

Non so come si chiamino l'ipotesi precedente di 81 hit e 219 out, ma in inglese, questa è l'assunzione a priori.

Notare come la stagione avanza la curva si sposta a sinistra o a destra e la probabilità modale si sposta a sinistra o a destra, ma c'è ancora una curva.

Mi chiedo se il Laa dei Grandi Numeri alla fine prenda piede e riporti la media in battuta a 0,270.

Per indovinare l'alfa e la beta in generale si dovrebbe prendere il numero completo di occorrenze precedenti (ai pipistrelli), la media battuta come nota, ottenere i colpi totali (l'alfa), la beta o il totale generale meno i fallimenti) e voilà - hai la tua formula. Quindi, lavorare i dati aggiuntivi come mostrato.

$F(X) = \tanh ((x/p)^n)$

A proposito, che succede se produci una distribuzione dimensionale da un'osservazione microscopica e hai una distribuzione di particelle in numero e il tuo obiettivo è lavorare con una distribuzione di volume? È quasi obbligatorio ottenere la distribuzione originale in numero limitato a destra. Pertanto, la trasformazione è più coerente perché si è certi che nella nuova distribuzione del volume non venga visualizzata alcuna modalità, né mediana né media dimensione al di fuori dell'intervallo in cui si sta lavorando. Inoltre, eviti l'effetto Groenlandia Africa.

La trasformazione è molto semplice se hai forme regolari, cioè una sfera o un prisma. Dovresti aggiungere tre unità al parametro alfa della distribuzione del numero beta e ottenere la distribuzione del volume.

Penso che non ci sia intuizione dietro la distribuzione beta! La distribuzione beta è solo una distribuzione molto flessibile con la gamma FIX! E per i numeri interi aeb è persino facile da gestire. Anche molti casi speciali della beta hanno il loro significato nativo, come la distribuzione uniforme. Quindi, se i dati devono essere modellati in questo modo o con una flessibilità leggermente maggiore, allora la beta è un'ottima scelta.

In un'altra domanda riguardante la distribuzione beta viene fornita la seguente intuizione dietro beta:

In altre parole, la distribuzione beta può essere vista come la distribuzione delle probabilità al centro di una distribuzione agitata.

Per i dettagli, consulta la risposta completa su https://stats.stackexchange.com/a/429754/142758