Che cos'è esattamente l'alfa nella distribuzione di Dirichlet?

Sono abbastanza nuovo nelle statistiche bayesiane e mi sono imbattuto in una misura di correlazione corretta, SparCC , che utilizza il processo Dirichlet nel backend del suo algoritmo. Ho provato ad analizzare l'algoritmo passo dopo passo per capire davvero cosa sta succedendo, ma non sono sicuro di cosa alphafaccia esattamente il parametro vettoriale in una distribuzione di Dirichlet e come normalizzi il alphaparametro vettoriale?

L'implementazione è in Pythonuso NumPy: https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html

I documenti dicono:

alpha: array Parametro della distribuzione (dimensione k per campione di dimensione k).

Le mie domande:

In che modo alphasinfluisce sulla distribuzione ?;
Come vengono alphasnormalizzati ?; e
Cosa succede quando alphasnon sono numeri interi?

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

# Reproducibility
np.random.seed(0)

# Integer values for alphas
alphas = np.arange(10)
# array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

# Dirichlet Distribution
dd = np.random.dirichlet(alphas) 
# array([ 0.        ,  0.0175113 ,  0.00224837,  0.1041491 ,  0.1264133 ,
#         0.06936311,  0.13086698,  0.15698674,  0.13608845,  0.25637266])

# Plot
ax = pd.Series(dd).plot()
ax.set_xlabel("alpha")
ax.set_ylabel("Dirichlet Draw")

distributions bayesian dirichlet-distribution

— O.rka
fonte

Hai problemi con la voce di Wikipedia su questa distribuzione ?

— Xi'an,

Mi scuso, non credo di averlo scritto correttamente. Capisco cos'è una distribuzione di probabilità / pdf / pmf ma ero confuso su come stava avvenendo la normalizzazione. Da Wikipedia, sembra che la normalizzazione si stia verificando tramite le funzioni gamma dopo il . L'ho sentito dire come una distribuzione su distribuzioni ed è difficile vederlo dagli eqns su Wikipedia.

\prod {x_{i}}^{α - 1}

${\prod}{x_i}^{\alpha - 1}$

— O.rka,

Se normalizzi gli alfa, otterrai la media della distribuzione. Se normalizzi la distribuzione, assicuri che il suo integrale sul suo supporto sia uguale a 1 e che sia quindi una distribuzione di probabilità valida.

— Eskapp,

La distribuzione di Dirichlet è una distribuzione sul simplex, quindi una distribuzione su distribuzioni di supporto finite. Se miri a una distribuzione su distribuzioni continue, dovresti esaminare il processo di Dirichlet.

— Xi'an,

Risposte:

La distribuzione di Dirichlet è una distribuzione di probabilità multivariata che descrive le variabili , in modo tale che ogni e , che è parametrizzato da un vettore di parametri a valore positivo . I parametri non devono essere numeri interi, devono solo essere numeri reali positivi. Non sono in alcun modo "normalizzati", sono parametri di questa distribuzione. $k\ge2$ $X_1,\dots,X_k$ $x_i \in (0,1)$ $\sum_{i=1}^N x_i = 1$ $\boldsymbol{\alpha} = (\alpha_1,\dots,\alpha_k)$

La distribuzione di Dirichlet è una generalizzazione della distribuzione beta in più dimensioni, quindi puoi iniziare imparando a conoscere la distribuzione beta. Beta è una distribuzione univariata di una variabile casuale parametrizzata dai parametri e . La buona intuizione al riguardo viene se ricordi che è un coniugato precedente per la distribuzione binomiale e se assumiamo un precedente beta parametrizzato da e per il parametro di probabilità della distribuzione binomiale , allora anche la distribuzione posteriore di è un distribuzione beta parametrizzata da $X \in (0,1)$ $\alpha$ $\beta$ $\alpha$ $\beta$ $p$ $p$ $\alpha' = \alpha + \text{number of successes}$ e . Quindi puoi pensare a e come a pseudocount (non devono essere numeri interi) di successi e insuccessi (controlla anche questo thread ). $\beta' = \beta + \text{number of failures}$ $\alpha$ $\beta$

Nel caso della distribuzione di Dirichlet, è un coniugato precedente per la distribuzione multinomiale . Se nel caso della distribuzione binomiale possiamo pensarci in termini di disegno di palline bianche e nere con sostituzione dall'urna, quindi nel caso della distribuzione multinomiale stiamo disegnando con palline di sostituzione che appaiono in colori, dove ciascuno dei colori delle palle può essere disegnato con probabilità . La distribuzione di Dirichlet è un coniugato precedente per le probabilità e i parametri possono essere pensati come pseudocount di sfere di ogni colore assunto a priori $N$ $k$ $p_1,\dots,p_k$ $p_1,\dots,p_k$ $\alpha_1,\dots,\alpha_k$ (ma dovresti leggere anche le insidie di tale ragionamento ). Nel modello multinomiale di Dirichlet vengono aggiornati sommandoli con i conteggi osservati in ciascuna categoria: in modo simile come nel caso del modello beta-binomiale. $\alpha_1,\dots,\alpha_k$ $\alpha_1+n_1,\dots,\alpha_k+n_k$

Il valore più alto di , il "peso" maggiore di e la quantità maggiore della "massa" totale gli viene assegnata (ricorda che in totale deve essere ). Se tutti sono uguali, la distribuzione è simmetrica. Se , può essere pensato come anti-peso che allontana verso gli estremi, mentre quando è alto attira verso un valore centrale (centrale nel senso che tutti i punti sono concentrati attorno ad esso, non nel sentire che è simmetricamente centrale). Se , i punti vengono distribuiti uniformemente. $\alpha_i$ $X_i$ $x_1+\dots+x_k=1$ $\alpha_i$ $\alpha_i < 1$ $x_i$ $x_i$ $\alpha_1 = \dots = \alpha_k = 1$

Questo può essere visto nei grafici seguenti, dove puoi vedere banali distribuzioni di Dirichlet (sfortunatamente possiamo produrre grafici ragionevoli solo fino a tre dimensioni) parametrizzati da (a) , (b) , (c) , (d) . $\alpha_1 = \alpha_2 = \alpha_3 = 1$ $\alpha_1 = \alpha_2 = \alpha_3 = 10$ $\alpha_1 = 1, \alpha_2 = 10, \alpha_3 = 5$ $\alpha_1 = \alpha_2 = \alpha_3 = 0.2$

La distribuzione di Dirichlet è talvolta chiamata "distribuzione su distribuzioni" , dal momento che può essere pensata come una distribuzione delle probabilità stesse. Si noti che poiché ogni e , allora sono coerenti con il primo e il secondo assioma della probabilità . Quindi puoi usare la distribuzione di Dirichlet come distribuzione di probabilità per eventi discreti descritti da distribuzioni come categoriali o multinomiali . E ' non è $x_i \in (0,1)$ $\sum_{i=1}^k x_i = 1$ $x_i$ vero che si tratta di una distribuzione su qualsiasi distribuzione, ad esempio non è correlata alle probabilità di variabili casuali continue, o anche alcune discrete (ad esempio una variabile casuale distribuita di Poisson descrive le probabilità di osservare valori che sono numeri naturali, quindi per usare un Distribuzione di Dirichlet sulle loro probabilità, avresti bisogno di un numero infinito di variabili casuali ). $k$

— Tim
fonte

Spiegazione incredibile

— O.rka,

Disclaimer: non ho mai lavorato con questa distribuzione prima. Questa risposta si basa su questo articolo di Wikipedia e sulla mia interpretazione di esso.

La distribuzione di Dirichlet è una distribuzione di probabilità multivariata con proprietà simili alla distribuzione Beta.

Il PDF è definito come segue:

{x_{1}, \dots, x_{K}} \sim \frac{1}{B (α)} \prod_{i = 1}^{K} x_{i}^{α_{i} - 1}

$\{x_1, \dots, x_K\} \sim\frac{1}{B(\boldsymbol{\alpha})}\prod_{i=1}^Kx_i^{\alpha_i - 1}$

con , e . $K \geq 2$ $x_i \in (0,1)$ $\sum_{i=1}^Kx_i = 1$

Se osserviamo la distribuzione beta strettamente correlata:

{x_{1}, x_{2} (= 1 - x_{1})} \sim \frac{1}{B (α, β)} x_{1}^{α - 1} x_{2}^{β - 1}

$\{x_1, x_2 (=1-x_1)\} \sim \frac{1}{B(\alpha,\beta)}x_1^{\alpha-1}x_2^{\beta-1}$

possiamo vedere che queste due distribuzioni sono uguali se . Quindi basiamo prima la nostra interpretazione su questo e poi generalizziamo a . $K=2$ $K>2$

Nelle statistiche bayesiane, la distribuzione Beta viene utilizzata come coniugato prima dei parametri binomiali (Vedi distribuzione Beta ). Il precedente può essere definito come una conoscenza precedente su e (o in linea con la distribuzione di Dirichlet e ). Se qualche prova binomio ha poi successi e fallimenti, la distribuzione a posteriori è quindi la seguente: e . (Non lo risolverò, poiché questa è probabilmente una delle prime cose che impari con le statistiche bayesiane). $\alpha$ $\beta$ $\alpha_1$ $\alpha_2$ $A$ $B$ $\alpha_{1,pos} = \alpha_1 + A$ $\alpha_{2,pos}=\alpha_2 + B$

Quindi la distribuzione Beta rappresenta quindi una distribuzione posteriore su e , che può essere interpretata come la probabilità di successi e insuccessi rispettivamente in una distribuzione binomiale. E più dati ( e ) hai, più stretta sarà questa distribuzione posteriore. $x_1$ $x_2 (=1-x_1)$ $A$ $B$

Ora sappiamo come funziona la distribuzione per , possiamo generalizzarla per funzionare per una distribuzione multinomiale anziché un binomio. Ciò significa che invece di due possibili esiti (successo o fallimento), consentiremo esiti (vedi perché si generalizza a Beta / Binom se ?). Ognuno di questi risultati avrà una probabilità , che si somma a 1 come fanno le probabilità. $K=2$ $K$ $K=2$ $K$ $x_i$

$\alpha_i$ assume quindi un ruolo simile a e nella distribuzione Beta come precedente per e viene aggiornato in modo simile. $\alpha_1$ $\alpha_2$ $x_i$

Quindi ora per arrivare alle tue domande:

In che modo alphasinfluisce sulla distribuzione?

La distribuzione è limitata dalle restrizioni e . Il determinare quali parti del spazio dimensionale ottenere il massimo di massa. Puoi vederlo in questa immagine (non incorporarlo qui perché non possiedo l'immagine). Più dati ci sono nella parte posteriore (usando quell'interpretazione) maggiore è il , quindi più sei sicuro del valore di o delle probabilità per ciascuno dei risultati. Ciò significa che la densità sarà più concentrata. $x_i \in (0,1)$ $\sum_{i=1}^Kx_i = 1$ $\alpha_i$ $K$ $\sum_{i=1}^K\alpha_i$ $x_i$

Come vengono alphasnormalizzati?

La normalizzazione della distribuzione (assicurandosi che l'integrale sia uguale a 1) passa attraverso il termine : $B(\boldsymbol{\alpha})$

B (α) = \frac{\prod_{i = 1}^{K} Γ (α_{i})}{Γ (\sum_{i = 1}^{K} α_{i})}

$B(\boldsymbol{\alpha}) = \frac{\prod_{i=1}^K\Gamma(\alpha_i)}{\Gamma(\sum_{i=1}^K\alpha_i)}$

Ancora una volta, se osserviamo il caso , possiamo vedere che il fattore di normalizzazione è lo stesso della distribuzione Beta, che utilizzava quanto segue: $K=2$

B (α_{1}, α_{2}) = \frac{Γ (α_{1}) Γ (α_{2})}{Γ (α_{1} + α_{2})}

$B(\alpha_1, \alpha_2) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)}{\Gamma(\alpha_1+\alpha_2)}$

Questo si estende a

B (α) = \frac{Γ (α_{1}) Γ (α_{2}) \dots Γ (α_{K})}{Γ (α_{1} + α_{2} + \dots + α_{K})}

$B(\boldsymbol{\alpha}) = \frac{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots\Gamma(\alpha_K)}{\Gamma(\alpha_1+\alpha_2+\dots+\alpha_K)}$

Cosa succede quando gli alfa non sono numeri interi?

L'interpretazione non cambia per , ma come puoi vedere nell'immagine che ho collegato prima , se la massa della distribuzione si accumula ai bordi dell'intervallo per . d'altra parte deve essere un numero intero e . $\alpha_i>1$ $\alpha_i < 1$ $x_i$ $K$ $K\geq2$

— JAD
fonte

Grazie per questo. La tua spiegazione è stata super utile. Vorrei poter averli contrassegnati entrambi come corretti.

— O.rka,