Distribuzioni su sottoinsiemi di ?

Mi chiedo se ci siano tipi di distribuzioni standard su sottoinsiemi di numeri interi . Allo stesso modo, potremmo esprimere questo come una distribuzione su un vettore di lunghezza di esiti binari, ad esempio se allora corrisponde al vettore . $\{1, 2, ..., J\}$ $J$ $J = 5$ $\{1, 3, 5\}$ $(1, 0, 1, 0, 1)$

Idealmente quello che sto cercando è una distribuzione , proveniente da una famiglia indicizzata da un parametro dimensionale finito , che distribuisca la sua massa in modo che due vettori binari e abbiano simili probabilità se sono "vicini" insieme, cioè e hanno probabilità simili. In realtà, ciò che mi propongo di fare, spero, sia un precedente su tale che se so che è abbastanza grande, allora è probabilmente grande rispetto ai vettori lontani da . $\nu_\theta (\cdot)$ $\theta$ $r_1$ $r_2$ $r_1 = (0, 0, 1, 0, 1)$ $r_2 = (0, 0, 1, 1, 1)$ $\theta$ $\nu_\theta (r_1)$ $\nu_\theta (r_2)$ $r_1$

Una strategia che viene in mente sarebbe quella di mettere una metrica o qualche altra misura di dispersione su su e quindi prendere o qualcosa di simile. Un esempio esplicito sarebbe in analogia con la distribuzione normale. Va bene, ma spero che ci sia qualcosa di standard e suscettibile all'analisi bayesiana; con questo non riesco a scrivere la costante normalizzante. $d_\theta$ $\{0, 1\}^J$ $\nu_\theta (r) \propto \exp (-d_\theta (r, \mu))$ $\exp\left\{-\|r - \mu\|^2 / (2 \sigma^2)\right\}$

bayesian discrete-data

— tipo
fonte

Il campionamento di un sottoinsieme è un problema di base nella metodologia di indagine.

— Stéphane Laurent,

@Stephane certo, ma penso che il mio problema differisca dal fatto che ho qualche struttura aggiuntiva desiderata che vorrei che la mia distribuzione riflettesse. Forse formulare la domanda in termini di sottoinsiemi è stata una cattiva idea poiché ho una vaga nozione di lavoro a distanza per me.

— ragazzo,

Intendevi scrivere "... allora è probabilmente piccolo ..."? Per quanto riguarda la costante normalizzante, prendi in considerazione l'uso della distanza di Hamming per la metrica: per le famiglie di distribuzioni su scala di posizione, puoi calcolare quella costante come la somma di soli termini. Inoltre, tutte queste famiglie che soddisfano i tuoi criteri possono essere descritte da soli parametri discreti (per la posizione) e parametri continui.

v_{θ} (r_{2})

$v_\theta(r_2)$

J + 1

$J+1$

J

$J$

J

$J$

— whuber

@whuber no, volevo dire grande. Voglio che distribuisca la sua massa attorno a punti vicini tra loro. Probabilmente sarebbe stato più appropriato definire la domanda come una distribuzione sui vertici di un ipercubo. Avevo considerato la distanza di Hamming (che credo sia la stessa di nel mio caso); Probabilmente vorrei modificarlo comee immagino che probabilmente dovremmo fare un po 'di MCMC per campionare da una tale distribuzione.

ν_{θ} (\cdot)

$\nu_\theta (\cdot)$

L_{1}

$L_1$

\sum | \frac{r_{i} - μ_{i}}{σ_{i}} |

$\sum \left|\frac{r_i - \mu_i}{\sigma_i}\right|$

— ragazzo

Oh, vedo adesso. Ma non è quello che hai detto in origine. Ad esempio, nella tua caratterizzazione, se è grande e è l'insieme di vettori "molto lontano" da , e è qualsiasi vettore non in , allora anche deve "probabilmente" essere grande. Ma "non lontano" e "vicino" non significano esattamente le stesse cose. Sarebbe più semplice - e più coerente internamente - riformulare la condizione come hai fatto nel tuo commento. Ma no, non è necessario MCMC per campionare da distribuzioni su scala di posizione basate sulle distanze di Hamming: ci sono modi molto più efficienti.

ν (r_{1})

$\nu(r_1)$

R

$R$

r_{1}

$r_1$

r_{2}

$r_2$

R

$R$

ν (r_{2})

$\nu(r_2)$

— whuber

Risposte:

Potresti favorire le famiglie di località in base alla distanza di Hamming , a causa della loro ricchezza, flessibilità e trattabilità computazionale.

Notazione e definizioni

Ricordiamo che in un modulo libero di dimensioni finite con base , la distanza di Hamming tra due vettori e è il numero di posti cui . $V$ $\left(\mathbf{e}_1, \mathbf{e}_2, \ldots, \mathbf{e}_J\right)$ $\delta_H$ $\mathbf{v}=v_1 \mathbf{e}_1 + \cdots + v_J\mathbf{e}_J$ $\mathbf{w}=w_1 \mathbf{e}_1 + \cdots + w_J\mathbf{e}_J$ $i$ $v_i \ne w_i$

Data l'origine , la distanza di Hamming suddivide nelle sfere , , dove . Quando l'anello di terra ha elementi, ha elementi e ha elementi. (Ciò segue immediatamente dall'osservazione che gli elementi di differiscono da in esattamente punti - di cui ci sono $\mathbf{v}_0\in V$ $V$ $S_i(\mathbf{v}_0)$ $i=0, 1, \ldots, J$ $S_i(\mathbf{v}_0) = \{\mathbf{w}\in V\ |\ \delta_H(\mathbf{w}, \mathbf{v}_0) = i\}$ $n$ $V$ $n^J$ $S_i(\mathbf{v})$ $\binom{J}{i}\left(n-1\right)^i$ $S_i(\mathbf{v})$ $\mathbf{v}$ $i$ $\binom{J}{i}$ possibilità - e che ci siano, indipendentemente, scelte di valori per ogni luogo.) $n-1$

La traduzione affine in agisce naturalmente sulle sue distribuzioni per dare alle famiglie della posizione. In particolare, quando è una distribuzione su (che significa poco più di , per tutti e ) e è qualsiasi elemento di , quindi è anche una distribuzione dove $V$ $f$ $V$ $f:V\to [0,1]$ $f(\mathbf{v})\ge 0$ $\mathbf{v} \in V$ $\sum_{\mathbf{v}\in V}f(\mathbf{v})=1$ $\mathbf{w}$ $V$ $f^{(\mathbf{w})}$

f^{(w)} (v) = f (v - w)

$f^{(\mathbf{w})}(\mathbf{v}) = f(\mathbf{v}-\mathbf{w})$

per tutti . Una famiglia posizione di distribuzioni è invariante per questa azione: implica per tutti . $\mathbf{v}\in V$ $\Omega$ $f\in \Omega$ $f^{(\mathbf{v})}\in \Omega$ $\mathbf{v}\in V$

Costruzione

Questo ci consente di definire famiglie di distribuzioni potenzialmente interessanti e utili specificando le loro forme in un vettore fisso , che per comodità prenderò per essere e traducendo queste "generazioni di distribuzioni" sotto l'azione di per ottenere l'intera famiglia . Per ottenere la proprietà desiderata che dovrebbe avere valori comparabili in punti vicini, è sufficiente richiedere quella proprietà di tutte le distribuzioni generatrici. $\mathbf{v}$ $\mathbf{0} = (0,0,\ldots,0)$ $V$ $\Omega$ $f$

Per vedere come funziona, costruiamo la famiglia di posizioni di tutte le distribuzioni che diminuiscono con l'aumentare della distanza. Poiché sono possibili solo le distanze di Hamming , considerare qualsiasi sequenza decrescente di numeri reali non negativi = . Impostato $J+1$ $\mathbf{a}$ $0 \ne a_0 \ge a_1 \ge \cdots \ge a_J \ge 0$

A = \sum_{i = 0}^{J} (n - 1)^{i} (\binom{J}{i}) a_{i}

$A = \sum_{i=0}^J (n-1)^i\binom{J}{i} a_i$

e definire la funzione da $f_\mathbf{a}:V\to [0,1]$

f_{a} (v) = \frac{a_{δ_{H} (0, v)}}{A} .

$f_\mathbf{a}(\mathbf{v}) = \frac{a_{\delta_H(\mathbf{0},\mathbf{v})}}{A}.$

Poi, come è facile da controllare, è una distribuzione su . Inoltre, if e only if è un multiplo positivo di (come vettori in ). Pertanto, se ci piace, possiamo standardizzare in . $f_\mathbf{a}$ $V$ $f_\mathbf{a} = f_{\mathbf{a}'}$ $\mathbf{a}'$ $\mathbf{a}$ $\mathbb{R}^{J+1}$ $\mathbf{a}$ $a_0=1$

Di conseguenza, questa costruzione fornisce una parametrizzazione esplicita di tutte queste distribuzioni invarianti di posizione che stanno diminuendo con la distanza di Hamming: tale distribuzione è nella forma per qualche sequenza e alcuni vettoriale . $f_\mathbf{a}^{(\mathbf{v})}$ $\mathbf{a} = 1 \ge a_1 \ge a_2 \ge \cdots \ge a_J \ge 0$ $\mathbf{v}\in V$

Questa parametrizzazione può consentire una specifica specifica dei priori: fattorizzarli in un precedente nella posizione e in un precedente nella forma . (Naturalmente si potrebbe considerare un gruppo più ampio di priori in cui posizione e forma e non indipendenti, ma sarebbe un'impresa più complicata.) $\mathbf{v}$ $\mathbf{a}$

Generazione di valori casuali

Un modo per campionare da è per fasi fattorizzandolo in una distribuzione sul raggio sferico e un'altra distribuzione condizionata a ciascuna sfera: $f_\mathbf{a}^{(\mathbf{v})}$

Traccia un indice dalla distribuzione discreta su dato dalle probabilità , dove è definito come prima . $i$ $\{0,1,\ldots,J\}$ $\binom{J}{i}(n-1)^i a_i / A$ $A$
L'indice corrisponde all'insieme di vettori che differisce da in esattamente posti. Quindi, selezionare quelli luoghi fuori dal possibili sottoinsiemi, dando ad ogni probabilità uguali. (Questo è solo un esempio indici di senza sostituzione.) Sia questo sottogruppo posti essere scritto . $i$ $\mathbf{v}$ $i$ $i$ $\binom{J}{i}$ $i$ $J$ $i$ $I$
Disegna un elemento selezionando in modo indipendente un valore uniformemente dall'insieme di scalari non uguale a per tutti e altrimenti imposta . Equivalentemente, crea un vettore selezionando uniformemente a caso dagli scalari diversi da zero quando e impostando altrimenti . Impostare . $\mathbf{w}$ $w_j$ $v_j$ $j\in I$ $w_j=v_j$ $\mathbf{u}$ $u_j$ $j\in I$ $u_j=0$ $\mathbf{w} = \mathbf{v} + \mathbf{u}$

Il passaggio 3 non è necessario nel caso binario.

Esempio

Ecco Run'implementazione per illustrare.

rHamming <- function(N=1, a=c(1,1,1), n=2, origin) {
  # Draw N random values from the distribution f_a^v where the ground ring
  # is {0,1,...,n-1} mod n and the vector space has dimension j = length(a)-1.
  j <- length(a) - 1
  if(missing(origin)) origin <- rep(0, j)

  # Draw radii `i` from the marginal distribution of the spherical radii.
  f <- sapply(0:j, function(i) (n-1)^i * choose(j,i) * a[i+1])
  i <- sample(0:j, N, replace=TRUE, prob=f)

  # Helper function: select nonzero elements of 1:(n-1) in exactly i places.
  h <- function(i) {
    x <- c(sample(1:(n-1), i, replace=TRUE), rep(0, j-i))
    sample(x, j, replace=FALSE)
  }

  # Draw elements from the conditional distribution over the spheres
  # and translate them by the origin.
  (sapply(i, h) + origin) %% n
}

Come esempio del suo utilizzo:

test <- rHamming(10^4, 2^(11:1), origin=rep(1,10))
hist(apply(test, 2, function(x) sum(x != 0)))

Ci sono voluti secondi per disegnare elementi iid dalla distribuzione dove , (il caso binario), e sta diminuendo esponenzialmente. $0.2$ $10^4$ $f_{\mathbf{a}}^{(\mathbf{v})}$ $J=10$ $n=2$ $\mathbf{v}=(1,1,\ldots,1)$ $\mathbf{a}=(2^{11},2^{10},\ldots,2^1)$

(Questo algoritmo non richiede che stia diminuendo; quindi, genererà variate casuali da qualsiasi famiglia di località, non solo da quelle unimodali.) $\mathbf{a}$

— whuber
fonte

Grazie per questo! La distanza di hamming in questo caso è solo in limitata ai cubi verticali; in quel contesto, la distanza di Hamming agisce isotropicamente. Allontanarsi da questo immagino complica queste cose perché ho più di valori diversi per la mia misura di distanza? Qualche commento generale su questo?

L_{1}

$L_1$

R^{J}

$\mathbb R^J$

J

$J$

— ragazzo

Sì: una scelta di funzioni di distanza dipenderà da ciò che rappresentano i valori in . Poiché la domanda è stata formulata in modo astratto, non abbiamo davvero nulla da fare per formare opinioni su quali sarebbero le buone scelte. La distanza di Hamming sarebbe appropriata per i valori nominali e forse anche in altri casi, ma altre distanze potrebbero funzionare meglio quando c'è un senso intrinseco della distanza per l'insieme . Nel caso binario , è difficile generalizzare le distanze di Hamming: sono già abbastanza generali.

{1, 2, \dots, n}

$\{1,2,\ldots,n\}$

{1, 2, \dots, n}

$\{1,2,\ldots,n\}$

n = 2

$n=2$

— whuber

Un campione da un processo a punto determinante k modella una distribuzione su sottoinsiemi che incoraggia la diversità, in modo che elementi simili abbiano meno probabilità di presentarsi insieme nel campione. Fare riferimento al campionamento del processo del punto determinante K di Alex Kulesza, Ben Taskar.

— carro funebre
fonte