Qual è la distribuzione della cardinalità dell'intersezione di campioni casuali indipendenti senza sostituzione?

$S$ è un insieme di elementi e sono numeri interi positivi fissi inferiori o uguali a . $n\in\mathbb{N}$ $a_1,a_2,...,a_m$ $n$

Con gli elementi di ugualmente probabili, campioni sono separatamente e indipendentemente da senza sostituzione, le cui dimensioni sono rispettivamente . $S$ $m$ $L_1, L_2,...,L_m$ $S$ $a_1,a_2,...,a_m$

La cardinalità dell'intersezione dei campioniha, in generale, un supporto pari a , ma quale distribuzione segue? $\left|L_1\cap L_2\cap\ ...\ \cap L_m\right|$ $\{0,1,...,\min\{a_1,a_2,...,a_m\}\}$

combinatorics

— Acqua fresca
fonte

Posso fornirti una ricetta per calcolarlo in modo ricorsivo ma non sono a conoscenza di una soluzione a forma chiusa. Basterebbe questo, o vuoi un'espressione esplicita della funzione di distribuzione dato

a_{1}, \dots, a_{m}

$a_1, \dots, a_m$ e

n

$n$ ?

— Bridgeburners

@Bridgeburners Una ricetta sarebbe buona, almeno fornirebbe un metodo / modo per attaccare questo problema e relativi.

— ll

Risposte:

Ecco un altro approccio, che non prevede la ricorsione. Tuttavia utilizza ancora somme e prodotti le cui lunghezze dipendono dai parametri. Prima darò l'espressione, poi spiegherò.

Abbiamo

\begin{aligned} P & (| L_{1} \cap L_{2} \cap \dots \cap L_{m} | = k) \\ = \frac{(\binom{n}{k})}{\prod_{i = 1}^{n} (\binom{n}{a_{i}})} \sum_{j = 0}^{min (a_{1}, \dots, a_{m}) - k} (- 1)^{j} (\binom{n - k}{j}) \prod_{l = 1}^{n} (\binom{n - j - k}{a_{l} - j - k}) . \end{aligned}

$\begin{align} P &\bigl( | L_{1} \cap L_{2} \cap \cdots \cap L_{m} | = k \bigr) \\ &= \frac{\binom{n}{k}}{\prod_{i = 1}^{n} \binom{n}{a_{i}}} \sum_{j = 0}^{\min(a_{1}, \ldots, a_{m}) - k} (-1)^{j} \binom{n - k}{j} \prod_{l = 1}^{n} \binom{n - j - k}{a_{l} -j - k}. \end{align}$

EDIT: Alla fine della stesura di tutto ciò, mi sono reso conto che possiamo consolidare un po 'l'espressione sopra combinando i coefficienti binomiali in probabilità ipergeometriche e coefficienti trinomiali. Per quello che vale, l'espressione rivista è Qui è una variabile casuale ipergeometrica in cui disegni sono presi da una popolazione di dimensioni con stati di successo .

\sum_{j = 0}^{min (a_{1}, \dots, a_{m}) - k} (- 1)^{j} (\binom{n}{j, k, n - j - k}) \prod_{l = 1}^{n} P (Hyp (n, j + k, a_{l}) = j + k) .

$\begin{equation} \sum_{j = 0}^{\min(a_{1}, \ldots, a_{m}) - k} (-1)^{j} \binom{n}{j, k, n - j - k} \prod_{l = 1}^{n} P( \text{Hyp}(n, j + k, a_{l}) = j + k). \end{equation}$

Hyp (n, j + k, a_{l})

$\text{Hyp}(n, j + k, a_{l})$

a_{l}

$a_{l}$

n

$n$

j + k

$j + k$

Derivazione

Prendiamo qualche nota per rendere gli argomenti combinatori un po 'più facili da tracciare (si spera). In tutto, consideriamo e fissi. Useremo per indicare la raccolta di -tuple ordinate , dove ogni , soddisfacente $S$ $a_{1}, \ldots, a_{m}$ $\mathcal{C}(I)$ $m$ $(L_{1}, \ldots, L_{m})$ $L_{i} \subseteq S$

$|L_{i}| = a_{i}$ ; e
$L_{1} \cap \cdots \cap L_{m} = I$ .

Useremo anche per una raccolta identica, tranne per il fatto che richiediamo invece di uguaglianza. $\mathcal{C}'(I)$ $L_{1} \cap \cdots \cap L_{m} \supseteq I$

Un'osservazione chiave è che è relativamente facile da contare. Questo perché la condizione è equivalente a per tutti , quindi in un certo senso ciò rimuove le interazioni tra diversi valori . Per ogni , il numero di soddisfa il requisito è , poiché possiamo costruire tale scegliendo un sottoinsieme di di dimensionee poi l'unione con . Ne consegue che $\mathcal{C}'(I)$ $L_{1} \cap \cdots \cap L_{m} \supseteq I$ $L_{i} \supseteq I$ $i$ $i$ $i$ $L_{i}$ $\binom{|S| - |I|}{a_{i} - |I|}$ $L_{i}$ $S \setminus I$ $a_{i} - |I|$ $I$

| C^{'} (I) | = \prod_{i = 1}^{n} (\binom{| S | - | I |}{a_{i} - | I |}) .

$\begin{equation} | \mathcal{C}'(I) | = \prod_{i = 1}^{n} \binom{|S| - |I|}{a_{i} - |I|}. \end{equation}$

Ora la nostra probabilità originale può essere espressa tramite come segue: $\mathcal{C}$

P (| L_{1} \cap L_{2} \cap \dots \cap L_{m} | = k) = \frac{\sum_{I : | I | = k} | C (I) |}{\sum_{all I \subseteq S} | C (I) |} .

$\begin{equation} P \bigl( | L_{1} \cap L_{2} \cap \cdots \cap L_{m} | = k \bigr) = \frac{ \sum_{I : |I| = k} | \mathcal{C}(I) | } { \sum_{\text{all $I \subseteq S$}} | \mathcal{C}(I) | }. \end{equation}$

Possiamo fare subito due semplificazioni. Innanzitutto, il denominatore è lo stesso di secondo luogo, un argomento di permutazione mostra chedipende solo da attraverso la cardinalità. Poiché ci sono sottoinsiemi di con cardinalità , ne consegue che dove è un sottoinsieme arbitrario e fisso di con cardinalità

| C^{'} (\emptyset) | = \prod_{i = 1}^{n} (\binom{| S |}{a_{i}}) = \prod_{i = 1}^{n} (\binom{n}{a_{i}}) .

$\begin{equation} | \mathcal{C}'(\emptyset) | = \prod_{i = 1}^{n} \binom{|S|}{a_{i}} = \prod_{i = 1}^{n} \binom{n}{a_{i}}. \end{equation}$

| C (I) |

$| \mathcal{C}(I) |$

I

$I$

| I |

$|I|$

(\binom{n}{k})

$\binom{n}{k}$

S

$S$

k

$k$

\sum_{I : | I | = k} | C (I) | = (\binom{n}{k}) | C (I_{0}) |,

$\begin{equation} \sum_{I : |I| = k} | \mathcal{C}(I) | = \binom{n}{k} | \mathcal{C}(I_{0}) |, \end{equation}$

I_{0}

$I_{0}$

S

$S$

k

$k$ .

Facendo un passo indietro, ora abbiamo ridotto il problema mostrando che

| C (I_{0}) | = \sum_{j = 0}^{min (a_{1}, \dots, a_{m}) - k} (- 1)^{j} (\binom{n - k}{j}) \prod_{l = 1}^{n} (\binom{n - j - k}{a_{l} - j - k}) .

$\begin{equation} | \mathcal{C}(I_{0}) | = \sum_{j = 0}^{\min(a_{1}, \ldots, a_{m}) - k} (-1)^{j} \binom{n - k}{j} \prod_{l = 1}^{n} \binom{n - j - k}{a_{l} - j - k}. \end{equation}$

Sia i sottoinsiemi distinti di formati aggiungendo esattamente un elemento a . Quindi (Questo sta solo dicendo che se , allora contiene ma non contiene alcun elemento aggiuntivo.) Ora abbiamo trasformato il problema di conteggio in un problema di conteggio , che sappiamo di più come gestire. Più specificamente, abbiamo $J_{1}, \ldots, J_{n - k}$ $S$ $I_{0}$

C (I_{0}) = C^{'} (I_{0}) ∖ (⋃_{i = 1}^{n - k} C^{'} (J_{i})) .

$\begin{equation} \mathcal{C}(I_{0}) = \mathcal{C}'(I_{0}) \setminus \biggl( \bigcup_{i = 1}^{n - k} \mathcal{C}'(J_{i}) \biggr). \end{equation}$

L_{1} \cap \dots \cap L_{m} = I_{0}

$L_{1} \cap \cdots \cap L_{m} = I_{0}$

L_{1} \cap \dots \cap L_{m}

$L_{1} \cap \cdots \cap L_{m}$

I_{0}

$I_{0}$

C

$\mathcal{C}$

C^{'}

$\mathcal{C}'$

| C (I_{0}) | = | C^{'} (I_{0}) | - | ⋃_{i = 1}^{n - k} C^{'} (J_{i}) | = \prod_{l = 1}^{n} (\binom{n - k}{a_{l} - k}) - | ⋃_{i = 1}^{n - k} C^{'} (J_{i}) | .

$\begin{equation} | \mathcal{C}(I_{0}) | = | \mathcal{C}'(I_{0}) | - \biggl| \bigcup_{i = 1}^{n - k} \mathcal{C}'(J_{i}) \biggr| = \prod_{l = 1}^{n} \binom{n - k}{a_{l} - k} - \biggl| \bigcup_{i = 1}^{n - k} \mathcal{C}'(J_{i}) \biggr|. \end{equation}$

Possiamo applicare l'inclusione-esclusione per gestire la dimensione dell'espressione sindacale sopra. La relazione cruciale qui è che, per qualsiasi non vuoto , Questo perché se contiene un numero di , allora contiene anche la loro unione. Notiamo anche che il set ha dimensioni. Perciò $\mathcal{I} \subseteq \{ 1, \ldots, n - k \}$

⋂_{i \in I} C^{'} (J_{i}) = C^{'} (⋃_{i \in I} J_{i}) .

$\begin{equation} \bigcap_{i \in \mathcal{I}} \mathcal{C}'(J_{i}) = \mathcal{C}' \biggl( \bigcup_{i \in \mathcal{I}} J_{i} \biggr). \end{equation}$

L_{1} \cap \dots \cap L_{m}

$L_{1} \cap \cdots \cap L_{m}$

J_{i}

$J_{i}$

⋃_{i \in I} J_{i}

$\bigcup_{i \in \mathcal{I}} J_{i}$

| I_{0} | + | I | = k + | I |

$|I_{0}| + |\mathcal{I}| = k + |\mathcal{I}|$

\begin{aligned} | ⋃_{i = 1}^{n - k} C^{'} (J_{i}) | & = \sum_{\emptyset \neq I \subseteq {1, \dots, n - k}} (- 1)^{| I | - 1} | ⋂_{i \in I} C^{'} (J_{i}) | \\ = \sum_{j = 1}^{n - k} \sum_{I : | I | = j} (- 1)^{j - 1} \prod_{l = 1}^{n} (\binom{n - j - k}{a_{l} - j - k}) \\ = \sum_{j = 1}^{n - k} (- 1)^{j - 1} (\binom{n - k}{j}) \prod_{l = 1}^{n} (\binom{n - j - k}{a_{l} - j - k}) . \end{aligned}

$\begin{align} \biggl| \bigcup_{i = 1}^{n - k} \mathcal{C}'(J_{i}) \biggr| &= \sum_{\emptyset \neq \mathcal{I} \subseteq \{ 1, \ldots, n - k \}} (-1)^{| \mathcal{I} | - 1} \biggl| \bigcap_{i \in \mathcal{I}} \mathcal{C}'(J_{i}) \biggr| \\ &= \sum_{j = 1}^{n - k} \sum_{\mathcal{I} : |\mathcal{I}| = j} (-1)^{j - 1} \prod_{l = 1}^{n} \binom{n - j - k}{a_{l} - j - k} \\ &= \sum_{j = 1}^{n - k} (-1)^{j - 1} \binom{n - k}{j} \prod_{l = 1}^{n} \binom{n - j - k}{a_{l} - j - k}. \end{align}$ ( Qui possiamo limitare i valori poiché il prodotto dei coefficienti binomiali è zero a meno che per tutto , ovvero .)

j

$j$

j \leq a_{l} - k

$j \leq a_{l} - k$

l

$l$

j \leq min (a_{1}, \dots, a_{m}) - k

$j \leq \min(a_{1}, \ldots, a_{m}) - k$

Infine, sostituendo l'espressione alla fine nell'equazione persopra e consolidando la somma, otteniamo come rivendicato. $| \mathcal{C}(I_{0}) |$

| C (I_{0}) | = \sum_{j = 0}^{min (a_{1}, \dots, a_{m}) - k} (- 1)^{j} (\binom{n - k}{j}) \prod_{l = 1}^{n} (\binom{n - j - k}{a_{l} - j - k})

$\begin{equation} | \mathcal{C}(I_{0}) | = \sum_{j = 0}^{\min(a_{1}, \ldots, a_{m}) - k} (-1)^{j} \binom{n - k}{j} \prod_{l = 1}^{n} \binom{n - j - k}{a_{l} - j - k} \end{equation}$

— Jason
fonte

+1 per tutto lo sforzo e la soluzione, ma dovrò perfezionare la mia matematica per capire la maggior parte di questo (e l'altra risposta). Grazie

— ll

Non sono a conoscenza di un modo analitico per risolverlo, ma ecco un modo ricorsivo per calcolare il risultato.

Per stai scegliendo elementi tra dei quali sono stati scelti in precedenza. La probabilità di scegliere elementi che si intersecano con nella seconda estrazione è data dalla distribuzione ipergeometrica: $m=2$ $a_2$ $n,$ $a_1$ $k \le \min\{a_1,a_2\}$ $L_1$

P (k ∣ n, a_{1}, a_{2}) = \frac{(\binom{a_{1}}{k}) (\binom{n - a_{1}}{a_{2} - k})}{(\binom{n}{a_{2}})} .

$P(k \mid n, a_1, a_2) = \frac{ {a_1 \choose k} {n - a_1 \choose a_2 - k} } {n \choose a_2}.$

Possiamo chiamare il risultatoPossiamo usare la stessa logica per trovare dove è la cardinalità dell'intersezione di tre campioni. Poi, $b_2.$ $P(b_3 = k \mid n, b_2, a_3),$ $b_3$

P (b_{3} = k) = \sum_{l = 0}^{min (a_{1}, a_{2})} P (b_{3} = k ∣ n, b_{2} = l, a_{3}) P (b_{2} = l ∣ n, a_{1}, a_{2}) .

$P(b_3=k) = \sum_{l=0}^{\min(a_1,a_2)} P(b_3=k \mid n, b_2=l, a_3) P(b_2 =l \mid n, a_1, a_2).$

Trova questo per ogni . Quest'ultimo calcolo non è numericamente difficile, poiché è semplicemente il risultato del calcolo precedente e è un'invocazione di la distribuzione ipergeometrica. $k \in \{0, 1, 2, \dots, \min(a_1,a_2,a_3)\}$ $P(b_2 = l \mid n, a_1, a_2)$ $P(b_3 = k \mid n, b_2=l, a_3)$

In generale, per trovare è possibile applicare le seguenti formule ricorsive: per e vale a dire che $P(b_m)$

P (b_{i} = k) = \sum_{l = 0}^{min (a_{1}, a_{2}, \dots, a_{i - 1})} P (b_{i} = k ∣ n, b_{i - 1} = l, a_{i}) P (b_{i - 1} = l),

$P(b_i=k) = \sum_{l=0}^{\min(a_1, a_2, \dots, a_{i-1})} P(b_i = k \mid n, b_{i-1}=l, a_i) P(b_{i-1}=l),$

P (b_{i} = k ∣ n, b_{i - 1} = l, a_{i}) = \frac{(\binom{l}{k}) (\binom{n - l}{a_{i} - k})}{(\binom{n}{a_{i}})},

$P(b_i = k \mid n, b_{i-1}=l, a_i) = \frac{{l \choose k} {n-l \choose a_i - k}} {n \choose a_i},$

i \in {2, 3, \dots, m},

$i \in \{2, 3, \dots, m\},$

P (b_{1}) = δ_{a_{1} b_{1}},

$P(b_1) = \delta_{a_1 b_1},$

b_{1} = a_{1} .

$b_1 = a_1.$

Eccolo in R:

hypergeom <- function(k, n, K, N) choose(K, k) * choose(N-K, n-k) / choose(N, n)

#recursive function for getting P(b_i) given P(b_{i-1})
PNext <- function(n, PPrev, ai, upperBound) {
  l <- seq(0, upperBound, by=1)
  newUpperBound <- min(ai, upperBound)
  kVals <- seq(0, newUpperBound, by=1)
  PConditional <- lapply(kVals, function(k) {
    hypergeom(k, ai, l, n)
  })
  PMarginal <- unlist(lapply(PConditional, function(p) sum(p * PPrev) ))
  PMarginal
}

#loop for solving P(b_m)
P <- function(n, A, m) {
  P1 <- c(rep(0, A[1]), 1)
  if (m==1) {
    return(P1)
  } else {
    upperBound <- A[1]
    P <- P1
    for (i in 2:m) {
      P <- PNext(n, P, A[i], upperBound)
      upperBound <- min(A[i], upperBound)
    }
    return(P)
  }
}

#Example
n <- 10
m <- 5
A <- sample(4:8, m, replace=TRUE)
#[1] 6 8 8 8 5

round(P(n, A, m), 4)
#[1] 0.1106 0.3865 0.3716 0.1191 0.0119 0.0003
#These are the probabilities ordered from 0 to 5, which is the minimum of A

— Bridgeburners
fonte

Grazie per la tua soluzione e il tuo codice. Aspetto che si avvicinino altre risposte (se arrivano) prima di assegnare la taglia.

— ll