Eventi ad alta probabilità senza coordinate di bassa probabilità

Sia una variabile casuale che assume valori in (per alcuni grandi alfabeto ), che ha un'entropia molto alta - diciamo,per una costante arbitrariamente piccola . Sia un evento a supporto di tale che , dove \ varepsilon è una costante arbitrariamente piccola.$X$$\Sigma^n$$\Sigma$$H(X) \ge (n- \delta)\cdot\log|\Sigma|$$\delta$$E \subseteq \rm{Supp}(X)$$X$$\Pr[X \in E] \ge 1 - \varepsilon$$\varepsilon$

Diciamo che una coppia $(i,\sigma)$ è una coordinata a bassa probabilità di $E$ se $\Pr[X \in E | X_i = \sigma] \le \varepsilon$ . Diciamo che una stringa $x \in \Sigma^n$ contiene una coordinata a bassa probabilità di $E$ se $(i, x_i)$ è una coordinata a bassa probabilità di $E$ per alcuni $i$ .

In generale, alcune stringhe di $E$ possono contenere bassi coordinate di probabilità di $E$ . La domanda è: possiamo sempre trovare un evento ad alta probabilità $E' \subseteq E$ tale che nessuna stringa in $E'$ contiene una coordinata a bassa probabilità di $E'$ (e non di $E$ ).

Grazie!

Ecco un esempio che completa la risposta di Harry Yuen. Per un controesempio, è sufficiente definire appropriati e mostrare che qualsiasi sottoinsieme di grandi dimensioni deve avere una coordinata a bassa probabilità di - una coordinata a bassa probabilità di è necessariamente una coordinata a bassa probabilità -ordinato di .E ′ ⊆ E E E E $X,E$$E'\subseteq E$$E$$E$$E'$

Inoltre, ignorerò la condizione sull'entropia - l'aggiunta di variabili casuali distribuite uniformemente indipendenti a (e portando a ) aumenteràa quasi senza influire sull'esistenza di tale (non ci ho pensato attentamente).X E E × Σ N H ( X ) / ( n + N ) log | Σ | 1 E $N$$X$$E$$E\times \Sigma^N$$H(X)/(n+N)\log|\Sigma|$$1$$E'$

Ecco l'esempio. Sia un elemento casuale di tale che ogni vettore con peso di Hamming (cioè vettori della forma ) abbia probabilità e il tutti- vettore ha probabilità . Sia l'insieme di vettori con peso di Hamming .{ 0 , 1 } n 1 0 … 010 … 0 ( 1 - ϵ ) / n 1 … 1 ϵ E $X$$\{0,1\}^n$$1$$0\dots 010\dots 0$$(1-\epsilon)/n$$1\dots 1$$\epsilon$$E$$1$

Si consideri un sottoinsieme . Se non è vuoto, contiene un vettore di Hamming peso , diciamo senza perdita di generalità. Ma , che è inferiore a se è circa .E ′ 1 100 … 0 Pr [ X ∈ E ′ | X i = 1 ] = ( 1 - ϵ ) /$E'\subseteq E$$E'$$1$$100\dots 0$ ϵn2/ϵ$\Pr[X \in E'|X_i=1]=\frac{(1-\epsilon)/n}{(1-\epsilon)/n + \epsilon}$$\epsilon$$n$$2/\epsilon^2$

Come si confronta con ? Se può essere , allora penso che possiamo realizzare quello che vuoi. Lasciate . Si noti che è dato massa di probabilità sotto . Let indicare la massa di probabilità assegnata a stringhe in tale che l' esimo Coordinate è simbolo .n ϵ O ( 1 / $\epsilon$$n$$\epsilon$B=Supp(X)-EBϵXλ(i,σ)ϵBi$O(1/\sqrt{n})$$B = \mbox{Supp}(X) - E$$B$$\epsilon$$X$$\lambda(i,\sigma)\epsilon$$B$$i$$\sigma$

Supponiamo che erano coordinate bassa probabilità per alcune stringhe in . Let denota la massa di probabilità assegnata a quelle stringhe. Quindi, per definizione, , sottintendendo che . Possiamo scartare queste stringhe a bassa probabilità mentre subiamo solo una perdita di in prob. messa a .E δ ( i , σ ) δ ( i , σ $(i,\sigma)$$E$$\delta(i,\sigma)$δ(i,σ)≤2λ(i,σ)ϵ2δ(i,σ)$\frac{\delta(i,\sigma)}{\delta(i,\sigma) + \lambda(i,\sigma)\epsilon} \leq \epsilon$$\delta(i,\sigma) \leq 2\lambda(i,\sigma)\epsilon^2$$\delta(i,\sigma)$$E$

Continua a farlo per tutto il possibile male e alla fine scartiamo al massimo . Questo utilizza il fatto che per tutti , .∑ i , σ δ ( i , σ ) ≤ ∑ i ∑ σ 2 λ ( i , σ ) ϵ 2 ≤ 2 ∑ i ϵ 2 = 2 n ϵ 2 i ∑ σ λ ( i , σ ) = $(i,\sigma)$$\sum_{i,\sigma} \delta(i,\sigma) \leq \sum_{i} \sum_{\sigma} 2\lambda(i,\sigma)\epsilon^2 \leq 2\sum_{i} \epsilon^2 = 2n\epsilon^2$$i$$\sum_{\sigma} \lambda(i,\sigma) = 1$

Se vuoi che abbia una massa di probabilità , allora deve essere tale che , o che sufficiente. 1 - γ ϵ ϵ + 2 n ϵ 2 ≤ γ ϵ = O ( γ / $E'$$1 -\gamma$$\epsilon$$\epsilon + 2n\epsilon^2 \leq \gamma$$\epsilon = O(\gamma/\sqrt{2n})$

Al momento non mi è chiaro se questa dipendenza da possa essere eliminata; Continuerò a pensarci.$n$