Disuguaglianza di tipo Chernoff per variabile casuale con 3 esiti

9

Supponiamo di avere una variabile casuale che prende valori non numerici a, b, c e che vogliamo quantificare come la distribuzione empirica di campioni di questa variabile si discosti dalla vera distribuzione. In questo caso si applica la seguente disuguaglianza (da Cover & Thomas ). $n$

Teorema 12.4.1 (teorema di Sanov): Sia sia iid . Lascia che sia un insieme di distribuzioni di probabilità. Quindi dove è la distribuzione in che è più vicina a in entropia relativa. $X_1, X_2, \ldots, X_n$ $\sim Q(x)$
$E \subseteq \mathscr{P}$
$Q^{n} (E) = Q^{n} (E \cap P_{n}) \leq (n + 1)^{| X |} 2^{- n D (P^{*} | | Q)},$ $Q^n(E) = Q^n(E \cap \mathscr{P}_n) \leq (n+1)^{|\mathcal{X}|}2^{-nD(P^*||Q)},$ $P^{*} = \arg min_{P \in E} D (P | | Q),$ $P^* = \arg\min_{P \in E} D(P||Q),$ $E$ $Q$

Questa disuguaglianza è abbastanza libera per i piccoli $n$ . Per i risultati binari, $|\mathcal{X}|=2$ e il limite di Chernoff-Hoeffding è molto più stretto.

Esiste un limite altrettanto stretto per $|\mathcal{X}|=3$ ?

pr.probability chernoff-bound

— Yaroslav Bulatov
fonte

Credo che tu possa cambiare | X | a | X | -1, perché l '"ultimo tipo", nei metodi og types, viene fornito una volta che conosci il resto.

— Thomas Ahle,

6

Puoi ottenere limiti abbastanza buoni considerando la variabile casuale che è 1 se e zero altrimenti (per che vanno oltre le prove e che vanno oltre le categorie). Per qualsiasi fisso il sono indipendenti e quindi possono essere analizzati utilizzando limiti di Chernoff. Quindi fai un'unione legata a . $Y_{ij}$ $X_i = j$ $1 \le i \le n$ $1 \le j \le 3$ $j$ $Y_{ij}$ $\sum_i Y_{ij}$ $j$

Se quanto sopra non è abbastanza, ti suggerisco di guardare il modello di palline e bidoni, ad esempio nel libro di testo di Upfal e Mitzenmacher. Quel modello è uguale al tuo, tranne per il fatto che alcuni dei tuoi bidoni potrebbero essere più probabili di altri per far atterrare le palline, giusto? Ci sono alcune tecniche più sofisticate che coinvolgono approssimazioni di Poisson in quel modello che sarebbero probabilmente estendibili alle tue impostazioni con probabilità bin non uniformi.

— Warren Schudy
fonte

3

Non c'è nulla sui limiti di Chernoff Hoeffding specifici delle variabili booleane. Se sono le variabili casuali valutate reali con , puoi applicare un limite di Chernoff. Un buon riferimento è "Concentrazione della misura per l'analisi degli algoritmi randomizzati" ( http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.120.2561&rep=rep1&type=pdf ) $X_1,\ldots,X_n$ $0 \leq X_i \leq 1$

— Aaron Roth
fonte

Sono interessato a variabili categoriche piuttosto che reali, ha aggiunto un chiarimento

— Yaroslav Bulatov