Limite inferiore per testare la vicinanza nella norma

11

Mi chiedevo se esistesse un limite inferiore (in termini di complessità del campione) noto per il seguente problema:

Dato l'accesso dell'oracolo di esempio a due distribuzioni sconosciute , su , test (whp) se $D_1$ $D_2$ $\{1,\dots,n\}$

$D_1=D_2$
oppure $\operatorname{d_2}(D_1,D_2)=\lVert D_1-D_2\rVert_2 = \sqrt{\sum_{i=1}^n\left(D_1(i)-D_2(i)\right)^2} \geq \epsilon$

Batu et al. [BFR + 00] ha mostrato che i campioni $O\left(\frac{1}{\epsilon^4}\right)$ erano sufficienti, ma non ho trovato alcuna menzione di un limite inferiore?

Suppongo che uno potrebbe sempre mostrare un limite inferiore di $\Omega(\frac{1}{\epsilon^2})$ riducendo il compito di distinguere una moneta equa rispetto a $\epsilon$ a questo problema (simulando una distribuzione supportata solo su due punti e rispondendo alle domande del tester secondo i lanci di moneta iid), ma ciò lascia ancora un divario quadratico ...

(Un altro punto a cui sarei interessato è un limite inferiore nella stima (fino a un additivo $\epsilon$ ) questa distanza $L_2$ - di nuovo, non ho trovato alcun riferimento a tale risultato in letteratura)

Grazie per l'aiuto,

— Clemente C.
fonte

Questo problema promettente sembra molto simile a quello chiamato differenza statistica da Sahai e Vadhan, che è un problema completo per la classe SZK (conoscenza statistica zero); tuttavia, usano la distanza . cs.ucla.edu/~sahai/work/web/2003%20Publications/J.ACM2003.pdf . (Modifica: anche io penso che stiano presupponendo che tu abbia un circuito che calcola le distribuzioni, non l'accesso all'oracolo.)

L_{1}

$L_1$

— usul

Ciao, come menzionato in un altro commento, la differenza tra la norma e è effettivamente cruciale qui - inoltre, in questo documento, hanno stabilito una soglia esplicita (e non arbitraria) (in una delle osservazioni, spiegano che questa soglia deve soddisfare alcuni vincoli particolari); e vuoi distinguere rispetto a (che è in qualche modo più vicino ai test tolleranti / alla stima della distanza rispetto ai "test abituali", dove vuoi testare vs. (ma per qualsiasi fisso )).

L_{2}

$L_2$

L_{1}

$L_1$

τ = 1 / 3

$\tau=1/3$

d_{1} \leq τ

$d_1 \leq \tau$

d_{2} \geq 1 - τ

$d_2 \geq 1-\tau$

d_{2} = 0

$d_2=0$

d_{2} \geq ϵ

$d_2 \geq \epsilon$

ϵ

$\epsilon$

— Clemente C.,

6

Sembra che i campioni - come mostrato di seguito da usul - siano sufficienti per il test, quindi la complessità del campione è esattamente ; in realtà, risulta che questo numero di campioni ci è sufficiente per apprendere fino a un additivo la norma . $O(1/\epsilon^2)$ $\Theta(1/\epsilon^2)$ $D$ $\epsilon$ $L_2$

Let sia la funzione di densità empirica ottenuta tracciando IID campioni e l'impostazione Quindi dove . The $\hat{D}$ $m$ $s_1,\dots, s_m\sim D$

\hat{D} (k) \overset{d e f}{=} \frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}}, k \in [n]

$\hat{D}(k) \stackrel{\rm{}def}{=} \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}},\qquad k\in[n]$

\begin{aligned} ‖ D - \hat{D} ‖_{2}^{2} & = \sum_{k = 1}^{n} {(\frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - D (k))}^{2} = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(\sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - m D (k))}^{2} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(X_{k} - E X_{k})}^{2} \end{aligned}

$\begin{align*} \lVert D - \hat{D} \rVert_2^2 &= \sum_{k=1}^n \left( \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - D(k) \right)^2 = \frac{1}{m^2}\sum_{k=1}^n \left( \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - mD(k) \right)^2 \\ &= \frac{1}{m^2}\sum_{k=1}^n \left( X_k - \mathbb{E} X_k \right)^2 \end{align*}$

X_{k} \overset{d e f}{=} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} \sim Bin (m, D (k))

$X_k\stackrel{\rm{}def}{=} \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}}\sim\operatorname{Bin}( m, D(k) )$

X_{k}

$X_k$ (per ) non sono indipendenti, ma possiamo scrivere modo che per , e applicare la disuguaglianza di Markov

k \in [n]

$k\in[n]$

\begin{aligned} E ‖ D - \hat{D} ‖_{2}^{2} & = \frac{1}{m^{2}} \sum_{k = 1}^{n} E [{(X_{k} - E X_{k})}^{2}] = \frac{1}{m^{2}} \sum_{k = 1}^{n} Var X_{k} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} m D (k) (1 - D (k)) \leq \frac{1}{m} \sum_{k = 1}^{n} D (k) \\ = \frac{1}{m} \end{aligned}

$\begin{align*} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 &= \frac{1}{m^2}\sum_{k=1}^n \mathbb{E}\left[ \left( X_k - \mathbb{E} X_k \right)^2 \right] = \frac{1}{m^2}\sum_{k=1}^n \operatorname{Var} X_k \\ &= \frac{1}{m^2}\sum_{k=1}^n mD(k)\left( 1- D(k) \right) \leq \frac{1}{m}\sum_{k=1}^n D(k) \\ &= \frac{1}{m} \end{align*}$

m \geq \frac{3}{ϵ^{2}}

$m\geq \frac{3}{\epsilon^2}$

E ‖ D - \hat{D} ‖_{2}^{2} \leq \frac{ϵ^{2}}{3}

$\begin{equation} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 \leq \frac{\epsilon^2}{3} \end{equation}$

P {‖ D - \hat{D} ‖_{2} \geq ϵ} \leq \frac{1}{3} .

$\begin{equation} \mathbb{P}\left\{ \lVert D - \hat{D} \rVert_2 \geq \epsilon \right\} \leq \frac{1}{3}. \end{equation}$

— Clemente C.
fonte

(Mi riferivo alla risposta di Usul che iniziava con "Cercherò di espiare il mio precedente errore mostrando qualcosa di opposto [...]" - che in realtà è al di sopra di questo. Non me lo aspettavo :)) Per quanto riguarda l'apprendimento limite superiore, si può dimostrare che l'algoritmo più ingenuo (cioè quello che disegna i campioni e genera la densità empirica che definisce) produce una distribuzione che è, con probabilità costante, -close to in distance.

m = O (1 / ϵ^{2})

$m=O(1/\epsilon^2)$

\hat{D}

$\hat{D}$

ϵ

$\epsilon$

D

$D$

L_{2}

$L_2$

— Clemente C.

@DW Ho appena modificato la mia risposta.

— Clemente C.

3

Tenterò di espiare il mio precedente errore mostrando qualcosa di opposto - che campioni sono sufficienti (il limite inferiore di è quasi stretto)! Vedi cosa ne pensi .... $\tilde{\Theta}\left(\frac{1}{\epsilon^2}\right)$ $1/\epsilon^2$

L'intuizione chiave parte da due osservazioni. Innanzitutto, affinché le distribuzioni abbiano una distanza di , devono essere presenti punti con alta probabilità ( ). Ad esempio, se avessimo punti di probabilità , avremmo . $L_2$ $\epsilon$ $\Omega(\epsilon^2)$ $1/\epsilon^3$ $\epsilon^3$ $\|D_1 - D_2\|_2 \leq \sqrt{\frac{1}{\epsilon^3} (\epsilon^3)^2} = \epsilon^{3/2} < \epsilon$

In secondo luogo, considerare distribuzioni uniformi con una distanza di . Se avessimo punti di probabilità , ognuno differirebbe per e sarebbero sufficienti. D'altra parte, se avessimo punti , ognuno di essi dovrebbe differire per e ancora campioni (un numero costante per punto) è sufficiente. Quindi potremmo sperare che, tra i punti ad alta probabilità menzionati in precedenza, vi sia sempre qualche punto che differisce "abbastanza" da lo distingue. $L_2$ $\epsilon$ $O(1)$ $O(1)$ $O(\epsilon)$ $1/\epsilon^2$ $O(1/\epsilon^2)$ $O(\epsilon^2)$ $O(1/\epsilon^2)$ $O(1/\epsilon^2)$

Algoritmo. Dato e un parametro di confidenza , lascia . Disegna campioni da ogni distribuzione. Sia il rispettivo numero più alto e più basso di campioni per il punto . Se esiste un punto per cui e , dichiarare il distribuzioni diverse. Altrimenti, dichiarali allo stesso modo. $\epsilon$ $M$ $X = M \log(1/\epsilon^2)$ $\frac{X}{\epsilon^2}$ $a_i,b_i$ $i$ $i \in [n]$ $a_i \geq \frac{X}{8}$ $a_i-b_i \geq \sqrt{a_i} \frac{\sqrt{X}}{4}$

I limiti di correttezza e confidenza ( ) dipendono dal seguente lemma che afferma che tutta la deviazione nella distanza proviene da punti la cui probabilità differisce da . $1-e^{-\Omega(M)}$ $L_2$ $\Omega(\epsilon^2)$

Richiesta. Supponiamo . Let. Lascia che . Quindi $\|D_1 - D_2\|_2 \geq \epsilon$ $\delta_i = |D_1(i) - D_2(i)|$ $S_k = \{i : \delta_i > \frac{\epsilon^2}{k}\}$
$\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (1 - \frac{2}{k}) .$ $\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2\left(1-\frac{2}{k}\right).$

Prova . Abbiamo Leghiamo la seconda somma; desideriamo massimizzare soggetto a . Dato che la funzione è strettamente convessa e crescente, possiamo aumentare l'obiettivo prendendo qualsiasi e aumentando di mentre diminuendo di . Pertanto, l'obiettivo sarà massimizzato con il maggior numero di termini possibile ai loro valori massimi e il resto a

\sum_{i \in S_{k}} δ_{i}^{2} + \sum_{i \notin S_{k}} δ_{i}^{2} \geq ϵ^{2} .

$\sum_{i \in S_k} \delta_i^2 ~ + ~ \sum_{i \not\in S_k} \delta_i^2 \geq \epsilon^2.$

\sum_{i \notin S_{k}} δ_{i}^{2}

$\sum_{i \not\in S_k} \delta_i^2$

\sum_{i \notin S_{k}} δ_{i} \leq 2

$\sum_{i \not\in S_k} \delta_i \leq 2$

x \mapsto x^{2}

$x \mapsto x^2$

δ_{i} \geq δ_{j}

$\delta_i \geq \delta_j$

δ_{i}

$\delta_i$

γ

$\gamma$

δ_{j}

$\delta_j$

γ

$\gamma$

0

$0$ . Il valore massimo di ogni termine è , e ci sono al massimo termini di questo valore (poiché sommano al massimo ). Quindi

\frac{ϵ^{2}}{k}

$\frac{\epsilon^2}{k}$

\frac{2 k}{ϵ^{2}}

$\frac{2k}{\epsilon^2}$

2

$2$

\sum_{i \notin S_{k}} δ_{i}^{2} \leq \frac{2 k}{ϵ^{2}} {(\frac{ϵ^{2}}{k})}^{2} = \frac{2 ϵ^{2}}{k} . ◻

$\sum_{i \not\in S_k} \delta_i^2 \leq \frac{2k}{\epsilon^2}\left(\frac{\epsilon^2}{k}\right)^2 = \frac{2\epsilon^2}{k} . ~~~~ \square$

Rivendica . Lascia che . Se , esiste almeno un punto con e . $p_i = \max\{D_1(i),D_2(i)\}$ $\|D_1 - D_2\|_2 \geq \epsilon$ $i \in [n]$ $p_i > \frac{\epsilon^2}{4}$ $\delta_i \geq \frac{\epsilon \sqrt{p_i}}{2}$

Prova . Innanzitutto, tutti i punti in hanno per definizione (e non può essere vuoto per dalla rivendicazione precedente). $S_k$ $p_i \geq \delta_i > \frac{\epsilon^2}{k}$ $S_k$ $k > 2$

In secondo luogo, poiché , abbiamo o, riordinando, quindi la disuguaglianza vale per almeno un punto in . Ora scegli . $\sum_i p_i \leq 2$

\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (\frac{1}{2} - \frac{1}{k}) \sum_{i \in S_{k}} p_{i},

$\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right) \sum_{i \in S_k} p_i,$

\sum_{i \in S_{k}} (δ_{i}^{2} - p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})) \geq 0,

$\sum_{i \in S_k} \left( \delta_i^2 - p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)\right) \geq 0 ,$

δ_{i}^{2} \geq p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})

$\delta_i^2 \geq p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)$

S_{k}

$S_k$

k = 4

$k=4$

◻

$\square$

Reclamo (falsi positivi) . Se , il nostro algoritmo li dichiara diversi con probabilità al massimo . $D_1 = D_2$ $e^{-\Omega(M)}$

Schizzo . Considera due casi: e . Nel primo caso, il numero di campioni di non supererà da nessuna delle due distribuzioni: il numero medio di campioni è e un limite di coda indica che con probabilità , campioni non superano la loro media con un additivo ; se stiamo attenti a mantenere il valore nella coda, possiamo unirci su di loro indipendentemente da quanti punti ci siano (intuitivamente, il limite diminuisce esponenzialmente nel numero di punti possibili). $p_i < \epsilon^2/16$ $p_i \geq \epsilon^2/16$ $i$ $X/8$ $< X/16$ $e^{-\Omega(X/p_i)} = \epsilon^2 e^{-\Omega(M/p_i)}$ $i$ $X/16$ $p_i$

Nel caso , possiamo usare un limite di Chernoff: dice che, quando prendiamo campioni e un punto viene disegnato con probabilità , la probabilità di differire dal suo medio di è al massimo . Qui, lascia che , quindi la probabilità è limitata da . $p_i \geq \epsilon^2/16$ $m$ $p$ $pm$ $c \sqrt{pm}$ $e^{-\Omega((c\sqrt{pm})^2/pm)} = e^{-\Omega(c^2)}$ $c = \frac{\sqrt{X}}{16}$ $e^{-\Omega(X)} = \epsilon^2 e^{-\Omega(M)}$

Quindi con probabilità , (per entrambe le distribuzioni) il numero di campioni di è entro della sua media . Pertanto, il nostro test non rileverà questi punti (sono molto vicini tra loro), e possiamo unire i vincoli su tutti i di essi. $1-\epsilon^2e^{-\Omega(M)}$ $i$ $\sqrt{p_i\frac{X}{\epsilon^2}}\frac{\sqrt{X}}{16}$ $p_i\frac{X}{\epsilon^2}$ $16/\epsilon^2$ $\square$

Reclamo (falsi negativi) . Se , il nostro algoritmo li dichiara identici alla probabilità al massimo . $\|D_1 - D_2\|_2 \geq \epsilon$ $\epsilon^2 e^{-\Omega(M)}$

Schizzo . C'è qualche punto con e . Lo stesso limite di Chernoff come nella rivendicazione precedente afferma che con probabilità , il numero di campioni di differisce dalla sua media al massimo . Questo è per la distribuzione (WLOG) che ha ; ma esiste una probabilità ancora inferiore del numero di campioni di dalla distribuzione $i$ $p_i > \epsilon^2/4$ $\delta_i \geq \epsilon \sqrt{p_i}/2$ $1-\epsilon^2 e^{-\Omega(M)}$ $i$ $p_i m$ $\sqrt{p_i m} \frac{\sqrt{X}}{16}$ $1$ $p_i = D_1(i) = D_2(i) + \delta_i$ $i$ $2$ differendo dalla sua media per questa quantità di additivo (poiché la media e la varianza sono inferiori).

Quindi con alta probabilità il numero di campioni di da ciascuna distribuzione è entro della sua media; ma le loro probabilità differiscono di , quindi i loro mezzi differiscono di $i$ $\sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{16}$ $\delta_i$

\frac{X}{ϵ^{2}} δ_{i} \geq \frac{X \sqrt{p_{i}}}{2 ϵ} = \sqrt{\frac{p_{i} X}{ϵ^{2}}} \frac{\sqrt{X}}{2} .

$\frac{X}{\epsilon^2}\delta_i \geq \frac{X \sqrt{p_i}}{2\epsilon} = \sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{2} .$

Quindi, con alta probabilità, per il punto , il numero di campioni differisce di almeno . $i$ $\sqrt{\# samples(1)} \frac{\sqrt{X}}{4}$ $\square$

Per completare gli schizzi, dovremmo dimostrare più rigorosamente che, per abbastanza grande, il numero di campioni di è abbastanza vicino alla sua media che, quando l'algoritmo usa anziché , non cambia nulla (il che dovrebbe essere semplice lasciando un po 'di spazio nelle costanti). $M$ $i$ $\sqrt{\# samples}$ $\sqrt{mean}$

— usul
fonte

Ciao, grazie per questo - ho alcune domande sull'algoritmo e sull'analisi (per quanto riguarda un paio di punti che non sono sicuro di ottenere): supponendo che alla fine voglio solo una probabilità costante di di successo, ciò significa che costante, se capisco correttamente (a meno che non abbia capito cosa fosse )? Quindi, in questo caso, passando a : secondo l'algoritmo, diventa - è corretto?

2 / 3

$2/3$

M

$M$

M

$M$

X

$X$

Θ (\log \frac{1}{ϵ})

$\Theta(\log\frac{1}{\epsilon})$

— Clemente C.,

@ClementC. Scusa non sono stato molto chiaro! L'affermazione è che se disegniamo campioni , allora la probabilità di sbagliare è , quindi per una costante probabilità di sbagliare, i suoi campioni .

\frac{1}{ϵ^{2}} M \log (1 / ϵ^{2})

$\frac{1}{\epsilon^2} M \log(1/\epsilon^2)$

O (e^{- M})

$O(e^{-M})$

O (\frac{1}{ϵ^{2}} \log (1 / ϵ^{2}))

$O\left(\frac{1}{\epsilon^2} \log(1/\epsilon^2)\right)$

— usul

OK, è quello che ho raccolto. Esaminerò la prova con questo in mente - grazie ancora per il tempo che ci hai dedicato!

— Clemente C.,

1

Potresti iniziare provando a risolverlo per il caso . Sono abbastanza sicuro che i campioni di saranno necessari e sufficienti, in quel caso. $n=2$ $\Theta(1/\epsilon^2)$

È possibile che ti sia utile esaminare la conversione tra la distanza e la distanza (distanza di variazione totale). $L_2$ $L_1$

È noto che, con un campione, se le distribuzioni sono note, la distanza di variazione totale caratterizza perfettamente il vantaggio con cui si può distinguere da . Pertanto, se la distanza di variazione totale è grande e le distribuzioni sono note, si può costruire un test che è corretto con alta probabilità; se la distanza di variazione totale è piccola, non si può. Non so cosa si possa dire del caso in cui la distanza di variazione totale è grande ma le distribuzioni sono sconosciute. $D_1$ $D_2$
Successivamente è possibile esaminare le distribuzioni del prodotto, e . Usando la distanza di variazione totale (distanza ), non sembrano esserci buoni limiti correlati da a . Tuttavia, quando si utilizza la distanza , credo che ci siano buone stime di in funzione di . (Sfortunatamente, non riesco a trovare un riferimento specifico a tali stime / limiti, quindi spero di non ricordare male.) Esistono anche limiti noti che consentono di stimare la distanza in funzione della distanza . $D_1^n$ $D_2^n$ $L_1$ $||D_1^n - D_2^n||_1$ $||D_1 - D_2||_1$ $L_2$ $||D_1^n - D_2^n||_2$ $||D_1 - D_2||_2$ $L_1$ $L_2$
Pertanto, un approccio che potresti provare sarebbe quello di , quindi da quello ottenere un limite su . $||D_1^n - D_2^n||_2$ $||D_1^n - D_2^n||_1$

Non so se questo porterà ovunque bene o no; è solo un'idea. Probabilmente gli autori dell'articolo che hai citato avranno già provato o considerato qualcosa del genere.

Riferimenti forse utili:

— DW
fonte

Ciao, grazie per la tua risposta! Tuttavia, sono interessato a un limite inferiore asintotico, quando . In particolare, la relazione tra le norme e comporta un fattore - il che significa che sono effettivamente equivalenti per costante, ma asintoticamente molto diverse; l'uso di dstance come proxy non è un'opzione, per quanto ne so (per quanto riguarda la verifica della vicinanza a distanza, la complessità esatta è nota per essere [BFR + 10 , Val11 ]

n \to \infty

$n\to\infty$

L_{2}

$L_2$

L_{1}

$L_1$

\sqrt{n}

$\sqrt{n}$

n

$n$

L_{1}

$L_1$

L_{1}

$L_1$

Θ (n^{2 / 3} / p o l y (ϵ))

$\Theta(n^{2/3}/{\rm{}poly}(\epsilon))$

— Clemente C.

0

EDIT: questo non è corretto! Vedi la discussione nei commenti - Sottolineerò il difetto di seguito.

Penso che possiamo dire che sono richiesti . $\frac{1}{\epsilon^4}$

Impostare . Lascia che sia la distribuzione uniforme (probabilità di ogni punto ) e che differisca dall'uniforme per un importo additivo in ciascun punto. Verifica che la distanza sia . $n = \Theta\left(\frac{1}{\epsilon^2}\right)$ $D_1$ $= \Theta(\epsilon^2)$ $D_2$ $\pm \Theta\left(\epsilon^2\right)$ $L_2$ $\epsilon$

Quindi dobbiamo distinguere un -sided moneta non truccata da un -sided coin -biased. Penso che questo dovrebbe essere almeno difficile come dire una moneta equa a facce da una moneta a facce di , che richiederebbe campioni. Modifica: questo non è corretto! La moneta è soggettivamente basata su , ma viene stimolata in modo moltiplicativo da un fattore costante. Come sottolinea DW, ciò significa che un numero costante di campioni per punto distingue da . $n$ $n$ $\Theta(\epsilon^2)$ $2$ $2$ $\Theta(\epsilon^2)$ $\Theta\left(\frac{1}{(\epsilon^2)^2}\right) = \Theta\left(\frac{1}{\epsilon^4}\right)$ $\epsilon^2$ $D_1$ $D_2$

Si noti che è quanto possiamo spingere questo argomento. Concretamente, supponiamo di aver cercato di aumentare , diciamo, . Nella distribuzione uniforme, ogni punto ha probabilità . Ma in , avremmo bisogno che ogni punto differisca dall'uniforme di . Ciò non è possibile dal momento che . $\frac{1}{\epsilon^4}$ $n$ $\frac{1}{\epsilon^3}$ $\epsilon^3$ $D_2$ $\epsilon^{2.5}$ $\epsilon^{2.5} \gg \epsilon^3$

Più astrattamente, supponiamo di voler variare ogni punto dall'uniforme di . Quindi il massimo che possiamo impostare su sarebbe . Per ottenere una distanza di , dobbiamo accertarci che la radice quadrata della somma delle distanze sia , quindi , quindi quindi , e otteniamo . $\epsilon^k$ $n$ $\frac{1}{\epsilon^k}$ $L_2$ $\epsilon$ $\epsilon$ $\sqrt{n(\epsilon^k)^2} = \epsilon$ $\epsilon^{k/2} = \epsilon$ $k = 2$ $n = \frac{1}{\epsilon^2}$

Inoltre, penso che lo stesso argomento affermi che, se siamo interessati alla distanza con , abbiamo bisogno di , quindi sceglieremo , quindi il numero di campioni sarebbe . Penso che questo abbia senso come un limite che è indipendente da . Si avvicina all'infinito come . Se stessi cercando di distinguere due distribuzioni alla distanza di senza limite di , renderei illimitato e divideremo la differenza arbitrariamente sottile, in modo da non poterle mai distinguere ( $L_p$ $p > 1$ $k = \frac{p}{p-1}$ $n = 1/\epsilon^{\frac{p}{p-1}}$ $1 / \epsilon^{2\frac{p}{p-1}}$ $n$ $p \to 1$ $L_1$ $\epsilon$ $n$ $n$ cioè nessun numero fisso di campioni è sufficiente per tutte le ). Si avvicina anche a come ; questo ha senso come un limite perché, per la norma , possiamo impostare e lasciare che ogni punto differisca di ; dobbiamo campionare alcune volte point per essere sicuri che differisca dall'uniforme, che prenderà campioni . $n$ $\frac{1}{\epsilon^3}$ $p \to \infty$ $L_{\infty}$ $n = \frac{1}{\epsilon}$ $\Theta(\epsilon)$ $\frac{1}{\epsilon^2}$ $\frac{1}{\epsilon^3}$

— usul
fonte

1. Intendi davvero che differisce dall'uniforme di in ogni punto? Ho il sospetto che sia un refuso e intendevi .

D_{2}

$D_2$

\pm 1 / ϵ^{2}

$\pm 1/\epsilon^2$

\pm ϵ^{2}

$\pm \epsilon^2$

— DW

1

2. Non compro che distinguere da richiede campioni. Mi sembra che i campioni di siano sufficienti. Spiegazione (intuizione): supponiamo di raccogliere campioni e contare quante volte si verifica ogni valore possibile. Se provenivano da , ognuno dovrebbe accadere 100 volte (con dev dev 10). Se provenivano da , ognuno dovrebbe verificarsi 200 volte (dev dev standard 14) per metà di essi, / 0 volte (dev dev standard 0) per l'altra metà. È abbastanza facile distinguere tra i due, se sai che hai a che fare con o .

D_{1}

$D_1$

D_{2}

$D_2$

1 / ϵ^{4}

$1/\epsilon^4$

Θ (1 / ϵ^{2})

$\Theta(1/\epsilon^2)$

m = 100 / ϵ^{2}

$m=100/\epsilon^2$

D_{1}

$D_1$

D_{2}

$D_2$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW (1) hai ragione! Fisso. (2) Come dici tu, sono d'accordo, ma penso che con diverse scelte di costanti sia più difficile. Sto immaginando qualcosa del genere: , quindi mette probabilità su ogni punto. Quindi differisce di su ogni punto (controlla che la distanza sia ), quindi mette la probabilità o su ogni punto.

n = 1 / 100 ϵ^{2}

$n = 1/100\epsilon^2$

D_{1}

$D_1$

100 ϵ^{2}

$100\epsilon^2$

D_{2}

$D_2$

10 ϵ^{2}

$10\epsilon^2$

L_{2}

$L_2$

ϵ

$\epsilon$

90 ϵ^{2}

$90\epsilon^2$

110 ϵ^{2}

$110\epsilon^2$

— usul

1

Penso che i campioni ancora sufficienti. Raccogli campioni e conta quante volte si verifica ogni valore possibile. Per , ciascuno dovrebbe verificarsi 1.000.000 di volte (dev dev standard ). Per , ciascuno dovrebbe avvenire 900.000 volte (dev dev standard ) o 1.100.000 volte (dev dev standard ). È abbastanza facile distinguere tra i due, se sappiamo che abbiamo a che fare con o , perché la differenza tra 1.000.000 e 1.100.000 è 100 deviazioni standard, cioè enormi.

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

m = 10^{6} n

$m=10^6n$

D_{1}

$D_1$

1000

$1000$

D_{2}

$D_2$

\approx 1000

$\approx 1000$

\approx 1000

$\approx 1000$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW Ci ho pensato di più: hai ragione. Se i loro mezzi differiscono per un fattore moltiplicativo costante, allora un numero costante di campioni per punto dovrebbe distinguerli. È il fattore moltiplicativo non additivo che conta. Questo approccio fornisce quindi solo un limite inferiore di .

1 / ϵ^{2}

$1/\epsilon^2$

— usul