Ci sono proprietà di distribuzione che sono "al massimo" difficili da testare?

Un algoritmo di test di distribuzione per una proprietà di distribuzione P (che è solo un sottoinsieme di tutte le distribuzioni su [n]) è autorizzato ad accedere ai campioni secondo una certa distribuzione D, ed è necessario decidere (whp) se o ( qui è solitamente la distanza ). La misura più comune di complessità è il numero di campioni utilizzati dall'algoritmo. $D\in P$ $d(D,P)>\epsilon$ $d$ $\ell_1$

Ora, nel test di proprietà standard, in cui si ha accesso alle query su alcuni oggetti, un limite inferiore lineare sulla complessità della query è ovviamente il limite inferiore più forte possibile, poiché query rivelerebbe l'intero oggetto. Questo vale anche per i test di distribuzione? $n$

Per quanto ho capito, il limite superiore "banale" per testare le proprietà delle distribuzioni è --- per i limiti di Chernoff, questo è sufficiente per "scrivere" una distribuzione D 'che è vicina a D in distanza, e quindi possiamo solo verificare se ci sono distribuzioni vicine a D 'che sono in P (questo potrebbe richiedere un tempo infinito, ma questo è irrilevante per la complessità del campione). $O(n^2\log n)$ $\ell_1$

Esiste un test "banale" migliore per tutte le proprietà di distribuzione?
Esistono proprietà di distribuzione per le quali sappiamo che i limiti inferiori del campione sono più forti di quelli lineari?

— Yonatan
fonte

sembra simile a dimostrare la separazione delle classi di complessità e come potrebbe essere vicino ad alcuni noti problemi aperti ...?

— vzn,

Appena visto questo ... io non sono del tutto sicuro di come si deriva il limite

, ma è da notare che le distribuzioni in realtà l'apprendimento (sopra il dominio delle dimensioni

) per TV /

distanza

con probabilità

in realtà può essere fatto con campioni

(e questo è stretto). Quindi, a meno che non si stiano osservando valori non costanti del parametro di prossimità

, non c'è alcuna speranza di ottenere

limiti inferiori ...

O (n^{2} \log n)

$O(n^2\log n)$

n

$n$

ℓ_{1}

$\ell_1$

ε

$\varepsilon$

2 / 3

$2/3$

O (n / ε^{2})

$O(n/\varepsilon^2)$

ε

$\varepsilon$

ω (n)

$\omega(n)$

— Clemente C.

Ci scusiamo per aver scoperto questo post - è piuttosto vecchio, ma ho pensato che avere una risposta potesse non essere una cattiva idea.

Innanzitutto, sembra che tu abbia eseguito il tuo limite di Chernoff con qualche impostazione leggermente strana di parametri. Si noti che per eseguire l'approccio "testing by learning" suggerito, è sufficiente apprendere la distribuzione nella distanza di variazione totale (o , se si preferisce, che è lo stesso fino a un fattore 2) per la distanza $\ell_1$ . (prima di controllare "offline" se c'è qualche distribuzionecon la proprietàche a sua volta è al massimo $\frac{\varepsilon}{2}$ $p'$ $\mathcal{P}_n$ dalla tua ipotesi imparato ). Ciò porterebbe ingenuamente a una $\frac{\varepsilon}{2}$ $\hat{p}$ limite superiore della complessità del campione per questo approccio; tuttavia, è noto (e "folklore") che l'apprendimento di una distribuzione arbitraria su un dominio di dimensionifino alla distanza(nella distanza di variazione totale) può essere fatto solo con $O\big(\frac{n\log n}{\varepsilon^2}\big)$ $n$ $\varepsilon$ campioni (e questo è stretto). $O(\frac{n}{\varepsilon^2})$

$O(\frac{n}{\varepsilon^2})$ $n$ $\varepsilon$ $n$

$1/10$ $\Theta_\varepsilon(\frac{n}{\log n})$

(Si noti che è un po '"imbroglione", nel senso che la proprietà è semplicemente un modo per prendere una domanda di prova tollerante e rietichettarla come prova di una proprietà ad hoc ).

$k$ $k$ $k=n/10$ $\Omega(\frac{n}{\log n})$ $\frac{n}{100}$

— Clemente C.
fonte