Dato

Ecco un problema con un sapore simile all'apprendimento delle juntas:

Input: una funzione , rappresentato da un oracolo di appartenenza, ovvero un oracolo che ha dato , restituisce . $f: \{0,1\}^n \rightarrow \{-1,1\}$ $x$ $f(x)$

Obiettivo: trovare un sottocubo di con volume tale che . Supponiamo che esista un sottocubo. $S$ $\{0,1\}^n$ $|S|=2^{n-k}$ $\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.1$

È facile ottenere un algoritmo che gira nel tempo e restituisce una risposta corretta con probabilità provando tutti modi per scegliere un sottocubo e campionando la media in ciascuno. $n^{O(k)}$ $\ge 0.99$ $(2n)^k$

Sono interessato a trovare un algoritmo che viene eseguito in tempo . In alternativa, un limite inferiore sarebbe ottimo. Il problema ha un sapore simile all'apprendimento delle juntas, ma non vedo una vera connessione tra le loro difficoltà computazionali. $poly(n,2^k)$

Aggiornamento: @Thomas sotto dimostra che la complessità di esempio di questo problema è . Il problema interessante è ancora la complessità computazionale del problema. $poly(2^k,\log n)$

Modifica: puoi presumere per semplicità che esista un sottocubo con (notare il divario: stiamo cercando un sottocubo con una media .) Sono abbastanza sicuro che qualsiasi soluzione al problema con il divario risolverà anche il problema senza il divario. $\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.2$ $\ge 0.1$

— gnocco di mobius
fonte

$n^k$

$S$ $2^{n-k}$ $|\mathbb{E}_{x \in S}[f(x)]| \geq 0.12$ $O(2^k \cdot k \cdot \log n)$ $S'$ $2^{n-k}$ $|\mathbb{E}_{x \in S'}[f(x)]| \geq 0.1$

$0.12$ $0.1$

$m$ $P \subset \{0,1\}^n$ $f$ $x \in P$

$S$ $2^{n-k}$ $\mathbb{E}[|S \cap P|]=m 2^{-k}$

P [| S \cap P | < m 2^{- k - 1}] \leq 2^{- Ω (m 2^{- k})} .

$\mathbb{P}[|S \cap P| < m 2^{-k-1}] \leq 2^{-\Omega(m 2^{-k})}.$

P [| E_{x \in S \cap P} [f (x)] - E_{x \in S} [f (x)] | > ε] \leq 2^{- Ω (| S \cap P | ε^{2})} .

$\mathbb{P}[| \mathbb{E}_{x \in S \cap P}[f(x)] - \mathbb{E}_{x \in S}[f(x)] | > \varepsilon] \leq 2^{-\Omega(|S \cap P| \varepsilon^2)}.$

Da un'unione vincolata su tutte le scelte di di , abbiamoQuindi, selezionando , possiamo garantire che, con probabilità almeno , possiamo stimare all'interno di per tutti i sottocubi di dimensione . ${n \choose k}2^k$ $S$

P [\forall S | E_{x \in S \cap P} [f (x)] - E_{x \in S} [f (x)] | \leq ε] \geq 1 - (\binom{n}{k}) 2^{k} 2^{- Ω (m 2^{- k} ε^{2})} .

$\mathbb{P}[\forall S ~~ | \mathbb{E}_{x \in S \cap P}[f(x)] - \mathbb{E}_{x \in S}[f(x)] | \leq \varepsilon] \geq 1 - {n \choose k} 2^k 2^{-\Omega(m 2^{-k} \varepsilon^2)}.$

m = O (2^{k} / ε^{2} \cdot k \log n)

$m = O(2^k/\varepsilon^2 \cdot k \log n)$

0.99

$0.99$

E_{x \in S} [f (x)]

$\mathbb{E}_{x \in S}[f(x)]$

ε

$\varepsilon$

S

$S$

2^{n - k}

$2^{n-k}$

Impostando , dimostriamo il teorema: scegliere il sottocubo con il più grandesoddisferà, con elevata probabilità, i requisiti. QED $\varepsilon=0.01$ $| \mathbb{E}_{x \in S \cap P}[f(x)]|$

— Tommaso
fonte

Oh, come, sciocco da parte mia: sì, l'idea di base è che se si campionano punti, allora una prevista sarà in ogni sottocubo, quindi con un valore modesto di che dà un grande sufficiente dimensione del campione per risolvere il problema, anche dopo il superamento del limite di unione su tutti i limiti di Chernoff . Inoltre, sono abbastanza sicuro che qualsiasi soluzione possa essere adattata per eliminare il divario tra 0,1 e 0,12, quindi aggiungerò questo come commento alla domanda. Grazie!!

C \cdot 2^{k}

$C \cdot 2^k$

C

$C$

C

$C$

n^{k}

$n^k$

— gnocco di mobius il

Un altro modo di vedere questo è che lo spazio di intervallo che descrivi ha delimitato la dimensione frantumata e quindi ha limitato la dimensione VC, e quindi gli hai lanciato il teorema di approssimazione eps.

— Suresh Venkat,