Una domanda di apprendimento di parità

Definiamo una classe di funzioni su un insieme di bit. Correggi due distribuzioni che sono "ragionevolmente" diverse l'una dall'altra (se vuoi, la loro distanza variazionale è almeno , o qualcosa di simile). $n$ $p, q$ $\epsilon$

Ora ogni funzione in questa classe è definita da una raccolta di indici , ed è valutata come segue: Se la parità dei bit selezionati è 0, restituisce un campione casuale da , altrimenti restituisce un campione casuale da . $f$ $k$ $S$ $p$ $q$

Problema : supponiamo che mi venga dato l'accesso all'oracolo ad alcune di questa classe e mentre conosco (o qualche altra misura della distanza), non conosco e . $f$ $\epsilon$ $p$ $q$

Esistono limiti al numero di chiamate che devo effettuare per PAC-learn ? Presumibilmente la mia risposta sarà in termini di e . $f$ $n, k$ $\epsilon$

Nota : non ho specificato il dominio di output. Ancora una volta, sono flessibile, ma per ora diciamo che e sono definiti su un dominio finito . In generale, sarei anche interessato al caso in cui sono definiti su (ad esempio, se sono gaussiani) $p$ $q$ $[1..M]$ ${\mathbb R}$

lg.learning

— Suresh Venkat
fonte

Non sono sicuro di aver capito il modello. Cosa specifichi in una chiamata all'oracolo? Gli esempi sono sempre tratti dalla distribuzione specificata dal target?

— Lev Reyzin

In una chiamata oracolo, invochi f () e restituisce un valore.

— Suresh Venkat,

Quindi, a seconda della funzione target

viene sempre utilizzato per generare esempi? (Suppongo che stai imparando un po 'di classe

)

f \in F

$f \in F$

p

$p$

q

$q$

F

$F$

— Lev Reyzin

Si, è corretto. il problema è imparare quale (o apprendere il bit di parità utilizzato)

— Suresh Venkat

Non sono sicuro di come adattare il modello PAC a questo modello. Ma sembra che sia sufficiente essere in grado di distinguere

con probabilità

e quindi è possibile ottenere i valori

per

linearmente indipendenti

e utilizzare l'eliminazione gaussiana per trovare

(poiché

è lineare). distinguere due gaussiani ben separati sarà facile per esempio.

p

$p$

q

$q$

1 - 1 / (2 k)

$1 - 1/(2k)$

f (x)

$f(x)$

k

$k$

x

$x$

f

$f$

f

$f$

— Sasho Nikolov,

La discussione nei commenti qui sotto indica che ho frainteso la domanda. La mia risposta si fonda su Oracle prendere alcun ingresso e di ritorno dove o , a seconda . Apparentemente questo non è ciò che viene chiesto. $(x, f(x))$ $x \sim p$ $x \sim q$ $f \in F$

Poiché la distribuzione target è fissata per ogni target , si applica il limite superiore del campione PAC (questo deriva dal fatto che la distribuzione target per questo limite può persino dipendere completamente da ). Quindi, $f^* \in F$ $f^*$ esempidovrebbero essere sufficienti per trovare un'ipotesi di errorewp. Nota: dopo aver visto questi esempi, è necessario trovare un'ipotesi coerente da, che potrebbe non essere trattabile.

m \leq \tilde{O} (\frac{1}{ϵ} (V C (F) + \log (1 / δ)))

$m \le \tilde{O}\left(\frac{1}{\epsilon}\left(\mathrm{VC}(F) + \log(1/\delta) \right) \right)$

\leq ϵ

$\le \epsilon$

\geq 1 - δ

$\ge 1-\delta$

F

$F$

D'altra parte, si può ottenere un limite inferiore quasi corrispondente anche nel caso di , la distribuzione uniforme, dove sono ancora necessari esempi di (questo può essere leggermente migliorato) . $p=q=U$ $m \ge \Omega(\mathrm{VC}(F))$

La distanza variazionale tra e , così come può avere un ruolo nel piccolo spazio tra questi limiti, ma ne dubito. $p$ $q$ $k$

— Lev Reyzin
fonte

L'impostazione tipica dell'apprendimento PAC ha un oracolo

che disegna un campione

dalla distribuzione

e restituisce

. Questa non è l'impostazione descritta nella domanda di Suresh o nel post sul blog che l'ha ispirata:bit.ly/YtwdST. In entrambi, l'oracoloèla funzione

e lo studente è libero di inviare qualsiasi elemento dal set di istanze (stringhe di lunghezza

(f, D)

$(f,D)$

x

$x$

D

$D$

(x, f (x))

$(x, f(x))$

f

$f$

n

$n$ ). Lev, la tua risposta assume un oracolo del primo tipo o del secondo tipo? Se il secondo tipo, stiamo ancora parlando di PAC-learning?

— Keki Burjorjee,

Vedo. Nel PAC, la "Oracle" di solito è pensato come un pulsante che ritorna

dove

. L'oracolo che descrivi viene chiamato "query di appartenenza" a

(x, f (x))

$(x, f(x))$

x \sim D

$x \sim D$

. La mia risposta si applica solo alla prima. Se si richiedono solo richieste di abbonamento, come si possono trovare informazioni su

utilizzando il framework Suresh? Diciamo

per semplicità.

f

$f$

p

$p$

q

$q$

p = q

$p=q$

— Lev Reyzin

Grazie per questo chiarimento. Quindi, nel caso descritto da Suresh, l'oracolo della "query di appartenenza" funziona come segue (suppongo che tu abbia messo questa entità tra virgolette perché l'oracolo può restituire un valore reale, non solo un booleano is-a-member / not-a- risposta membro): se la parità degli attributi effettivi è 1, il risultato restituito viene estratto dalla distribuzione

. Altrimenti, il risultato viene estratto dalla distribuzione

. C'è un'ulteriore ruga. L'oracolo ricorda tutte le risposte precedenti e le restituisce se interrogato con lo stesso input. In altre parole, è deterministico.

p

$p$

q

$q$

— Keki Burjorjee,

Non capisco. Se l'oracolo è semplicemente una funzione

e lo interroghi dandogli

, non restituisce semplicemente

f

$f$

x

$x$

? Comeentra in gioco

se lo studente sta generando

se stesso? Penso di non riuscire a capire questo punto fondamentale da sempre ...

f (x)

$f(x)$

p

$p$

q

$q$

x

$x$

— Lev Reyzin

Per

p = N (+ 0.25, 1)

$p=\mathcal N(+0.25, 1)$ e

, lo pseudocodice dell'oracolo per il problema con la "ruga" è riportato in fondo a questo commento reddit: bit.ly/XvVMC4 ( ). Non riesco a incorporare il codice perché SE non consente nuove righe nei commenti. Per ottenere la versione "non rugosa" del problema, basta rimuovere la riga .

q = N (- 0.25, 1)

$q = \mathcal N(-0.25, 1)$ def fitness() ...random_number_generator.set_seed(x)

— Keki Burjorjee,