Qualche classe di ipotesi diversa dalla parità nel PAC rumoroso ma non in SQ?

Angluin e Laird ('88) hanno formalizzato l' apprendimento con dati corrotti in modo casuale nel modello "PAC con rumore di classificazione casuale" (o PAC rumoroso). Questo modello è simile all'apprendimento del PAC , ad eccezione delle etichette degli esempi forniti allo studente che sono corrotte (capovolte), indipendentemente a caso, con probabilità .$\eta < 1/2$

Per aiutare a caratterizzare ciò che è apprendibile nel rumoroso modello PAC, Kearns ('93) ha introdotto il modello Statistical Query (SQ) per l'apprendimento. In questo modello, uno studente può interrogare un oracolo statistico per le proprietà della distribuzione target e ha mostrato che qualsiasi classe che è imparabile SQ è apprendibile in PAC rumoroso. Kearns ha anche dimostrato che le parità su variabili non possono essere apprese in tempo più veloce di per qualche costante .2 n / c$n$$2^{n/c}$$c$

Quindi Blum et al. ('00) PAC rumoroso separato da SQ mostrando che le parità sul primo sono apprendibili in tempo polinomiale nel modello PAC rumoroso ma non nel modello SQ.$(\log(n) \log\log(n))$

La mia domanda è questa:

Le parità (sulla prima variabili sono apprendibili nel modello PAC rumoroso ma non nel modello SQ. Esistono altre classi specifiche, sufficientemente diverse dalla parità, che sono note per essere apprese in PAC rumoroso ma non in SQ?$(\log(n) \log\log(n))$

Penso che la risposta sia "no", anche se non ne sono certo e sarei interessato anche ad altri esempi. Una cosa nota è che l'apprendimento agnostico è significativamente più difficile da una prospettiva teorica dell'informazione nel modello SQ. L'apprendimento agnostico di disgiunzioni monotone all'errore epsilon richiede solo esempi nell'impostazione PAC (anche se il compito di apprendimento potrebbe quindi essere difficile dal punto di vista computazionale ...). Nel modello SQ, non esiste un algoritmo di apprendimento agnostico per le disgiunzioni monotone che ha una dipendenza polinomiale da in termini di numero di query che effettua, anche ignorando le considerazioni computazionali. 1 /$d/\epsilon^2$$1/\epsilon$

Questa è una buona domanda Immagino che tu stia cercando una tecnica di separazione diversa piuttosto che solo una diversa classe di funzioni (poiché è facile fornire esempi naturali e artificiali di classi di concetti che si basano ancora sul risultato BKW per la separazione). Andrei oltre e direi che anche l'esempio di parità non è una separazione decisiva poiché il modello SQ offre l'apprendimento con una frequenza del rumore inversa polinomialmente vicino a 1/2 mentre BKW non consente il rumore della frequenza . Penso che sarebbe interessante trovare una separazione "pura". Sembra che ciò richiederebbe anche una nuova tecnica, rispondendo alla tua domanda originale.$1/2-n^{-\epsilon}$