Algoritmi del modello di query statistica?


13

Ho posto questa domanda in domande e risposte validate in modo incrociato, ma sembra che sia molto più legato alle statistiche che alle statistiche.

Potete darmi esempi di algoritmi di apprendimento automatico che apprendono dalle proprietà statistiche del set di dati e non dalle singole osservazioni stesse, cioè impiegano il modello di query statistica ?


1
qual è il modello di query statistica?
Suresh Venkat,

da Kearns paper portal.acm.org/citation.cfm?doid=293347.293351 : "in questo modello è vietato un algoritmo di apprendimento per esaminare singoli esempi della funzione target sconosciuta, ma viene dato accesso a un oracolo che fornisce stime delle probabilità sul campione spazio di esempi casuali ". scusate se non è ovvio, ho aggiornato la mia domanda con il link al documento
Deyaa

Risposte:


14

Quasi tutti gli algoritmi che funzionano nel modello PAC (ad eccezione degli algoritmi di apprendimento di parità) possono essere fatti funzionare nel modello SQ. Vedi ad esempio questo articolo di Blum et al. in cui diversi algoritmi popolari sono tradotti nei loro equivalenti SQ ( Practical Privacy: il framework SuLQ ). Il documento riguarda in linea di principio la "privacy", ma è possibile ignorarlo: in realtà si tratta solo di implementare algoritmi con query SQ.

L'apprendimento agnostico, d'altra parte, è molto più difficile nel modello SQ: a parte le questioni computazionali (sebbene siano importanti), la complessità del campione richiesta per l'apprendimento agnostico è all'incirca la stessa richiesta per l'apprendimento esatto, se si ha effettivamente accesso a i punti dati. D'altra parte, l'apprendimento agnostico diventa molto più difficile nel modello SQ: di solito è necessario effettuare in modo superpolinomiale molte query, anche per classi semplici come disconnessioni monotone. Vedi questo articolo di Feldman ( Una completa caratterizzazione dell'apprendimento statistico di query con applicazioni di evolvibilità ) o questo recente articolo di Gupta et al. ( Rilascio privato di congiunzioni e barriera delle query statistiche )


davvero bella risposta Aaron :) molte grazie :)
Deyaa,

7

Il modello SQ è stato creato per analizzare l'apprendimento tollerante al rumore, vale a dire un algoritmo che funziona eseguendo query statistiche funzionerà con il rumore di classificazione. Come ha detto Aaron, la maggior parte degli algoritmi PAC che abbiamo scoperto hanno equivalenti nel modello SQ. L'unica eccezione è l'eliminazione gaussiana, che viene utilizzata nell'apprendimento delle parità (si può anche usare un'applicazione intelligente di essaper apprendere le parità di dimensioni log (n) loglog (n) nel modello di rumore di classificazione). Sappiamo anche che le parità non possono essere apprese con query statistiche e risulta che le classi più interessanti come gli alberi decisionali possono simulare le funzioni di parità. Quindi, nella nostra ricerca per ottenere algoritmi di apprendimento PAC per molte classi interessanti (come alberi decisionali, DNF, ecc.), Sappiamo che abbiamo bisogno di algoritmi di apprendimento fondamentalmente nuovi che non funzionano nel modello di query statistica.


Interessante. Hai un riferimento che le parità non possono essere apprese nel modello SQ?
M. Alaggan,

1
è stato dimostrato da Kearns nel suo documento originale che definisce il modello: portal.acm.org/citation.cfm?doid=293347.293351 e poi mostrato di nuovo da Blum et al dove hanno definito la dimensione SQ di una classe portal.acm.org/citation .cfm? id = 195058.195147 . Fondamentalmente, l'argomento va così: le parità sono "indipendenti in coppia" rispetto alla distribuzione uniforme, quindi devi praticamente indovinare la parità corretta per imparare qualcosa, e ci sono molte possibili parità ...
Lev Reyzin

5

Vorrei chiarire leggermente la risposta di Aaron. Quasi tutti gli algoritmi agnostici (ancora una volta, tranne tutto ciò che utilizza l'eliminazione gaussiana) possono essere fatti funzionare nel modello SQ. Naturalmente, l'apprendimento agnostico è più difficile dell'apprendimento non agnostico, ma questa è una domanda indipendente.


/ε2
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.