Algoritmi del modello di query statistica?

Ho posto questa domanda in domande e risposte validate in modo incrociato, ma sembra che sia molto più legato alle statistiche che alle statistiche.

Potete darmi esempi di algoritmi di apprendimento automatico che apprendono dalle proprietà statistiche del set di dati e non dalle singole osservazioni stesse, cioè impiegano il modello di query statistica ?

Quasi tutti gli algoritmi che funzionano nel modello PAC (ad eccezione degli algoritmi di apprendimento di parità) possono essere fatti funzionare nel modello SQ. Vedi ad esempio questo articolo di Blum et al. in cui diversi algoritmi popolari sono tradotti nei loro equivalenti SQ ( Practical Privacy: il framework SuLQ ). Il documento riguarda in linea di principio la "privacy", ma è possibile ignorarlo: in realtà si tratta solo di implementare algoritmi con query SQ.

L'apprendimento agnostico, d'altra parte, è molto più difficile nel modello SQ: a parte le questioni computazionali (sebbene siano importanti), la complessità del campione richiesta per l'apprendimento agnostico è all'incirca la stessa richiesta per l'apprendimento esatto, se si ha effettivamente accesso a i punti dati. D'altra parte, l'apprendimento agnostico diventa molto più difficile nel modello SQ: di solito è necessario effettuare in modo superpolinomiale molte query, anche per classi semplici come disconnessioni monotone. Vedi questo articolo di Feldman ( Una completa caratterizzazione dell'apprendimento statistico di query con applicazioni di evolvibilità ) o questo recente articolo di Gupta et al. ( Rilascio privato di congiunzioni e barriera delle query statistiche )

Il modello SQ è stato creato per analizzare l'apprendimento tollerante al rumore, vale a dire un algoritmo che funziona eseguendo query statistiche funzionerà con il rumore di classificazione. Come ha detto Aaron, la maggior parte degli algoritmi PAC che abbiamo scoperto hanno equivalenti nel modello SQ. L'unica eccezione è l'eliminazione gaussiana, che viene utilizzata nell'apprendimento delle parità (si può anche usare un'applicazione intelligente di essaper apprendere le parità di dimensioni log (n) loglog (n) nel modello di rumore di classificazione). Sappiamo anche che le parità non possono essere apprese con query statistiche e risulta che le classi più interessanti come gli alberi decisionali possono simulare le funzioni di parità. Quindi, nella nostra ricerca per ottenere algoritmi di apprendimento PAC per molte classi interessanti (come alberi decisionali, DNF, ecc.), Sappiamo che abbiamo bisogno di algoritmi di apprendimento fondamentalmente nuovi che non funzionano nel modello di query statistica.

Vorrei chiarire leggermente la risposta di Aaron. Quasi tutti gli algoritmi agnostici (ancora una volta, tranne tutto ciò che utilizza l'eliminazione gaussiana) possono essere fatti funzionare nel modello SQ. Naturalmente, l'apprendimento agnostico è più difficile dell'apprendimento non agnostico, ma questa è una domanda indipendente.