C'è qualche lavoro che combina l'apprendimento automatico e le forme più esotiche della teoria della complessità?

Mi sembra che gli esperti di machine learning / data mining abbiano familiarità con P e NP, ma raramente parlano di alcune delle classi di complessità più sottili (ad esempio NC, BPP o IP) e delle loro implicazioni per un'analisi efficace dei dati. C'è qualche indagine sul lavoro che sta facendo questo?

cc.complexity-theory reference-request machine-learning

— Mike Izbicki
fonte

Nessun sondaggio che io conosca, ma dai un'occhiata a questo puntatore a "apprendimento quantico" (# 5) da questo post: blog.computationalcomplexity.org/2012/10/quantum-workshop.html

— Suresh Venkat

l'apprendimento automatico attacca regolarmente problemi molto difficili che sono probabilmente al di fuori di NP per l'ottimizzazione "globale" ma all'interno di NP o meno difficili di quello per l'ottimizzazione "locale". quindi l'intero concetto di classe di complessità diventa sfocato quando si sta ottimizzando per risultati "abbastanza buoni" che sono misurati più da misurazioni di qualità dipendenti dall'applicazione e in un certo senso non sono davvero noti come apriori per l'esecuzione dell'algoritmo / i ....

— vzn

@vzn Per me, quella sottigliezza sembra una ragione in più per prestare attenzione alla complessità! Potrebbe fornire alcuni spunti molto interessanti.

— Mike Izbicki,

ci sono certamente connessioni tra teoria dell'apprendimento, complessità del circuito, crittografia. ma questo è l'angolo della teoria dell'apprendimento che è un po 'rimosso dalla pratica dell'apprendimento automatico. se sei interessato, posso trovare alcuni suggerimenti

— Sasho Nikolov,

Sì, un altro esempio, i BDD (diagrammi decisionali binari) sono stati utilizzati negli algoritmi di database / data mining e hanno forti connessioni con la complessità del circuito. ma mi sembra che l'intera domanda possa essere un po 'una premessa difficile perché gran parte dell'apprendimento automatico è pragmatico e la complessità della ML applicata viene spesso studiata indirettamente / empiricamente attraverso l'analisi di implementazioni reali di algoritmi piuttosto che tentare di anticipare teoricamente o classificarlo rigorosamente.

— vzn

Esiste una differenza intrinseca o una dissomiglianza di approcci tra i due campi dell'apprendimento automatico applicato e della teoria TCS / complessità.

Ecco un recente seminario sull'argomento presso il Center for Computational Intractability, Princeton, con molti video.

Descrizione: molti approcci attuali nell'apprendimento automatico sono euristici: non possiamo dimostrare buoni limiti né sulle loro prestazioni né sul loro tempo di esecuzione. Questo piccolo workshop si concentrerà sul progetto di progettazione di algoritmi e approcci le cui prestazioni possono essere analizzate rigorosamente. L'obiettivo è quello di guardare oltre le impostazioni in cui esistono già limiti verificabili.

Workshop: Limiti disponibili nell'apprendimento automatico - 1-2 agosto 2012

Nel TCS una delle principali aree di studio dell '"apprendimento" a volte forse confusa, anche chiamata "apprendimento automatico", è chiamata teoria PAC che sta per Probabilmente approssimativamente corretta. la sua origine nei primi anni '80 precede ricerche molto più moderne sul "machine learning". wikipedia lo definisce parte della teoria dell'apprendimento computazionale del campo . PAC riguarda spesso risultati dell'apprendimento di formule booleane dati campioni statistici delle distribuzioni ecc. E l'accuratezza ottenibile dell'apprendimento dato vari algoritmi o campioni limitati. Questo è studiato in modo teorico rigoroso con legami con classi di complessità. Ma non è tanto uno studio applicato e una pagina di wikipedias sull'apprendimento automatico che non lo elenca nemmeno.

La complessità computazionale della tesi di dottorato di Machine Learning di Kearns
Xing slide on (PAC) machine learning

— VZN
fonte

"wikipedia chiama" ... sai davvero qualcosa sull'argomento? 1) il wiki per l'apprendimento automatico ha una sezione Teoria che si collega alla teoria dell'apprendimento computazionale pagina 2) il lavoro di teoria dell'apprendimento di Valiant, Vapnik, Schapire, tra gli altri, ha avuto un enorme impatto sulla pratica dell'apprendimento automatico.

— Sasho Nikolov,