Funzioni non calcolabili in modo efficiente ma apprendibili

Sappiamo che (vedi, ad esempio, Teoremi 1 e 3 di [1]), approssimativamente parlando, in condizioni adeguate, le funzioni che possono essere calcolate in modo efficiente dalla macchina di Turing in tempo polinomiale ("calcolabile in modo efficiente") possono essere espresse da reti neurali polinomiali con dimensioni ragionevoli, e quindi può essere appreso con complessità campionaria polinomiale ("apprendibile") sotto qualsiasi distribuzione di input.

Qui "apprendibile" riguarda solo la complessità del campione, indipendentemente dalla complessità computazionale.

Mi chiedo un problema strettamente correlato: esiste una funzione che non può essere calcolata in modo efficiente dalla macchina di Turing nel tempo polinomiale ("non calcolabile in modo efficiente"), ma nel frattempo può essere appresa con la complessità del campione polinomiale ("apprendibile") sotto eventuali distribuzioni di input?

• [1] Roi Livni, Shai Shalev-Shwartz, Ohad Shamir, " Sull'efficienza computazionale dell'addestramento delle reti neurali ", 2014

Formalizzerò una variante di questa domanda in cui "efficienza" è sostituita da "calcolabilità".

Sia $C_n$ la classe concettuale di tutte le lingue $L\subseteq\Sigma^*$ riconoscibile dalle macchine di Turing su $n$ stati o meno. In generale, per $x\in\Sigma^*$ e $f\in C_n$ , il problema della valutazione di $f(x)$ è indecidibile.

Tuttavia, supponiamo di avere accesso a un (adeguato, realizzabile) PAC-learning oracolo $A$ per $C_n$ . Cioè, per ogni $\epsilon,\delta>0$ , l'oracolo richiede un campione etichettato di dimensioni $m_0(n,\epsilon,\delta)$ tale che, supponendo che un tale campione sia stato estratto da una distribuzione sconosciuta $D$ , l'oracolo $A$ fornisce un'ipotesi f ∈ C n che, con probabilità almeno 1 - δ , ha D$\hat f\in C_n$$1-\delta$$D$-errore di generalizzazione non superiore a $\epsilon$ . Mostreremo che questo oracolo non è calcolabile da Turing.

In realtà, mostriamo che un problema più semplice è indecidibile: Uno di determinare, dato un campione marcato $S$ , se esiste un $f\in C_n$ coerenti con $S$ . Supponiamo (per ottenere una contraddizione) che $K$ sia una macchina di Turing che decide il problema della coerenza.

Facciamo le seguenti convenzioni notazionali. Identifica $\Sigma^*$ con $\mathbb{N}=\{0,1,2,\ldots\}$ tramite il solito ordinamento lessicografico. Per $x\in\{0,1\}^*$ , diciamo che una TM $M$ "S-stampa" $x$ se accetta tutte le stringhe in $\Sigma^*$ corrispondenti agli indici $i$ st $x_i=1$ e non accetta (possibilmente non arresto) una qualsiasi delle stringhe corrispondenti agli indici $x_i=0$ . Poiché (per ipotesi)$K$ è decidibile, ne consegue che la funzione$\tilde K:x\mapsto k$ , definita come la$k$ più piccola in modotale che alcune TM in$C_k$ S-print$x$ , sia calcolabile su Turing. Ne consegue inoltre che la funzione $g:k\mapsto x$ , che mappa una$k\in\mathbb{N}$ alla stringa minima (lessicograficamente)$x\in\{0,1\}^*$ tale che$\tilde K(x)>k$ , è anche calcolabile.

Definire la TM $M$ come segue: $M$ S-stampe $g(|\langle M\rangle|)$ , dove $\langle M\rangle$ è la codifica di $M$ , $|x|$denota lunghezza della stringa, e il teorema ricorsione viene richiamato per affermare l'esistenza di tale $M$ . Quindi $M$ ha una certa lunghezza di codifica, $\ell=|\langle M\rangle|$e S-stampa una stringa, $x_M\in\{0,1\}^*$. Per costruzione, $\tilde K(x_M)>\ell$ , quindi $x_M$ non può essere stampato a S da nessuna TM con lunghezza descrittiva $\ell$ o inferiore. Eppure è definito come l'output S-print di una TM con lunghezza descrittiva $\ell$ --- una contraddizione.