Caratterizzazione combinatoria dell'apprendimento esatto con domande di appartenenza

Modifica: poiché non ho ricevuto risposte / commenti da una settimana, vorrei aggiungere che sono felice di sapere qualcosa sul problema. Non lavoro nell'area, quindi anche se si tratta di una semplice osservazione, potrei non saperlo. Anche un commento del tipo "Lavoro nell'area, ma non ho visto una caratterizzazione come questa" sarebbe utile!

Sfondo:

Esistono diversi modelli di apprendimento ben studiati nella teoria dell'apprendimento (ad esempio, apprendimento PAC, apprendimento online, apprendimento esatto con domande di appartenenza / equivalenza).

Ad esempio, nell'apprendimento PAC, la complessità del campione di una classe di concetti ha una bella caratterizzazione combinatoria in termini di dimensione VC della classe. Quindi, se vogliamo imparare una classe con precisione e sicurezza costanti, questo può essere fatto con $\Theta(d)$ campioni, dove $d$ è la dimensione VC. (Si noti che stiamo parlando della complessità del campione, non della complessità del tempo.) Esiste anche una caratterizzazione più raffinata in termini di accuratezza e sicurezza. Allo stesso modo, il modello di apprendimento online associato agli errori ha una bella caratterizzazione combinatoria.

Domanda:

Voglio sapere se un risultato simile è noto per il modello di apprendimento esatto con le domande di iscrizione. Il modello è definito come segue: abbiamo accesso a una casella nera che sull'input $x$ ti dà $f(x)$ . Sappiamo $f$ proviene da un qualche concetto di classe $C$ . Vogliamo determinare $f$ con il minor numero di query possibile.

Esiste un parametro combinatorio di un concetto di classe $C$ che caratterizza il numero di query necessarie per apprendere un concetto nel modello di apprendimento esatto con le domande di appartenenza?

Quello che so:

La migliore caratterizzazione che ho trovato è in questo articolo di Servedio e Gortler , usando un parametro a cui attribuiscono Bshouty, Cleve, Gavaldà, Kannan e Tamon . Definiscono un parametro combinatorio chiamato , dove C è la classe concettuale, che ha le seguenti proprietà. (Consenti a Q C di essere il numero ottimale di query necessarie per apprendere C in questo modello.)$\gamma^C$$C$$Q_C$$C$

$Q_C = \Omega(1/\gamma^C)\qquad Q_C = \Omega(\log |C|) \qquad Q_C = O(\log |C|/\gamma^C)$

Questa caratterizzazione è quasi serrata. Tuttavia, potrebbe esserci un divario quadratico tra i limiti superiore e inferiore. Ad esempio se , quindi il limite inferiore è Ω ( k ) , ma il limite superiore è O ( k 2$1/\gamma^C = \log |C| = k$$\Omega(k)$$O(k^2)$ . (Penso anche che questo divario sia realizzabile, cioè esiste una classe di concetti per cui i limiti inferiori sono entrambi , ma il limite superiore è O ( k 2 ) .)$\Omega(k)$$O(k^2)$

Per portare a casa il punto dell'esempio di un alce anonimo, considera la classe concettuale che consiste in funzioni che generano 1 su un solo punto in {0,1} ^ n. La classe ha dimensioni 2 ^ n e nel caso peggiore sono necessarie 2 ^ n query. Dai un'occhiata alla dimensione dell'insegnamento nel caso peggiore (Goldman e Schapire) che fornisce qualcosa di simile a quello che stai cercando.

Non conosco una tale caratterizzazione. Tuttavia, vale la pena notare che per quasi tutte le classi di concetti, è necessario interrogare tutti i punti. Per vedere questo, considera la classe di concetto che consiste di tutti i vettori booleani n-dimensionali con peso di Hamming 1. Questa classe di concetti richiede ovviamente n query per imparare, che è uguale alla sua cardinalità. Probabilmente puoi generalizzare questa osservazione per capire che quasi ogni classe di concetti richiede anche l'esecuzione di tutte le query.

Sospetterei che dato un concetto di classe C come input, è NP-difficile determinare la complessità dell'apprendimento esatto della classe di concetti con le domande di appartenenza, o addirittura approssimarlo fino a dire una costante. Ciò darebbe qualche indicazione che non esiste una "buona" caratterizzazione combinatoria. Se desideri dimostrare un tale risultato di durezza NP, ma prova a fallire, non esitare a pubblicare qui e vedrò se riesco a capirlo (ho alcune idee).

Anche se altri hanno indicato la risposta. Ho pensato di poterlo rendere autonomo e mostrare perché dimensione dell'insegnamento è la risposta.

$C$$X$$S\subseteq X$$f$$f$$C$$S$ .

$\mathcal{T}(f)$$f$$(f,C)=min\{\ |S|\ | \ S\in \mathcal{T}(f) \}$$f$$_{min}(f)$$\mathcal{T}(f)$$(C)=$$_{f\in C}$$(f,C)$$C$ .

$f$$(f,C)$$_{min}(f)$$(C)$$f$