Limiti inferiori per l'apprendimento nella query di appartenenza e nel modello di controesempio


11

Dana Angluin ( 1987 ; pdf ) definisce un modello di apprendimento con domande di appartenenza e domande di teoria (controesempi a una funzione proposta). Mostra che un linguaggio regolare che è rappresentato da un DFA minimo di stati è apprendibile in tempi polinomiali (dove le funzioni proposte sono DFA) con domande di appartenenza e al massimo domande di teoria ( è la dimensione del più grande contro-esempio fornito dal tutor). Sfortunatamente, non discute limiti inferiori.nO(mn2)n-1m

Possiamo generalizzare leggermente il modello assumendo un tutor magico che può verificare l'uguaglianza tra funzioni arbitrarie e fornire controesempi se diversi. Quindi possiamo chiedere quanto sia difficile imparare lezioni più grandi delle lingue normali. Sono interessato a questa generalizzazione e alla restrizione originale alle lingue normali.

Esistono limiti inferiori noti sul numero di query nel modello di appartenenza e controesempio?

Sono interessato a limiti inferiori sul numero di richieste di adesione, domande di teoria o compromessi tra i due. Sono interessato a limiti inferiori per qualsiasi classe di funzioni, anche per classi più complicate rispetto alle lingue normali.

Se non ci sono limiti inferiori: sono noti barier che dimostrano limiti inferiori di query in questo modello?


Domande correlate

Ci sono miglioramenti nell'algoritmo di Dana Angluin per l'apprendimento di serie regolari

Risposte:


11

Sì, sono noti alcuni limiti inferiori. Ad esempio, supponendo , non è nemmeno possibile apprendere correttamente formule DNF read-tre volte in tempo polinomiale. C'è un intero documento che sviluppa tali risultati di durezza usando qualcosa chiamato "problema di rappresentazione".NPcoNP

Per rispondere alla tua domanda collegata: Schapire, nella sua tesi di laurea , oltre a dimostrare che "apprendimento debole" = "apprendimento forte", è migliorato anche sul limite di Angluin e ha fornito un algoritmo che utilizza query di equivalenza e query di appartenenza per l'apprendimento di DFA.O(n)O(n2+nlogm)

Un modo semplice per ottenere limiti inferiori è la teoria dell'informazione. Puoi capire quanti target distinti ci sono e quanti bit ti dà una query, ecc. Questi limiti superiori si avvicinano ma non ci sono. Ci sono anche questioni da considerare riguardo al modo in cui i "controesempi" arrivano allo studente. Un controesempio ben scelto può fornire molte informazioni.

Aggiornamento alla discussione sopra : Angluin e Dohrn affrontano la domanda imparando con controesempi casuali in un recente documento .


Grazie per la risposta! Ti dispiace se do la tua risposta alla mia domanda collegata sulla domanda collegata (con collegamenti di nuovo qui)? O pensi di creare un account CS.SE? Concordo pienamente con il paragrafo 3, mi stavo prendendo in giro chiedendo al tutor di fornire un controesempio minimo e l'apprendimento sembra essere molto più semplice.
Artem Kaznatcheev

Nessun problema! E sentiti libero di postare sulla domanda CS.SE collegata.
Lev Reyzin

Ho letto la parte pertinente della tesi di Schapire (sezione 5.4.5) e ho riassunto il miglioramento , spero di aver capito bene. Guarderò più da vicino il foglio con i limiti inferiori che citi più avanti nella settimana: D.
Artem Kaznatcheev

Freddo. Lo classificherei se avessi un account CS.SE :)
Lev Reyzin
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.