Trovare l'espressione regolare minima è un problema NP-completo?

Sto pensando al seguente problema: voglio trovare un'espressione regolare che corrisponda a un determinato insieme di stringhe (ad esempio indirizzi e-mail validi) e non corrisponda ad altri (indirizzi e-mail non validi).

Supponiamo che per espressione regolare intendiamo una macchina a stati finiti ben definita, non ho familiarità con la terminologia esatta, ma concordiamo su una classe di espressioni consentite.

Invece di creare manualmente l'espressione, voglio dargli una serie di esempi positivi e una serie di esempi negativi.

Dovrebbe quindi venire con un'espressione che corrisponda a +, respinga - ed è minima in un certo senso ben definito (numero di stati negli automi?).

Le mie domande sono:

• È stato considerato questo problema, come può essere definito in modo più concreto e può essere risolto in modo efficiente? Possiamo risolverlo in tempo polinomiale? NP è completo, possiamo approssimarlo in qualche modo? Per quali classi di espressioni avrebbe funzionato? Gradirei qualsiasi puntatore a libri di testo, articoli o simili che trattano questo argomento.
• Ciò è in qualche modo collegato alla complessità di Kolmogorov?
• Questo è in qualche modo legato all'apprendimento? Se l'espressione regolare è coerente con i miei esempi, in quanto è minima, possiamo dire qualcosa sul suo potere di generalizzazione su esempi ancora invisibili? Quale criterio per la minimalità sarebbe più adatto a questo? Quale sarebbe più efficiente? Questo ha qualche connessione con l'apprendimento automatico? Ancora una volta, qualsiasi puntatore sarebbe utile ...

Ci scusiamo per la domanda disordinata ... Indicami la giusta direzione per capirlo. Grazie !

Sì, è NP-Hard. Pitt e Warmuth dimostrato che trovare il più piccolo DFA coerente con un dato campione non può essere approssimata entro $OPT^k$ per qualsiasi costante $k$ , salvo $P = NP$ .

Per quanto riguarda la domanda di apprendimento: Kearns e Valiant hanno dimostrato che puoi codificare RSA in un DFA. Quindi, anche se gli esempi etichettati provengono dalla distribuzione uniforme, essere in grado di generalizzare a esempi futuri (anche provenienti anche dalla distribuzione uniforme) romperebbe RSA. Quindi, pensiamo che nel peggiore dei casi, avere esempi etichettati non aiuta con l'apprendimento di un DFA (nel modello PAC). Questo è uno dei classici risultati di durezza crittografica per l'apprendimento.

Entrambi questi problemi sono intrecciati a causa di quello che chiamiamo Teorema del rasoio di Occam . Sostanzialmente afferma che se abbiamo una procedura per trovare la più piccola ipotesi da una data classe che è coerente con un campione etichettato da un'ipotesi della stessa classe, allora possiamo PAC imparare quella classe. Quindi, dato il risultato di durezza RSA, ci aspetteremmo che trovare il DFA coerente più piccolo sia difficile in generale!

Per aggiungere un risultato di apprendimento positivo, Angluin ha dimostrato che puoi imparare un DFA se riesci a inventare i tuoi esempi, ma richiede che il potere aggiuntivo sia in grado di chiedere "è la mia attuale ipotesi corretta?" Questo era anche un documento fondamentale sull'apprendimento.

Per rispondere alla tua altra domanda, tutto ciò è in effetti legato alla complessità di Kolmogorov, poiché il problema di apprendimento diventa più facile quando la rappresentazione canonica del DFA target ha una bassa complessità.

Rispondo agli aspetti relativi all'apprendimento della domanda.

Questo problema sembra essere chiamato "apprendimento DFA" in letteratura.

Gold [Gol78] ha mostrato che NP è completo per decidere, dati k ∈ℕ e due insiemi finiti P e N di stringhe, se esiste un automa deterministico a stati finiti (DFA) con al massimo k stati che accetta ogni stringa in P e nessuna delle stringhe in N . L'articolo [PH01] sembra discutere dei problemi relativi a questa motivazione (potrebbero essercene molti altri; questo è appena emerso quando ho cercato di trovare documenti pertinenti con Google).

Riferimenti

[Gol78] E Mark Gold. Complessità dell'identificazione dell'automa da dati dati. Informazione e controllo , 37 (3): 302–320, giugno 1978. http://dx.doi.org/10.1016/S0019-9958(78)90562-4

[PH01] Rajesh Parekh e Vasant Honavar. Imparare DFA da semplici esempi. Machine Learning , 44 (1–2): 9–35, luglio 2001. http://www.springerlink.com/content/kr2501h2442l8mk1/ http://www.cs.iastate.edu/~honavar/Papers/parekh- dfa.pdf

Durante questa discussione, si è ipotizzato che trovare un'espressione regolare minima equivale a trovare un FSM minimo che riconosca la lingua, ma queste sono due cose diverse. Se ricordo bene, un DFA può essere minimizzato in tempi polinomiali, mentre trovare un'espressione regolare minima che rappresenti un determinato linguaggio regolare è difficile per PSPACE. Quest'ultimo è uno di quei risultati che appartengono al folklore della teoria degli automi, ma la cui prova non può essere trovata da nessuna parte. Penso che sia indicato come un esercizio nel libro di Papadimitrou.

Vedi anche questo post di overflow dello stack. Il libro che stai cercando sembra essere Introduzione alla teoria del calcolo di Michael Sipser.

Stai ponendo un paio di domande diverse, quindi prendile una alla volta:

Is finding a minimal Finite State Machine for a language L NP-complete?

No non lo è. Il post Stack Overflow discute un ingenuo algoritmo n ^ 2 per ridurre un FSM alla sua dimensione minima. (Lavorando all'indietro dagli stati di arresto, combinare stati che sono "identici" in un senso preciso.)

Apparentemente (non ho seguito il link), c'è un algoritmo n log per farlo.

I have a training set of strings, how do I find the minimal FSM 
that separates the good examples from the bad?

Mentre lo hai definito, il tuo set di allenamento descrive un linguaggio finito . Linguaggi finiti banalmente associati a un FSM: crea un insieme lineare di stati che termina in uno stato di arresto per ogni stringa nella tua lingua, non è richiesto il looping. Quindi, eseguire l'algoritmo di minimizzazione di FSM sulla macchina risultante.

Is this a good way to build a classifier?

Non lo direi. Ridurre al minimo il FSM non cambia il suo potere discriminante - questo è una specie di punto. L'FSM minimo accetta esattamente l'insieme di stringhe come qualsiasi FSM equivalente non minimo.

In generale, le espressioni regolari non sono adatte per classificare nuovi dati. Per qualsiasi set di addestramento finito, otterrai un RE / FSM che corrisponde solo agli esempi positivi in ​​quel set, senza possibilità di generalizzare a nuovi dati. Non ho mai visto un approccio che tenti di trovare un linguaggio regolare infinito che corrisponda a un corpus di allenamento.

Per l'apprendimento automatico, dovresti cercare qualcosa come un ingenuo classificatore Bayes, un albero decisionale, una rete neurale o qualcosa di più esotico. L'intelligenza artificiale di Russell e Norvig : un approccio moderno è il posto giusto per trovare una panoramica delle tecniche di apprendimento automatico (e molto altro ancora).