Esiste un'estensione delle espressioni regolari che cattura le lingue libere dal contesto?

In molti articoli che coinvolgono grammatiche senza contesto (CFG), gli esempi di tali grammatiche presentati spesso ammettono facili caratterizzazioni del linguaggio che generano. Per esempio:

S $S \to a a S b$
$S \to$

genera ,$\{ a^{2i} b^i | i \geq 0\}$

$S \to a S b$
$S \to a a S b$
$S \to$

genera $\{ a^i b^j \mid i \geq j \geq 0 \}$ e

$S \to a S a$
$S \to b S b$
$S \to$

genera $\{ w w^R \mid w \in (a|b)^* \}$ , o equivalentemente $\{ ((a|b)^*)_1 ((a|b)^*)_2 \mid p_1 = p_2^R \}$ (dove $p_1$ riferisce alla parte catturato da $(...)_1$ ).

Tutti gli esempi sopra riportati possono essere generati aggiungendo indici ( $a^i$ ), semplici vincoli su questi indici ( $i > j$ ) e pattern matching alle espressioni regolari. Questo mi fa domandare se tutti i linguaggi senza contesto possano essere generati da una certa estensione delle espressioni regolari.

Esiste un'estensione delle espressioni regolari che può generare tutto o alcuni sottogruppi significativi delle lingue libere dal contesto?

Si C'è. Definire un'espressione senza contesto come termine generato dalla seguente grammatica:

$$\begin{array}{lcll} g & ::= & \epsilon & \mbox{Empty string}\\ & | & c & \mbox{Character $c$ in alphabet $\Sigma$} \\ & | & g \cdot g & \mbox{Concatenation} \\ & | & \bot & \mbox{Failing pattern} \\ & | & g \vee g & \mbox{Disjunction}\\ & | & \mu \alpha.\; g & \mbox{Recursive grammar expression} \\ & | & \alpha & \mbox{Variable expression} \end{array}$$

Questi sono tutti i costruttori per linguaggi regolari tranne la stella di Kleene, che viene sostituita da un operatore a virgola fissa generale $\mu \alpha.\;g$$g\ast \triangleq \mu \alpha.\;\epsilon \vee g\cdot\alpha$

L'interpretazione di un'espressione libera dal contesto richiede una spiegazione per l'interpretazione delle variabili libere. Quindi definisci un ambiente come una mappa dalle variabili alle lingue (cioè sottoinsiemi di ), e lascia che sia la funzione che si comporta come su tutti gli input tranne e che restituisce la lingua per .Σ ∗ [ ρ | α : L ] ρ α L $\rho$$\Sigma^*$$[\rho|\alpha:L]$$\rho$$\alpha$$L$$\alpha$

Ora, definisci l'interpretazione di un'espressione senza contesto come segue:

$$\newcommand{\interp}[2]{[\![{#1}]\!]\;{#2}} \newcommand{\setof}[1]{\left\{#1\right\}} \newcommand{\comprehend}[2]{\setof{{#1}\;\mid|\;{#2}}} \begin{array}{lcl} \interp{\epsilon}{\rho} & = & \setof{\epsilon} \\ \interp{c}{\rho} & = & \setof{c} \\ \interp{g_1\cdot g_2}{\rho} & = & \comprehend{w_1 \cdot w_2}{w_1 \in \interp{g_1}{\rho} \land w_2 \in \interp{g_2}{\rho}} \\ \interp{\bot}{\rho} & = & \emptyset \\ \interp{g_1 \vee g_2}{\rho} & = & \interp{g_1}{\rho} \cup \interp{g_2}{\rho} \\ \interp{\alpha}{\rho} & = & \rho(\alpha) \\ \interp{\mu \alpha.\; g}{\rho} & = & \bigcup_{n \in \mathbb{N}} L_n \\ \mbox{where} & & \\ L_0 & = & \emptyset \\ L_{n+1} & = & L_n \cup \interp{g}{[\rho|\alpha:L_n]} \end{array}$$

Usando il teorema di Knaster-Tarski, è facile vedere che l'interpretazione di è la meno fissa dell'espressione.$\mu \alpha.g$

È semplice (anche se non del tutto banale) dimostrare che puoi dare un'espressione senza contesto derivando la stessa lingua di qualsiasi grammatica senza contesto e viceversa. La non banalità deriva dal fatto che le espressioni senza contesto hanno punti fissi nidificati e le grammatiche senza contesto forniscono un singolo punto fisso su una tupla. Ciò richiede l'uso del lemma di Bekic, che dice precisamente che un punto fisso nidificato può essere convertito in un singolo punto fisso su un prodotto (e viceversa). Ma questa è l'unica sottigliezza.

EDIT: No, non conosco un riferimento standard per questo: l'ho elaborato per il mio interesse. Tuttavia, è una costruzione abbastanza ovvia che sono sicuro che sia stato inventato prima. Alcuni googling casuali rivelano Joost Winter, Marcello Bonsangue e il recente articolo di Context-Free Languages, Coalgebraically di Jan Rutten , in cui forniscono una variante di questa definizione (che richiede la protezione di tutti i punti fissi) che chiamano anche espressioni senza contesto.

C'era una domanda strettamente correlata (e diverse risposte) su MathOverflow riguardo alle lingue le cui funzioni generatrici sono olonomiche .

È interessante notare che la definizione di Neel della semantica di sopra corrisponde esattamente alla prova (costruttiva) dell'esistenza di soluzioni di specie alle equazioni di specie ricorsive tramite il teorema di specie implicito. Sfortunatamente, il suo schema di prova deve contenere anche un sottile errore, in quanto vi sono casi in cui le cose diventano "infinite". In altre parole, esiste una condizione per il giacobino della trasformazione definita dalla grammatica come non-singolare necessaria. Questo è probabilmente il motivo per cui Bonsangue-Rutten richiede che i punti fissi siano custoditi, come un modo per assicurare questa condizione al giacobino.$\mu$

Di recente abbiamo pubblicato i contorni di un framework che farà proprio questo. Guarda sotto comp.compilers , dove ho inviato una notifica insieme ad alcuni link.

I nuovi sviluppi si basano sul teorema di Chomsky-Schuetzenberger e possono essere considerati un completamento di questo risultato. Chomsky stesso è stato informato degli sviluppi e indica il desiderio di "recuperare".

Insieme a questo sviluppo, stabiliamo anche l'equivalenza di due formulazioni separate per espressioni senza contesto - una che è un'estensione / completamento della forma mu-calculus "punto minimo fisso" (originariamente di Gruska, Yntema e McWhirter) - che ha ricevuto una sorta di formulazione finale nel 2014 - e l'altra pubblicata nel 2008.