Ingegneria software lexer

4

Quando utilizzare un combinatore parser? Quando utilizzare un generatore di parser?

Recentemente ho fatto un tuffo nel mondo dei parser, volendo creare il mio linguaggio di programmazione. Tuttavia, ho scoperto che esistono due approcci in qualche modo diversi nella scrittura di parser: Parser Generators e Parser Combinators. È interessante notare che non sono stato in grado di trovare alcuna risorsa che …

59 parsing lexer parser-combinator

6

Perché implementare un lexer come un array 2d e uno switch gigante?

Sto lentamente lavorando per terminare la mia laurea, e questo semestre è Compilers 101. Stiamo usando il Dragon Book . Tra poco nel corso e stiamo parlando dell'analisi lessicale e di come può essere implementata tramite automi finiti deterministici (di seguito, DFA). Imposta i tuoi vari stati lexer, definisci le …

24 compiler lexer pragmatism

3

Quale dovrebbe essere il tipo di dati dei token che un lexer restituisce al suo parser?

Come detto nel titolo, quale tipo di dati dovrebbe restituire / dare al parser un lexer? Nel leggere l' articolo di analisi lessicale di Wikipedia, si afferma che: Nell'informatica, l'analisi lessicale è il processo di conversione di una sequenza di caratteri (come un programma per computer o una pagina Web) …

21 data-types lexer flex

5

L'analisi separata e i passaggi di lexing sono buone pratiche con i combinatori di parser?

Quando ho iniziato a usare i combinatori parser la mia prima reazione è stata un senso di liberazione da quella che sembrava una distinzione artificiale tra analisi e lexing. All'improvviso tutto stava solo analizzando! Tuttavia, recentemente mi sono imbattuto in questo post su codereview.stackexchange che illustra qualcuno che ripristina questa …

18 parsing lexer parser-combinator

4

Scrivere un lexer in C ++

Quali sono le buone risorse su come scrivere un lexer in C ++ (libri, tutorial, documenti), quali sono alcune buone tecniche e pratiche? Ho guardato su Internet e tutti dicono di usare un generatore di lexer come lex. Non voglio farlo, voglio scrivere un lexer a mano.

18 c++ compiler lexer

5

In arrivo con token per un lexer

Sto scrivendo un parser per un linguaggio di markup che ho creato (scrivendo in Python, ma non è molto rilevante per questa domanda - infatti se questa sembra una cattiva idea, mi piacerebbe un suggerimento per un percorso migliore) . Sto leggendo qui i parser: http://www.ferg.org/parsing/index.html e sto lavorando alla …

14 python parsing lexer

1

Qual è la procedura che si segue quando si scrive un lexer basato su una grammatica?

Durante la lettura di una risposta alla domanda Chiarimento su grammatiche, Lexer e Parser , la risposta affermava che: [...] una grammatica BNF contiene tutte le regole necessarie per l'analisi lessicale e l'analisi. Questo mi è sembrato in qualche modo strano perché fino ad ora avevo sempre pensato che un …

13 design design-patterns development-process grammar lexer

5

Analisi lessicale senza espressioni regolari

Ho esaminato alcuni lexer in vari linguaggi di livello superiore ( Python , PHP , Javascript tra gli altri) e tutti sembrano usare espressioni regolari in una forma o nell'altra. Mentre sono sicuro che i regex sono probabilmente il modo migliore per farlo, mi chiedevo se ci fosse un modo …

9 theory regular-expressions lexer

Domande taggate «lexer»