Un token è una stringa di caratteri, classificati secondo le regole come un simbolo (ad es. IDENTIFICATORE, NUMERO, COMMA). Il processo di formazione di token da un flusso di caratteri di input è chiamato tokenizzazione e il lexer li classifica in base a un tipo di simbolo. Un token può assomigliare a tutto ciò che è utile per elaborare un flusso di testo di input o un file di testo.