处理 JavaCC 中的标记歧义

Question

我正在尝试用 JavaCC 编写一个解析器，它可以识别在标记级别上有一些歧义的语言。 在这种特殊情况下，该语言支持“/”标记本身作为除法运算符，同时它还支持正则表达式文字。

考虑以下 JavaCC 语法：

TOKEN : 
{
    ...
    < VAR : "var" > |
    < DIV : "/" > |
    < EQUALS : "=" > |
    < SEMICOLON : ";" > |
    ...
}

TOKEN :
{
    < IDENTIFIER : <IDENTIFIER_START> (<IDENTIFIER_START> | <IDENTIFIER_CHAR>)* > |
    < #IDENTIFIER_START : ( [ "$","_","A"-"Z","a"-"z" ] )> |
    < #IDENTIFIER_CHAR : ( [ "$","_","A"-"Z","a"-"z","0"-"9" ] ) >  |

    < REGEX_LITERAL : ("/" <REGEX_BODY> "/" ( <REGEX_FLAGS> )? ) > |
    < #REGEX_BODY : ( <REGEX_FIRST_CHAR> <REGEX_CHARS> ) > |
    < #REGEX_CHARS : ( <REGEX_CHAR> )* > |
    < #REGEX_FIRST_CHAR : ( ~["\r", "\n", "*", "/", "\\"] | <BACKSLASH_SEQUENCE> ) > |
    < #REGEX_CHAR : ( ~[ "\r", "\n", "/", "\\" ] | <BACKSLASH_SEQUENCE> ) > |
    < #BACKSLASH_SEQUENCE : ("\\" ~[ "\r", "\n"] ) > |
    < #REGEX_FLAGS : ( <IDENTIFIER_CHAR> )* >

}

给出以下代码：

var y = a/b/c;

可以生成两组不同的标记。 令牌流应该是：

<VAR> <IDENTIFIER> <EQUALS> <IDENTIFIER> <DIV> <IDENTIFIER> <DIV> <SEMICOLON>

或

<VAR> <IDENTIFIER> <EQUALS> <IDENTIFIER> <REGEX_LITERAL> <SEMICOLON>

如何确保 TokenManager 生成我在这种情况下期望的令牌流？

Answer 1

JavaCC 将始终消耗最大的可用令牌，并且无法以其他方式对其进行配置。 实现此目的的唯一方法是添加一个词法状态，例如 IGNORE_REGEX，它排除标记，在本例中是 。 然后，当识别出后面不能跟 的标记时，必须将词法状态切换到 IGNORE_REGEX。

使用输入：

var y = a/b/c

将发生以下情况：

1. 被消耗，词汇状态设置为 DEFAULT
2. 被消耗，词法状态设置为 IGNORE_REGEX
3. 被使用，词法状态设置为 DEFAULT

4. 被消耗，词法状态设置为 IGNORE_REGEX

   此时，语法中存在歧义，将使用

   或 。 由于词法状态为 IGNORE_REGEX 并且该状态与 不匹配，因此将消耗

   。

5. 被使用，词汇状态设置为 DEFAULT

6. 被使用，词法状态设置为 IGNORE_REGEX
7. 为已使用，词法状态设置为 DEFAULT
8. 已使用，词法状态设置为 IGNORE_REGEX

Answer 2

据我记得（我曾经使用过JavaCC），

编写每个规则的顺序就是解析它的顺序，因此按照始终会生成您想要的表达式的顺序编写规则。

Answer 3

由于 JavaScript/EcmaScript 执行相同的操作（即，它包含正则表达式文字和除法运算符，看起来就像示例中的那些），因此您可能需要寻找现有的 JavaCC 语法来学习。 我发现一个链接到此博客条目，可能还有其他链接。