我的 ANTLR 词法分析器如何匹配由另一种标记的子集字符组成的标记？

Question

我有一个我认为简单的 ANTLR 问题。我有两种令牌类型：ident 和 special_ident。我希望我的 special_ident 匹配单个字母后跟一个数字。我希望通用 ident 匹配单个字母，可以选择后跟任意数量的字母或数字。我的（不正确的）语法如下：

expr 
    : special_ident
    | ident
    ;

special_ident : LETTER DIGIT;
ident         : LETTER (LETTER | DIGIT)*;

LETTER : 'A'..'Z';
DIGIT  : '0'..'9';

当我尝试检查此语法时，我收到此警告：

决策可以使用多种选择来匹配输入，例如“字母数字”：1、2。 因此，该输入禁用了替代方案 2

我知道我的语法不明确，并且 A1 等输入可能与 ident 或 special_ident 匹配。我真的只是希望在最狭窄的情况下使用 special_ident 。

以下是一些示例输入以及我希望其匹配的内容：

A      : ident
A1     : special_ident
A1A    : ident
A12    : ident
AA1    : ident

如何形成语法以便正确识别两种类型的标识符？

Answer 1

似乎您有 3 种情况：

• A
• AN
• A(A|N)(A|N)+

您可以将中间的情况分类为 < code>special_ident ，另外两个为 ident；似乎应该可以解决问题。

我对 ANTLR 有点生疏，我希望这个提示足够了。我可以尝试为你写出表达式，但它们可能是错误的：

long_ident    : LETTER (LETTER | DIGIT) (LETTER | DIGIT)+
special_ident : LETTER DIGIT;
ident         : LETTER | long_ident;

Answer 2

扩展卡尔的想法，我猜你有四种不同的情况：

1. A
2. AN
3. AA(A|N)*
4. AN(A|N)+

只有选项 2 应该是 tokenspecial_ident，其他三个应该是 ident。所有标记都可以仅通过语法来识别。这是我在 ANTLRWorks 中测试的一个快速语法，它似乎对我来说工作正常。我认为 Carl 在尝试检查 AA 时可能会遇到一个错误，但是让你得到 99% 的结果是一个巨大的好处，所以这只是对他的快速想法的一个小小的修改。

prog 
    :    (expr WS)+ EOF;

expr 
    : special_ident {System.out.println("Found special_ident:" + $special_ident.text + "\n");}
    | ident {System.out.println("Found ident:" + $ident.text + "\n");}
    ;

special_ident : LETTER DIGIT;

ident         : LETTER 
    |LETTER DIGIT (LETTER|DIGIT)+
    |LETTER LETTER (LETTER|DIGIT)*;

LETTER : 'A'..'Z';
DIGIT  : '0'..'9';
WS 
    :   (' '|'\t'|'\n'|'\r')+;