ANTLR - 基本语法包括意外字符？

Question

我有一个非常简单的 ANTLR 语法，我正在尝试让它工作，但目前惨败。非常感谢对此的一些指示...

root    :   (keyword|ignore)*;
keyword :    KEYWORD;
ignore  :    IGNORE;

KEYWORD : ABBRV|WORD;   

fragment WORD : ALPHA+;
fragment ALPHA : 'a'..'z'|'A'..'Z';
fragment ABBRV : WORD?('.'WORD);

IGNORE  : .{ Skip(); };

通过以下测试输入：

"some ASP.NET and .NET stuff. that work."

我想要一棵树，它只是关键字节点的列表，

"some", "ASP.NET", "and", ".NET", "stuff", "that", "work"

此刻我得到

"some", "ASP.NET", "and", ".NET", "stuff. that",

（由于某种原因“.”出现在最后一个关键字中，并且 then ，它会错过“工作”

如果我将 ABBRV 子句更改为

fragment ABBRV : ('.'WORD);

，但我会分别获得关键字（asp）和关键字（.net），但我需要它们作为单个标记，

您可以提供的任何帮助都会很大 。赞赏。

Answer 1

有几件事，首先，您的忽略解析器规则永远不会被触发，甚至不必出现在这个语法中（也排除在根规则之外）。当然，由于您正在调试并且具有忽略规则，因此测试更容易（通过删除 IGNORE 词法分析器规则中的skip();）。

现在解释测试数据，因为没有一个词法分析器标记只匹配 WORD '.'由于文本后面的句点，测试数据的结尾被忽略。如果您在“work”和句点之间放置一个空格，那么最后一个单词将出现，而句点将不会出现，这就是您想要的。词法分析器不知道如何处理“工作”。当它结束时。如果您在末尾添加另一个单词（在句点和新单词之间添加一个空格），则为“work”。是作为一个 IGNORE 标记从词法分析器规则传递的。我本以为这个词会被传递，并且句点应该只在 IGNORE 标记中。

Answer 2

我决定尝试使用 ANTLR3 语法来解决您的问题。这就是我想出的，附加了一些字符串：

• 你的规范不包含很多规则，因此，我的语法不是很彻底。
• 考虑添加到 KEYW 以匹配更多令牌。

• 我现在没有 C# 兼容的 ANTLR。将“skip()”大写以使其兼容。

  语法 TestSplitter;
  
  开始：（KEYW DELIM！？）*；
  KEYW: ('a'..'z'|'A'..'Z'|'.')+ ;
  德利姆：“.”？ ' '+ ;