如何使用antlr显示句子中的所有代词及其人称

Question

根据 WayneH 的语法进行编辑

这是我的语法文件中的内容。

grammar pfinder;

options {
  language = Java;
}
sentence
    : ((words | pronoun) SPACE)* ((words | pronoun) ('.' | '?'))
    ;

words 
    :   WORDS {System.out.println($text);};

pronoun returns [String value] 
    : sfirst {$value = $sfirst.value; System.out.println($sfirst.text + '(' + $sfirst.value + ')');}
    | ssecond {$value = $ssecond.value; System.out.println($ssecond.text + '(' + $ssecond.value + ')');}
    | sthird {$value = $sthird.value; System.out.println($sthird.text + '(' + $sthird.value + ')');}
    | pfirst {$value = $pfirst.value; System.out.println($pfirst.text + '(' + $pfirst.value + ')');}
    | psecond {$value = $psecond.value; System.out.println($psecond.text + '(' + $psecond.value + ')');}
    | pthird{$value = $pthird.value; System.out.println($pthird.text + '(' + $pthird.value + ')');};

sfirst returns [String value] :  ('i'   | 'me'  | 'my'   | 'mine') {$value = "s1";};
ssecond returns [String value] : ('you' | 'your'| 'yours'| 'yourself') {$value = "s2";};
sthird returns [String value] :  ('he'  | 'she' | 'it'   | 'his' | 'hers' | 'its' | 'him' | 'her' | 'himself' | 'herself') {$value = "s3";};
pfirst returns [String value] :  ('we'  | 'us'  | 'our'  | 'ours') {$value = "p1";};
psecond returns [String value] : ('yourselves') {$value = "p2";};
pthird returns [String value] :  ('they'| 'them'| 'their'| 'theirs' | 'themselves') {$value = "p3";};

WORDS : LETTER*;// {$channel=HIDDEN;}; 
SPACE : (' ')?;
fragment LETTER :  ('a'..'z' | 'A'..'Z');

这里，我在 java 测试类上有什么，

import java.util.Scanner;
import org.antlr.runtime.*;
import org.antlr.runtime.tree.*;
import java.util.List;

public class test2 {
    public static void main(String[] args) throws RecognitionException {
        String s;
        Scanner input = new Scanner(System.in);
        System.out.println("Eter a Sentence: ");
        s=input.nextLine().toLowerCase();
        ANTLRStringStream in = new ANTLRStringStream(s);
        pfinderLexer lexer = new pfinderLexer(in);
        TokenStream tokenStream = new CommonTokenStream(lexer);
        pfinderParser parser = new pfinderParser(tokenStream); 
        parser.pronoun(); 
    }
}

我需要在测试文件中放入什么，以便它显示句子中的所有代词及其各自的值（s1，s2，...）？

Answer 1

如果您尝试对口语/书面语言进行某种高级分析，您可能会考虑使用某种自然语言处理工具。例如， TagHelper Tools 将告诉您哪些元素是代词（和动词） 、名词、副词和其他深奥的语法结构）。 （THT 是我熟悉的唯一此类工具，因此不要将其视为对卓越的特定认可）。

Answer 2

片段不会创建标记，将它们放入解析器规则中不会给出理想的结果。

在我的测试盒上，这产生了（我认为！）期望的结果：

program :
        PRONOUN+
    ;

PRONOUN :
        'i'   | 'me'  | 'my'   | 'mine'
    |   'you' | 'your'| 'yours'| 'yourself'
    |   'he'  | 'she' | 'it'   | 'his' | 'hers' | 'its' | 'him' | 'her' | 'himself' | 'herself'
    |   'we'  | 'us'  | 'our'  | 'ours'
    |   'yourselves'
    |   'they'| 'them'| 'their'| 'theirs' | 'themselves'
    ;

WS  :   ' ' { $channel = HIDDEN; };

WORD    :   ('A'..'Z'|'a'..'z')+ { $channel = HIDDEN; };

在 Antlrworks 中，示例“我踢了你”返回了树结构：program ->; [我，你]。

我觉得有必要指出，Antlr 从句子中剥离代词的做法有些过分了。考虑使用正则表达式。该语法不区分大小写。扩展 WORD 来消耗除代词词典（例如标点符号等）之外的所有内容可能有点乏味。需要对输入进行清理。

--- 编辑：响应第二个OP：

• 我更改了原始语法以方便解析。新语法是：

  语法查找器；
  
  选项 {
      回溯=真；
      输出 = AST；
  }
  
  代币{
      程序;
  }
  
  程序 ：
          (单词* p+=代词+单词*)*
          -> ^(程序$p*)
      ;
  
  
  代词：
          '我' | '我' | '我的' | '矿'
      | '你' | '你的'| '你的'| '你自己'
      | '他' | '她' | '它' | '他的' | '她的' | '它' | '他' | '她'| '他自己'| ‘她自己’
      | '我们' | '我们' | '我们的' | '我们的' | ‘你们自己’
      | ‘他们’| ‘他们’| '他们的'| '他们的' | ‘他们自己’
  ;
  
  WS : ' ' { $channel = 隐藏; };
  
  字：('A'..'Z'|'a'..'z')+;
  

我将解释这些变化：

• 现在需要回溯来解决解析器规则程序。也许有更好的方法来编写它，不需要回溯，但这是我首先想到的事情。
• 定义了一个虚构标记程序来对我们的代词进行分组。
• 每个匹配的程序都被添加到 Antlr var $p 中，并根据虚数规则在 AST 中重写。
• 解释器代码现在可以使用 CommonTree 来收集匹配的代词

• 以下内容是用 C# 编写的（我不懂 Java），但我编写它的目的是让您能够阅读和理解它。

  静态对象[] ReadTokens( string text )
  {
      ArrayList 结果 = new ArrayList();
      pfinderLexer Lexer = new pfinderLexer(new Antlr.Runtime.ANTLRStringStream(text));
      pfinderParser 解析器 = new pfinderParser(new CommonTokenStream(Lexer));
      //语法树是虚构的标记{PROGRAM}，
      // 它的子代词是 $p 在语法中收集的代词。
      CommonTree语法Tree = Parser.program().Tree as CommonTree;
      if (syntaxTree == null) 返回 null;
      foreach（syntaxTree.Children 中的对象代词）
      {
          结果.Add(代词.ToString());
      }
      返回结果。ToArray();
  }
  

• 调用 ReadTokens("iickedyouandthem") 返回数组 ["i", "you", "them"]

Answer 3

我认为您需要了解有关 ANTLR 中的词法分析器规则的更多信息，词法分析器规则以大写字母开头，并为解析器将查看的流生成标记。词法分析器片段规则不会为流生成标记，但会帮助其他词法分析器规则生成标记，请查看词法分析器规则 WORDS 和 LETTER（LETTER 不是标记，但确实帮助 WORDS 创建标记）。

现在，当将文本文字放入解析器规则（规则名称将以小写字母开头）时，该文本文字也是词法分析器将识别和传递的有效标记（至少当您使用 ANTLR 时 - 我没有使用任何其他类似于 ANTLR 的工具来回答它们）。

我注意到的下一件事是你的“s”和“代词”规则似乎是同一件事。我注释掉了's'规则并将所有内容放入'代词'规则中

然后最后一件事是学习如何将动作放入语法中，你在's'规则中设置了返回值。我使代词规则返回一个字符串值，这样如果您想要“句子”规则中的操作，您将能够轻松完成“-i 代词”评论/答案。

现在，由于我不知道您的确切结果是什么，所以我与您的语法进行了一些细微的修改并重新组织（将我认为是解析器规则的内容移至顶部，并将所有词法分析器规则保留在底部）并添加了一些操作我想会告诉你你需要什么。另外，可能有几种不同的方法来完成此任务，我认为我的解决方案对于您可能想要的任何结果来说都不是完美的，但这是我能够在 ANTLRWorks 中使用的语法：

grammar pfinder;

options {
  language = Java;
}
sentence
    : ((words | pronoun) SPACE)* ((words | pronoun) ('.' | '?'))
    ;

words 
    :   WORDS {System.out.println($text);};

pronoun returns [String value] 
    : sfirst {$value = $sfirst.value; System.out.println($sfirst.text + '(' + $sfirst.value + ')');}
    | ssecond {$value = $ssecond.value; System.out.println($ssecond.text + '(' + $ssecond.value + ')');}
    | sthird {$value = $sthird.value; System.out.println($sthird.text + '(' + $sthird.value + ')');}
    | pfirst {$value = $pfirst.value; System.out.println($pfirst.text + '(' + $pfirst.value + ')');}
    | psecond {$value = $psecond.value; System.out.println($psecond.text + '(' + $psecond.value + ')');}
    | pthird{$value = $pthird.value; System.out.println($pthird.text + '(' + $pthird.value + ')');};

//s returns [String value]
//    :  exp=sfirst  {$value = "s1";}
//    |  exp=ssecond {$value = "s2";}
//    |  exp=sthird  {$value = "s3";}
//    |  exp=pfirst  {$value = "p1";}
//    |  exp=psecond {$value = "p2";}
//    |  exp=pthird  {$value = "p3";}
//    ;

sfirst returns [String value] :  ('i'   | 'me'  | 'my'   | 'mine') {$value = "s1";};
ssecond returns [String value] : ('you' | 'your'| 'yours'| 'yourself') {$value = "s2";};
sthird returns [String value] :  ('he'  | 'she' | 'it'   | 'his' | 'hers' | 'its' | 'him' | 'her' | 'himself' | 'herself') {$value = "s3";};
pfirst returns [String value] :  ('we'  | 'us'  | 'our'  | 'ours') {$value = "p1";};
psecond returns [String value] : ('yourselves') {$value = "p2";};
pthird returns [String value] :  ('they'| 'them'| 'their'| 'theirs' | 'themselves') {$value = "p3";};

WORDS : LETTER*;// {$channel=HIDDEN;}; 
SPACE : (' ')?;
fragment LETTER :  ('a'..'z' | 'A'..'Z');

我认为最终结果是这样的语法将向您展示如何完成您正在尝试做的事情，并且无论最终结果是什么都需要修改。

祝你好运。

我认为你只需要在测试类中更改一行，
parser.代词();
到：
parser.sentence();

您可能还想更改语法中的其他一些内容：
空间 ： ' ';
句子：（单词 | 代词）（空格（单词 | 代词））* ('.' | '?'); // 那么你可能想在句子和单词/代词之间放置一条规则。