如何从文本中提取引文（PHP）？

Question

您好！

我想从文本中提取所有引用。此外，还应提取被引用人的姓名。 DayLife 在这方面做得很好。

示例：

“他们认为‘游戏结束了’，”一位高级政府官员表示。

应提取短语他们认为“游戏结束”，以及所引用的人一位高级行政官员。

你认为这可能吗？只有检查是否提到了被引用的人，才能区分引文和引文中的单词。

示例：

“我认为情况很严重，而且正在恶化，”马伦上将周日在 CNN 的“国情咨文”节目中表示。

国情咨文这句话不是引文。但你如何检测到这一点呢？ a) 您检查是否提到了被引用的人。 b) 你数一下假定引文中的空格。如果空格少于 3 个就不是引用了，对吗？我更喜欢 b)，因为并不总是被引用的人被命名。

如何开始？

我首先将所有类型的引号替换为一种类型，这样您稍后只需检查一个引号。

<?php
$text = '';
$quote_marks = array('“', '”', '„', '»', '«');
$text = str_replace($quote_marks, '"', $text);
?>

然后我会提取引号之间包含超过 3 个空格的所有短语：

<?php
function extract_quotations($text) {
   $result = preg_match_all('/"([^"]+)"/', $text, $found_quotations);
   if ($result == TRUE) {
      return $found_quotations;
      // check for count of blank spaces
   }
   return array();
}
?>

您如何改进这一点？

我希望你能帮助我。预先非常感谢您！

Answer 1

正如 ceejayoz 已经指出的那样，这不适合单个函数。您在问题中所描述的内容（检测句子中引号转义部分的语法功能 - 即“我认为情况很严重并且正在恶化”与“国情咨文”）最好通过图书馆来解决可以将自然语言分解为标记。我不知道 PHP 中有任何这样的库，但你可以看看你在 python 中使用的项目的大小： http://www.nltk.org/

我认为您能做的最好的事情就是定义一组手动验证的语法规则。像这样的事情怎么样：

abstract class QuotationExtractor {

    protected static $instances;

    public static function getAllPossibleQuotations($string) {
        $possibleQuotations = array();
        foreach (self::$instances as $instance) {
            $possibleQuotations = array_merge(
                $possibleQuotations,
                $instance->extractQuotations($string)
            );
        }
        return $possibleQuotations;
    }

    public function __construct() {
        self::$instances[] = $this;
    }

    public abstract function extractQuotations($string);

}

class RegexExtractor extends QuotationExtractor {

    protected $rules;

    public function extractQuotations($string) {
        $quotes = array();
        foreach ($this->rules as $rule) {
            preg_match_all($rule[0], $string, $matches, PREG_SET_ORDER);
            foreach ($matches as $match) {
                $quotes[] = array(
                    'quote' => trim($match[$rule[1]]),
                    'cited' => trim($match[$rule[2]])
                );
            }
        }
        return $quotes;
    }

    public function addRule($regex, $quoteIndex, $authorIndex) {
        $this->rules[] = array($regex, $quoteIndex, $authorIndex);
    }

}

$regexExtractor = new RegexExtractor();
$regexExtractor->addRule('/"(.*?)[,.]?\h*"\h*said\h*(.*?)\./', 1, 2);
$regexExtractor->addRule('/"(.*?)\h*"(.*)said/', 1, 2);
$regexExtractor->addRule('/\.\h*(.*)(once)?\h*said[\-]*"(.*?)"/', 3, 1);

class AnotherExtractor extends Quot...

如果你有一个像上面这样的结构，你可以通过任何/所有的结构运行相同的文本，并列出可能的引用以选择正确的引用。我已使用该线程作为测试输入运行代码，结果是：

array(4) {
  [0]=>
  array(2) {
    ["quote"]=>
    string(15) "Not necessarily"
    ["cited"]=>
    string(8) "ceejayoz"
  }
  [1]=>
  array(2) {
    ["quote"]=>
    string(28) "They think it's `game over,'"
    ["cited"]=>
    string(34) "one senior administration official"
  }
  [2]=>
  array(2) {
    ["quote"]=>
    string(46) "I think it is serious and it is deteriorating,"
    ["cited"]=>
    string(14) "Admiral Mullen"
  }
  [3]=>
  array(2) {
    ["quote"]=>
    string(16) "Not necessarily,"
    ["cited"]=>
    string(0) ""
  }
}

Answer 2

如果空格少于 3 个，就不是引号了，对吗？

“不一定，”ceejayoz 说。

国情咨文段落不是引文。但你如何检测到这一点呢？ a) 您检查是否提到了被引用的人。 b) 你数一下假定引文中的空格。如果空格少于 3 个就不是引用了，对吗？我更喜欢 b)，因为并不总是被引用的人被命名。

b) 甚至不适用于这个例子 - “State of the Union”中有 3 个空格。

Answer 3

引文总是有标点符号——要么在末尾加一个逗号，表示后面跟着说话者的名字或标题，要么在句子的末尾（.!?）。