如何从网页文本正文中提取前几句话

Question

我们正在构建某种挖掘网站，并希望自动获取有限的文本（2-3 句话）。可以是文章的最后 3 句。这样会更容易。目前我们获取网页内容没有问题，但想要制作通用脚本来获取几句话。我们希望避免为我们想要从中获取内容的每个网站制作自定义脚本。

我想找到由点组成的文本块。寻找近距离内的点，然后围绕点获取单词。这是原始的想法。有人有其他想法如何提取部分文本吗？

我们不想抓取完整的内容。

Answer 1

您可以查找文档中具有较少标记和较少垂直空白的大部分内容。下载页面的源代码并使用 strip_tags() 去除所有标记。然后，您可以使用正则表达式搜索五个连续的句子。

这是一个示例脚本。它使用未包含的类（curl_multi 函数的抽象），但该类与您的问题并不真正相关。

<?php

require_once("./../MultipleRequester.php");

$requester = new MultipleRequester();

$requester->addGetRequest( 'test', 'http://www.businessweek.com/news/2011-08-24/gold-tumbles-most-since-march-2008-as-demand-for-haven-wanes.html');
$requester->execute();
$content = $requester->getContent('test');

$plainText = strip_tags( $content );

$search = preg_match('/(\h{0,2}\v{0,2}\h{0,2}[A-Z]{1}[A-z0-9 ,\'")(.$]{10,1000}\.){2,5}/', $plainText, $matches);

if( $search )
    print trim($matches[0]);
else
    print "Could not extract anything.";

print "\n\n";
?>

这打印：

由于人们猜测美联储主席伯南克本周是否会表示央行愿意为经济提供更多刺激，美元兑一篮子六种主要货币上涨。各国央行行长本周在怀俄明州杰克逊霍尔举行会议，讨论美国经济复苏问题。

您可能仍然会遇到对内容进行大量标记的网站的问题。您可能想让正则表达式更加宽松，特别是对于空格。

正则表达式有点混乱，但您可以调整它或编写自己的正则表达式。