抓取并处理聚合网站的 HTML

Question

我正在用 PHP 编写一个爬行脚本。我正在使用 PHP 简单 HTML DOM 解析器。

获取 HTML 后，我只需要从每个页面中提取一些信息，并将这些信息聚合到我网站上我自己的 HTML 页面中。

我无法理解如何继续进行此操作。

任何帮助表示赞赏。

已添加

我想提取一些帖子（如果与特定地理位置和主题相关）

Answer 1

正则表达式可能是从数据中获取复杂信息的方法，但对于简单标签，您可以使用如下内容：

// 从 URL 或文件创建 DOM
$html = file_get_html('http://www.google.com/');

// 查找所有图像
foreach($html->find('img') as $element)
回显 $element->src 。 '
';

// 查找所有链接
foreach($html->find('a') as $element)
回显 $element->href 。 '
';

Answer 2

您可以这样做：

$doc = new DomDocument();
@$doc->loadHTMLFile($url);
$xpath = new DOMXpath($doc);
$nodeList = $xpath->query("your-xpath-query");
foreach ($nodeList as $node) {
    // grab the content, attributes or whatever you'r looking for
}

使用 Xpath 查询，您不必手动遍历 DOM 树，并且您的脚本对于您抓取的站点中的结构变化更加稳健。

我希望这能让你走上正轨。要获得更详细的示例，您必须提供更多信息。