html解析的dom和xpath查询

Question

我正在尝试编写一个机器人，它将每天获取 html 并进行解析。 现在，为了解析html，我可以只使用像explode或正则表达式这样的字符串函数，但我发现dom xpath代码更清晰，所以现在我可以对我必须蜘蛛的所有站点和我必须剥离的标签进行配置：

'http://examplesite.com' => '//div/a[@class="articleDesc"]/@href'

所以代码看起来像这样

    @$dom->loadHTML($html);
$xpath = new DOMXPath($dom);
$tags = $xpath->query('//body/div[@class="articleDesc"]');


foreach ($tags as $tag) 
    echo $tag->nodeValue . "\n";

因此我得到了所有带有类文章描述的 div 标签，这很棒。但我注意到 div 标签内的所有 html 标签都被删除了。 我想知道如何获取我正在查看的 div 的全部内容。

我还发现很难看到 $xpath->query() 的任何正确文档来了解如何形成字符串。 php 站点没有详细说明它的具体构成。不过，我的主要问题是

Answer 1

简单的答案是：

foreach ($tags as $tag) 
    echo $dom->saveXML($tag);

如果您希望 html 未剥离 a 标签，则 xpath 将是

//a[@class="articleDesc"]

假设 a 标签具有该 class 属性

Answer 2

尝试使用 http://www.php.net/manual/en/simplexmlelement.asxml .php

或者，替代 :

function getNodeInnerHTML(DOMNode $oNode)   {
  $oDom = new DOMDocument();
  foreach($oNode->childNode as $oChild) {
    $oDom->appendChild($oDom->importNode($oChild, true));
  }
  return $oDom->saveHTML();
}

Answer 3

这也应该加载所有内部标签。虽然它不是 DOM，但它们是可以互换的。稍后您可以 dom_import_simplexml 将其带回 DOM。

$xml=simplexml_load_string($html);
$tags=$xml->xpath('//body/div[@class="articleDesc"]');

Answer 4

你可以使用这个很棒的蜘蛛框架（Python）Scrapy