如何使用 DOM 和 DOM 从页面中抓取链接X路径？

Question

我有一个页面被卷曲刮掉了，我希望抓取具有特定 ID 的所有链接。据我所知，最好的方法是使用 dom 和 xpath。下面的代码获取了大量的 url，但删除了其中的许多并获取不是 url 的文本。

$curl_scraped_pa​​ge 是用curl 刮取的页面。

$dom = new DOMDocument();
@$dom->loadHTML($curl_scraped_page);
$xpath = new DOMXPath($dom);
$hrefs = $xpath->evaluate("/html/body//a");

我走在正确的轨道上吗？我是否只需要弄乱“/html/body//a”xpath 语法，还是需要添加更多内容来捕获 id 元素？

Answer 1

您也可以这样做，您将拥有 onyl a 标签，其中包含 id 和 href ：

$doc = new DOMDocument();
$doc->loadHTML($curl_scraped_page);
$xpath = new DOMXPath($doc);

$hrefs = $xpath->query('//a[@href][@id]');

Answer 2

$dom = new DOMDocument();
$dom->loadHTML($curl_scraped_page);

$links = $dom->getElementsByTagName('a');

$processed_links = array();

foreach ($links as $link)
{
    if ($link->hasAttribute('id') && $link->hasAttribute('href'))
    {
        $processed_links[$link->getAttribute('id')] = $link->getAttribute('href');
    }
}

这是关于您的问题的解决方案。

Answer 3

http://simplehtmldom.sourceforge.net/

include('simple_html_dom.php');
$html = file_get_html('http://www.google.com/');
foreach($html->find('#www-core-css') as $e) echo $e->outertext . '<br>';

Answer 4

我认为最简单的方法是组合以下 2 个类来从另一个网站提取信息：

从任何 HTML 标签、内容或标签属性中提取信息： http://simplehtmldom.sourceforge.net/

易于处理curl，支持POST请求：https://github.com/php-curl-class/php-curl-class

示例：

include('path/to/curl.php');
include('path/to/simple_html_dom.php');
$url = 'http://www.example.com';

$curl = new Curl;
$html = str_get_html($curl->get($url)); //full HTML of website
$linksWithSpecificID = $html->find('a[id=foo]'); //returns array of elements

查看上方链接的《简单 HTML DOM 解析器手册》，了解 HTML 数据的操作。