PHP 函数获取内的所有链接在远程站点上使用抓取方法

Question

有人有一个 PHP 函数可以抓取远程站点上特定 DIV 内的所有链接吗？所以用法可能是：

$links =grab_links($url,$divname);

并返回一个我可以使用的数组。抓取链接我可以弄清楚但不知道如何让它只在特定的 div 内执行。

谢谢！ 斯科特

Answer 1

查看 PHP XPath。它可以让您查询文档中特定标签的内容等。 php 网站上的示例非常简单：
http://php.net/manual/en/simplexmlelement.xpath.php

下面的示例实际上将获取文档中任何 DIV 中的所有 URL：

$xml = new SimpleXMLElement($docAsString);

$result = $xml->xpath('//div//a');

您可以在格式正确的 HTML 文件上使用它，而不仅仅是 XML。

良好的 XPath 参考： http://msdn.microsoft.com/en-us/library /ms256086.aspx

Answer 2

过去我成功地使用了 PHP Simple DOM 库：

http://simplehtmldom.sourceforge.net/

样品：

// Create DOM from URL or file
$html = file_get_html('http://www.google.com/');

// Find all images 
foreach($html->find('img') as $element) 
       echo $element->src . '<br>';

// Find all links 
foreach($html->find('a') as $element) 
       echo $element->href . '<br>';

Answer 3

我发现一些东西似乎可以满足我的要求。

http://www.earthinfo.org/xpaths-with-php-by- example/

<?php

$html = new DOMDocument();
@$html->loadHtmlFile('http://www.bbc.com');
$xpath = new DOMXPath( $html );
$nodelist = $xpath->query( "//div[@id='news_moreTopStories']//a/@href" );
foreach ($nodelist as $n){
echo $n->nodeValue."\n";
}

// for images

echo "<br><br>";
$html = new DOMDocument();
@$html->loadHtmlFile('http://www.bbc.com');
$xpath = new DOMXPath( $html );
$nodelist = $xpath->query( "//div[@id='promo_area']//img/@src" );
foreach ($nodelist as $n){
echo $n->nodeValue."\n";
}

?>

我也尝试过 PHP DOM 方法，它似乎更快...

http://w-shadow.com/blog/2009/10/20/how-to-extract-html-tags-and-their -attributes-with-php/

$html = file_get_contents('http://www.bbc.com');
//Create a new DOM document
$dom = new DOMDocument;

//Parse the HTML. The @ is used to suppress any parsing errors
//that will be thrown if the $html string isn't valid XHTML.
@$dom->loadHTML($html);

//Get all links. You could also use any other tag name here,
//like 'img' or 'table', to extract other tags.
$links = $dom->getElementById('news_moreTopStories')->getElementsByTagName('a');

//Iterate over the extracted links and display their URLs
foreach ($links as $link){
    //Extract and show the "href" attribute. 
    echo $link->getAttribute('href'), '<br>';
}