获取网站数据（内容）的最佳方式？

Question

我需要抓取一些网站数据（内容） 这些网站提供列表，我需要抓取这些列表并根据内容过滤它们，

有什么软件可以做到这一点？ PHP 脚本？ 如果没有，我可以从哪里开始对此功能进行编程？

Answer 1

使用 file_get_contents() 返回整个文件的字符串，然后解析该字符串以提取内容。

其他选项是 cURL 或 wget，它们将获取整个文件，然后使用 AWK 和 SED 或 PERL 等处理它们，

具体取决于您需要抓取目标页面的频率。如果偶尔使用 PHP，但您需要从浏览器触发它，并且请记住 PHP 中的正则表达式可能非常耗时。

如果您想定期抓取文件，则可以在后台运行带有 cURL/wget + sed 和 awk 的 BASH 脚本，无需干预。

Answer 2

如果它的 php .. 可能会帮助你.. http:// www.thefutureoftheweb.com/blog/web-scrape-with-php-tutorial

// get the HTML
$html = file_get_contents("http://www.thefutureoftheweb.com/blog/");


preg_match_all(
    '/<li>.*?<h1><a href="(.*?)">(.*?)<\/a><\/h1>.*?<span class="date">(.*?)<\/span>.*?<div class="section">(.*?)<\/div>.*?<\/li>/s',
    $html,
    $posts, // will contain the blog posts
    PREG_SET_ORDER // formats data into an array of posts
);

foreach ($posts as $post) {
    $link = $post[1];
    $title = $post[2];
    $date = $post[3];
    $content = $post[4];

    // do something with data
}

当然，您需要根据您的要求自定义正则表达式。

您还可以找到大量其他示例.. http://www.google.com/search?source=ig&hl=en&rlz=&=&q=php+web +scraper&aq=f&oq=&aqi=

Answer 3

没有什么神奇的事情。因为每个页面的内容都不一样。
当您谈论 PHP 时，我将为您提供有关该语言的一些线索。

您可以使用 curl 获取网页。
获取内容后，可以使用正则表达式进行解析。

根据您想要做什么，您必须自己开发应用程序。