有没有流行的网络数据抓取工具？

Question

我正在从事信息提取工作，我需要一个工具来从网络上抓取数据 page，windows下有流行的吗？

Answer 1

来自：http://en.wikipedia.org/wiki/Web_crawler：

• Aspseek 是一个用 C 语言编写的爬虫、索引器和搜索引擎，并根据 GPL 授权
• arachnode.net 是一个使用 SQL 2008 和 Lucene 用 C# 编写的 .NET 网络爬虫。
• DataparkSearch是一个在GNU通用公共许可证下发布的爬虫和搜索引擎。
• GNU Wget 是一个用 C 语言编写并在 GPL 下发布的命令行操作的爬虫。它通常用于镜像 Web 和 FTP 站点。
• GRUB 是 Wikia 搜索 ( http://wikiasearch.com ）用于抓取网络。
• Heritrix 是互联网档案馆的归档质量爬虫，设计用于归档大部分网络的定期快照。它是用 Java 编写的。
• ht://Dig 在其索引引擎中包含一个网络爬虫。
• HTTrack 使用网络爬虫创建网站镜像以供离线查看。它是用 C 语言编写的，并在 GPL 下发布。
• ICDL Crawler是一个用C++编写的跨平台网络爬虫，旨在仅使用计算机的空闲CPU资源来爬取基于网站解析模板的网站。
• mnoGoSearch 是一个用 C 语言编写的爬虫、索引器和搜索引擎，并在 GPL 下获得许可
• Nutch 是一个用 Java 编写的爬虫，并在 Apache 许可证下发布。它可以与 Lucene 文本索引包结合使用。
• Pavuk 是一个命令行 Web 镜像工具，带有可选的 X11 GUI 爬虫程序，并在 GPL 下发布。与 wget 和 httrack 相比，它具有许多高级功能，例如基于正则表达式的过滤和文件创建规则。
• YaCy，一个免费的分布式搜索引擎，基于点对点网络原理构建（根据 GPL 许可）。

还有一些阅读：
蜘蛛黑客 100 个工业级技巧和技巧工具：

Spidering Hacks 专为开发人员、研究人员、技术助理、图书馆员和高级用户编写，提供有关蜘蛛抓取和抓取方法的专家提示。您将从蜘蛛抓取概念、工具（Perl、LWP、开箱即用实用程序）和道德规范（如何知道何时走得太远：什么是可接受的和不可接受的）开始速成课程。接下来，您将从数据库收集媒体文件和数据。然后，您将学习如何解释和理解数据，将其重新用于其他应用程序，甚至构建授权接口以将数据集成到您自己的内容中。