使用Nutch爬取指定URL列表

Question

我有一百万个 URL 列表需要获取。我使用这个列表作为 nutch 种子，并使用 Nutch 的基本 crawl 命令来获取它们。但是，我发现 Nutch 会自动获取不在列表中的 URL。我确实将爬网参数设置为-深度1 -topN 1000000。但它不起作用。有谁知道该怎么做？

Answer 1

在 nutch-site.xml 中设置此属性。 （默认情况下为 true，因此它将外链接添加到crawldb）

<property>
  <name>db.update.additions.allowed</name>
  <value>false</value>
  <description>If true, updatedb will add newly discovered URLs, if false
  only already existing URLs in the CrawlDb will be updated and no new
  URLs will be added.
  </description>
</property>

Answer 2

• 删除爬网和 urls 目录（如果之前已创建）
• 创建并更新种子文件（其中列出 URL 每行 1URL）
• 重新启动爬网过程

命令

nutch crawl urllist -dir crawl -depth 3 -topN 1000000

• urllist - 种子文件（url 列表）所在的目录
• crawl - 目录名称

即使问题仍然存在，请尝试删除您的 nutch 文件夹并重新启动整个过程。