使用 nutch 爬行时出现 IOException

Question

在用 nutch(1.4) 爬行了一天之后......最后我得到了以下异常的坏坏：

.
.
.

-finishing thread FetcherThread, activeThreads=0
-activeThreads=0, spinWaiting=0, fetchQueues.totalSize=0
-activeThreads=0
Fetcher: java.io.IOException: Job failed!
    at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)
    at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:1204)
    at org.apache.nutch.fetcher.Fetcher.run(Fetcher.java:1240)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.nutch.fetcher.Fetcher.main(Fetcher.java:1213)
.
.

。

我有 20 个新闻网站，nutch 的输入参数是：深度 3 和 topN -1 我的 linux 根目录有足够的空间和大约 4GB 的内存 我该如何解决这个问题？ 谢谢。

Answer 1

我认为您可能遇到这个问题： http://wiki.apache.org/nutch/NutchGotchas

那里提供的答案指出：

我们找到的解决该情况的答案是，您很可能 /tmp 中的磁盘空间不足。考虑使用另一个位置，或者可能为 hadoop.tmp.dir 使用另一个分区（可以在 nutch-site.xml 中设置），为大型瞬态文件提供足够的空间，或者使用 Hadoop 集群。