比较 Nutch 与 Heritrix
我想选择上述之一来为特定网站构建爬行框架。这不是互联网范围内的抓取。我不是在构建搜索索引，而是对从网站上抓取特定页面感兴趣。
有人可以详细说明一下上述优点和缺点吗？ 谢谢 纳恩
I want to select one of the above for building a crawling framework for specific web sites. This is not an internet-wide crawl. I am not building a search index, and rather interested in scraping specific pages from the web site.
Could somebody please detail about the pros and cons of above?
Thanks
Nayn
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
您的主要任务是从网站上抓取特定页面。
Nutch：基于 Lucene Java 构建的开源网络搜索软件
Heritrix：是互联网档案馆的开源、可扩展、网络规模、档案质量的网络爬虫项目
所以我认为 Heritrix 对于你的项目来说比 Nutch 好得多。
学习框架/库是一项有价值的练习。但这需要一些时间。由于你的任务不是很复杂，有时用 Java 从头开始编写一个简单的爬虫会不那么痛苦
Your main task is scrape specific pages from the web site.
Nutch: Open-source web-search software, built on Lucene Java
Heritrix: is the Internet Archive's open-source, extensible, web-scale, archival-quality web crawler project
So I think Heritrix is much better than Nutch for your project.
Learning a framework/library is a valuable exercise. But it takes some time. Since you task is not very complex one, sometimes it would be less painful to write a simple crawler from the scratch in Java