Nutch 到底是怎么回事？

Question

我要制作自己的搜索引擎。

在搜索搜索引擎、爬虫等内容时，我对Nutch感到困惑。

我不明白什么是Nutch。它是像 Lucene 这样的内部使用（如果我错了请纠正我）还是用于创建搜索引擎的框架（例如：google、bing、yahoo）？

Answer 1

Nutch 是一个全功能的搜索引擎 - 它可以抓取外部网站，并且理解并尊重 robots.txt。

http://nutch.apache.org/about.html

概述 Nutch 是开源的
网络搜索软件。它建立在
Lucene 和 Solr，添加了 Web 细节，
例如爬虫、链接图
数据库、HTML 解析器和其他
文档格式等

Nutch 可以在单机上运行，​​但是
从中获得了很多力量
在 Hadoop 集群中运行

系统可以增强（例如其他
可以解析文档格式）使用
插件机制。

有关 Nutch 的更多信息，
请参阅 Nutch wiki。

Answer 2

Nutch 是一个现成的、可配置的网络爬虫，带有用于执行搜索的 Java Servlet。如果您想将其作为一个项目来完成，Nutch 可能会做太多事情，因为剩下的就是创建用于输入搜索和显示结果的页面。