清空 Nutch 抓取列表
我正在尝试在 Eclipse 中使用 Nutch 运行爬网。 我使用的是一个名为 urls 的文件，它包含 http://www.google.com/ 但是，当我运行该项目时，Generator…
网络爬虫算法：深度？
我正在开发爬虫，需要准确理解“链接深度”的含义。以 nutch 为例： http://wiki.apache.org/nutch/NutchTutorial 深度表示从根页面开始的链接深度 已…
Nutch - Lucene - 捕获页面内容
我用 Java Nutch 爬取了一些页面 另外，我用 Java 中的 Lucene 制作了一个模块，允许对索引文档执行查询。 我知道我创建了 Nutch 字段，例如 url、权…
无法在 Windows 上从 Tomcat Web 应用程序运行 nutch
我有一个网络应用程序，它生成一个运行 Nutch 爬网的脚本。一切都运行得很好，只是现在我的客户希望它在 Windows PC 上运行。她给我的 Windows PC 运…
Nutch 问题：java.lang.NoClassDefFoundError
我正在尝试在我的 Windows 计算机上运行 Nutch。我安装了 Nutch、Java、Tomcat 和 Cygwin。当我尝试在 Cygwin 中运行抓取命令时，出现以下错误： java…
如何在nutch中按主机对搜索结果进行分组
我正在进行一个小型的内联网搜索，我使用 nutch 进行爬行和搜索 我有子域，例如 z.example.com a.example.com m.example.com ，如果我使用 nutch 搜索…
如何让坚果爬行器爬行
我对 nutch 有一些疑问 当我使用 wiki 时，系统要求我编辑 crawl-urlfilter.txt +^http://([a-z0-9]*\.)*apache.org/ 并要求我创建一个 url 文件夹和…
需要插件来覆盖默认标题
我正在尝试基于 http://sujitpal.blogspot.com/2009/07/nutch-custom-plugin-to-parse-and-add.html 获取自定义标题查找器。 这很有效，并且将提取的…
Nutch 的替代网络爬虫
Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …
Zend lucene 内容字段
我已经使用 Nutch 为网站建立了索引，现在我正在使用 Zend Lucene 库搜索索引。 实际上，我已将 Zend 库引入 Codeigniter，但所有工作都是由 Zend 完…
Hadoop 创建索引并将其 Add() 到分布式 SOLR...这可能吗？我应该使用 Nutch 吗？ ..Cloudera？
我可以使用 MapReduce 框架创建索引并以某种方式将其添加到分布式 Solr 中吗？ 我有大量信息（日志文件和文档），这些信息将通过互联网传输并存储在我…
为什么 nutch 解析 application/x-javascript 文件？
我在 conf/nutch-site.xml 中配置了 nutch， plugin.includes urlfilter-regex|protocol-(http|file)|parse-(text|html|pdf|msword)|in dex-(basic|an…
无法访问作业跟踪器的 hadoop Web ui
我正在尝试设置 hadoop 和 nutch 以在 EC2 上运行。首先，我遵循了优秀的 NutchHadoopTutorial。除了我无法访问任何 Web 界面（例如 JobTracker）之外…
