Nutch 1.4 与 Solr 3.5 http.agent.name 属性集成
我一直在尝试使用 Solr 设置 Nutch,但出现以下异常
Fetcher:“http.agent.name”属性中未列出代理。
线程“main”java.lang.IllegalArgumentException中出现异常:Fetcher:http.agent.name'属性中没有列出代理。
I have been trying to setup Nutch with Solr, but getting the following exception
Fetcher: No agents listed in 'http.agent.name' property.
Exception in thread "main" java.lang.IllegalArgumentException: Fetcher: No agents listed in http.agent.name' property.
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
根据 Nutch 教程,您应该在以下文件中添加代理名称:
./conf/nutch-default.xml
例如
vi /opt/nutch/conf/nutch-default.xml
改变:
http.agent.name 至:
同时设置 http.agent.url 和 http.agent.email 的值
对于 http.robots.agents - 确保第一个条目与您的 http.agent.name 匹配
http.robots.agents
坚果,*
As per the Nutch tutorial you should add an agent name in the following file:
./conf/nutch-default.xml
e.g.
vi /opt/nutch/conf/nutch-default.xml
Change:
http.agent.name to:
Also set values for http.agent.url and http.agent.email
for http.robots.agents - make sure the first entry matches your http.agent.name i.e.
http.robots.agents
nutch,*