Nutch 1.4 与 Solr 3.5 http.agent.name 属性集成

发布于 2024-12-20 03:07:16 字数 200 浏览 0 评论 0原文

我一直在尝试使用 Solr 设置 Nutch,但出现以下异常

Fetcher:“http.agent.name”属性中未列出代理。

线程“main”java.lang.IllegalArgumentException中出现异常:Fetcher:http.agent.name'属性中没有列出代理。

I have been trying to setup Nutch with Solr, but getting the following exception

Fetcher: No agents listed in 'http.agent.name' property.

Exception in thread "main" java.lang.IllegalArgumentException: Fetcher: No agents listed in http.agent.name' property.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

雪落纷纷 2024-12-27 03:07:17

根据 Nutch 教程,您应该在以下文件中添加代理名称:
./conf/nutch-default.xml
例如
vi /opt/nutch/conf/nutch-default.xml
改变:
http.agent.name 至:

    <name>http.agent.name</name>
    <value>nutch</value>

同时设置 http.agent.url 和 http.agent.email 的值
对于 http.robots.agents - 确保第一个条目与您的 http.agent.name 匹配
http.robots.agents
坚果,*

As per the Nutch tutorial you should add an agent name in the following file:
./conf/nutch-default.xml
e.g.
vi /opt/nutch/conf/nutch-default.xml
Change:
http.agent.name to:

    <name>http.agent.name</name>
    <value>nutch</value>

Also set values for http.agent.url and http.agent.email
for http.robots.agents - make sure the first entry matches your http.agent.name i.e.
http.robots.agents
nutch,*

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文