爬虫分布在不同的地理位置
我在不同的地理位置有几台台式机。我需要在每台桌面计算机上创建一个带有客户端的爬虫和一个对数据进行索引的中央服务器。 Nutch 是否可以创建这样的爬虫？有没有其他选择。基于Python的爬虫会更好。
I have a few desktop machines at different geographical locations. I need to create a crawler with clients at each desktop machine and a central server where data is indexed. Is it possible to create such a crawler in Nutch? Are there any alternatives. Python based crawlers would be preferable.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
如果您像建议的缓冲区一样使用 Nutch，Nutch Wiki 上有一个脚本可能能够帮助你。在执行此操作之前，您只需要从每个系统获取 linkdb、crawldb 和段到中央服务器 - 我认为尝试远程访问这些资源在索引过程中会花费很长时间。
If you use Nutch like buffer suggested, there is a script on the Nutch Wiki that may be able to help you. You would just need to get the linkdb, crawldb, and segments from each system to the central server before doing this - I think attempting to access those resources remotely would take a long time during the indexing process.