Nutch Recrawl - 存储段是否必要
我在片段被索引后删除它们，那么在重新爬网时，nutch 如何获得页面的最后获取时间？我需要存储它们以加速重新爬网吗？
I am deleting segments after they gets indexed then how nutch will get that last fetch time of pages while recrawling? Do i need to store them to speedup the recrawl?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
最后的获取时间由crawldb而不是segments维护。段仅从索引和索引中就很有用。寻找视角。存储在任何 from 中都不会影响抓取速度。
The last fetch time is maintained by crawldb and not segments. Segments are useful just from indexing & searching perspective. Storing in any from will NOT impact crawling rate.