DHT 爬虫每次只能获取固定数目的 ip 数
想写一个基于 DHT 网络的磁力链接爬虫,参考网上的实现写了一个。刚开始运行的时候还行,可是最近几天遇到了怪事,每次启动爬虫都获取不到 peer 发出的 announce ,添加调试信息发现获取的 ip 数一直保持在 1261 个左右,不再改变。如果超过 1261 这个数值就很快到达 10000 ,然后能成功获取到 announce ,刚开始以为是局域网的原因,所以转到了阿里云上用独立 ip 测试,发现了是一样的结果,也只能获取 1261 个左右 ip ,各位对此有什么见解吗?
另附上主要参考的 dht 爬虫代码:(simDHT)[https://github.com/Fuck-You-GFW/simDHT],各位也可是试下看是否遇到相同情况。
另外经过测试每次获取到的1261个地址是一样的。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
应该是程序bug,如果用的是node.js可以参考一下我的dhtspider,内网一样一分钟上百个infohash。
dhtspider。代码就200行以内。
也可以参考一下我做的engiy.com磁力搜索,BT搜索
https://segmentfault.com/a/1190000002528510 直接用这个吧,源码都公开了