Java执行一个10几万的用户的爬虫任务,停掉了,卡住不动,这是怎么回事?
Java执行一个10几万的用户的爬虫任务,停掉了,卡住不动,这是怎么回事?
eclipse的进度还是红的,也不见有异常报出?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
Java执行一个10几万的用户的爬虫任务,停掉了,卡住不动,这是怎么回事?
eclipse的进度还是红的,也不见有异常报出?
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(9)
推荐大家使用下神箭手云爬虫,完全在云上编写和执行爬虫,不需要配置任何开发环境,快速开发快速实现。
简单几行 javascript 就可以实现复杂的爬虫,同时提供很多功能函数:反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等,这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。
是不是爬的时候没有设置超时?一直等着对方返回数据
请问你的问题解决了吗?我也遇到了同样的问题,程序卡住了,但并没有报错
写爬虫的时候。切记。每个小步骤。都输入日志。这样运行到哪个地方。出bug了。一眼就能看出来。
经验。
要不然。找起来。累死。特别是有些大的爬虫
Testt
大兄弟,问的问题要清楚点。。。你这提问,大家只能脑补了啊
目测线程挂起堵塞了 长时间等待资源 卡死了吧
多长时间?有的时候等个几十秒也正常
加日志看下,在那里停掉了~异常处理加详细点~