Java执行一个10几万的用户的爬虫任务,停掉了,卡住不动,这是怎么回事?

发布于 2021-12-03 19:08:27 字数 81 浏览 866 评论 9

Java执行一个10几万的用户的爬虫任务,停掉了,卡住不动,这是怎么回事?

eclipse的进度还是红的,也不见有异常报出?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(9

女中豪杰 2021-12-03 21:18:45

推荐大家使用下神箭手云爬虫,完全在云上编写和执行爬虫,不需要配置任何开发环境,快速开发快速实现。
 

简单几行 javascript 就可以实现复杂的爬虫,同时提供很多功能函数:反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等,这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。
 

柳若烟 2021-12-03 21:18:45

是不是爬的时候没有设置超时?一直等着对方返回数据

甜柠檬 2021-12-03 21:18:45

请问你的问题解决了吗?我也遇到了同样的问题,程序卡住了,但并没有报错

坚持沉默 2021-12-03 21:18:26

写爬虫的时候。切记。每个小步骤。都输入日志。这样运行到哪个地方。出bug了。一眼就能看出来。

经验。

要不然。找起来。累死。特别是有些大的爬虫

无声静候 2021-12-03 21:18:24

Testt

顾挽 2021-12-03 21:16:47

大兄弟,问的问题要清楚点。。。你这提问,大家只能脑补了啊

天涯离梦残月幽梦 2021-12-03 21:09:22

目测线程挂起堵塞了 长时间等待资源 卡死了吧

凯凯我们等你回来 2021-12-03 20:57:10

多长时间?有的时候等个几十秒也正常

柳絮泡泡 2021-12-03 20:42:47

加日志看下,在那里停掉了~异常处理加详细点~

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文