如何开启多个phantomjs组件

发布于 2022-09-03 14:43:52 字数 340 浏览 11 评论 0

发现fetcher、processor等其他组件开启了多个以后,性能的瓶颈就在phantomjs上。因为phantomjs是有定时重启,会导致重启期间、处理任务的过程中(只支持10个并发?)时间过长时,交给phantomjs处理的任务出现一部分失败。所以,有以下两个想法:

  1. 开启多个phantomjs组建,发现使用 pyspider -c pyspider.json phantomjs --port 25556 的时候,该组件无法从rabbitmq队列消费消息。请问该怎么调整?

  2. 增加phantomjs的并发量,该如何设置?

有哪位兄弟能提供个思路。大谢啊!

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

孤千羽 2022-09-10 14:43:52

1、从pypider的fetcher目录找到phantomjs_fetcher.js,自己使用如下命令启动多个phantomjs进程(根据需求启动)分别监听不同端口,注意phantomjs_fetcher.js文件的路径和端口号
phantomjs.exe --ssl-protocol=any --disk-cache=true --ssl-protocol=tlsv1 --ignore-ssl-errors=true phantomjs_fetcher.js 26666
2、安装一个nginx做个负载均衡,监听20000端口
3、启动pyspider的时候使用参数--phantomjs-proxy 127.0.0.1:20000 指定phantomjs服务地址

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文