scrapyd 部署在 KubeSphere 中，并且在运行 scrapy selenium 时出现异常：'twisted.internet.error.ReactorAlreadyInstalledError'

Question

我在 KubeSphere 中部署了 scrapyd，当我运行 scrapy 和 selenium 时，我得到了期望：

2022-03-16T12:57:15+0000 [Launcher,1832/stderr]     return Crawler(spidercls, self.settings, init_reactor=True)
          File "/usr/local/lib/python3.9/site-packages/scrapy/crawler.py", line 82, in __init__
            default.install()
          File "/usr/local/lib/python3.9/site-packages/twisted/internet/epollreactor.py", line 256, in install
2022-03-16T12:57:15+0000 [Launcher,1832/stderr]     installReactor(p)
          File "/usr/local/lib/python3.9/site-packages/twisted/internet/main.py", line 32, in installReactor
2022-03-16T12:57:15+0000 [Launcher,1832/stderr]     raise error.ReactorAlreadyInstalledError("reactor already installed")
        twisted.internet.error.ReactorAlreadyInstalledError: reactor already installed

我没有单独安装twis​​ted。为什么它报告它已经存在？

Answer 1

如果没有代码和包版本，很难猜测会发生什么。如果您的程序曾经运行过，请检查您的 scrapy 版本。最新的 2.6 版本中有一个问题。您可以将 scrapy 固定在 2.5.1 。

如果您正在开发 scrapy 脚本，您可能希望在一个脚本中运行多个爬虫。很容易搞乱管道并出现 twisted.internet.error.ReactorAlreadyInstalledError 错误。您可以检查这个。