剧作家的零工贝壳

Question

是否可以在砂壳中援引剧作家？

我想使用壳测试我的XPATH，我打算将其放在结合剧作家的蜘蛛中。

我的零工设置文件具有通常的剧作家设置：

# Scrapy Playwright Setup
DOWNLOAD_HANDLERS = {
    "http": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
    "https": "scrapy_playwright.handler.ScrapyPlaywrightDownloadHandler",
}

TWISTED_REACTOR = "twisted.internet.asyncioreactor.AsyncioSelectorReactor"

Answer 1

是的，有可能。实际上，您所要做的就是只是在包含废纸项目的文件夹中运行废壳。它将自动从settings.py加载所有默认设置。运行零工外壳时，您可以在日志上看到它。

另外，您可以使用-s参数覆盖设置。

scrapy shell -s DOWNLOAD_HANDLERS='<<your custom handlers>>' 

快乐刮擦:)

Answer 2

我也有同样的问题。除了您在设置中使用的剧作家配置，并从该纸巾项目中运行外壳外，我还必须通过kwarg来启动外壳后进行获取，如下：

scrapy shell
fetch('<url-of-request>', meta={"playwright": True})

然后，您可以按照平常的方式运行命令scrapy壳，例如：

view(response)

Answer 3

我相信Shell Command可能与剧作家无法使用。在这里，我使用Python3作为演示：

此文档链接应进一步帮助您：
https://playwright.dev/python/docs/intro#interactive-mode- REPL

我相信，您只需要在交互式模式下需要Python3或Python3而不是外壳。这样，您可以完成scrapy shell从未做到的自动完成。

这是一个名为spider_interactive.py的文件中的同步示例：

from playwright.sync_api import sync_playwright
playwright = sync_playwright().start()
browser = playwright.firefox.launch()
page = browser.new_page()
page.goto("http://whatsmyuseragent.org/")

#Remember to run these manually when your done to prevent left over garbage on the machine.
#browser.close()
#playwright.stop()

运行：

python3 -i spider_interactive.py

，然后您可以输入以下命令：

page.locator("p.intro-text").all_inner_texts()

returns： returns

['mozilla/5.0（x11; linux x86_64; rv：rv：100.0）gecko/gecko/gecko/gecko/gecko/gecko/ 20100101 Firefox/100.0'，'我的IP地址：your_ip_address_here]