pyspider怎样传递信息给下一个函数,但是不通过url

发布于 2022-09-04 20:14:59 字数 219 浏览 8 评论 0

有的时候向通过pyspider直接传递信息给下一个函数,但是没有cral一个新的url的需求。

比如说,一个列表页面某部分信息需要传递给下一个函数,但是不想通过列表的url传递。

想过用send_message的方法来做,还有就是用self.crawl的response.save来做(url随便写一个比较好爬的网站)
但是这两个方法都不是特别好。

请问有什么好的方法吗。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

红颜悴 2022-09-11 20:14:59

下一个函数已经执行结束了,它已经不存在了,你怎么传递传递信息给一个不存在的东西?

雪化雨蝶 2022-09-11 20:14:59

无非跳转callback, 已出来的数据yield, 不过你还是测试一下.

def detail(self, response):
    next_urls = [i.attr.href for i in response.doc('#fetch urls')]
    for url in next_urls:
        self.crawl(url, callback=self.list_page)
    for i in items = [
        # some result    
    ]
        yield i
~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文