一个循环中对一个url进行post请求时,为什么只有一次爬取结果?

发布于 2022-09-04 13:49:26 字数 931 浏览 30 评论 0

爬取代码如下:

    # 一个循环中对一个url进行post请求时 只有一次爬取结果?
    for page in range(1, int(page_count) + 1):
        print 'page:', page
        self.crawl(self.comment_url, method = 'POST',
            data = {'type': 'all',
                   'currentPage': page,
                   'totalCount': product_detail_dict['comment_count'],
                   'placeId': '',
                   'productId': product_detail_dict['product_id'],
                   'placeIdType': '',
                   'isPicture': '',
                   'isBest': '',
                   'isPOI': 'Y',
                   'isELong': 'N'},
            callback = self.comment_page,
            save = {'uuid': product_detail_dict['uuid']})

debug结果如下
clipboard.png

循环做了3次,为什么只有一次爬取结果,是因为crawl同一个url吗?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

从来不烧饼 2022-09-11 13:49:26

url 相同

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文