一个循环中对一个url进行post请求时,为什么只有一次爬取结果?
爬取代码如下:
# 一个循环中对一个url进行post请求时 只有一次爬取结果?
for page in range(1, int(page_count) + 1):
print 'page:', page
self.crawl(self.comment_url, method = 'POST',
data = {'type': 'all',
'currentPage': page,
'totalCount': product_detail_dict['comment_count'],
'placeId': '',
'productId': product_detail_dict['product_id'],
'placeIdType': '',
'isPicture': '',
'isBest': '',
'isPOI': 'Y',
'isELong': 'N'},
callback = self.comment_page,
save = {'uuid': product_detail_dict['uuid']})
debug结果如下
循环做了3次,为什么只有一次爬取结果,是因为crawl同一个url吗?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
url 相同