请教scrapy的需求矛盾问题！！！很纠结！！
通过scrapy爬一个api,有很多页数据，其中response中有一个lastId参数，用于翻页，并且是发起request的必须参数。lastId不是简单的数字，而是该页最后一个用户的id，完全没有规律，lastId实时变化(数据不断更新)，所以只能一页一页的爬取，因为爬了第一页并获取lastId，才能爬第二页。
那么问题来了，scrapy是异步的，但是如上所述，整个过程似乎是只能同步，并且是阻塞的。那么这跟scrapy异步高性能的特点截然相反，是不是用不了scrapy？
求大神指点！！！
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（3）
requests不香吗
你问scrapy支不支持分页抓取的需求, 肯定是支持的.
inline_requests 了解下