知乎爬单个话题下的关注者,超过1W个就重复出现前20个
想爬知乎下单个话题的所有关注者,依照知乎的加载关注着列表的follows接口,每次提供offset偏移量就能请求到20个数据,循环500次就能请求到1w个,但是第501之后显示的结果为前20个用户,也就是循环第一次的结果
手动翻知乎列表到500次,也是重复显示前2条,不知道为啥啊
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
csdn上面的,直接搬了过来:
因为要做观点,观点的屋子类似于知乎的话题,所以得想办法把他给爬下来,搞了半天最终还是妥妥的搞定了,代码是python写的,不懂得麻烦自学哈!懂得直接看代码,绝对可用
说下数据库的问题,我这里就不传附件了,看字段自己建立,因为这确实太简单了,我是用的mysql,你看自己的需求自己建。
有什么不懂得麻烦去去转盘网找我,因为这个也是我开发的,上面会及时更新qq群号,这里不留qq号啥的,以免被系统给K了。