获取到的网页数据和页面显示的不一致
情况
将网页整个HTML爬取下来后, 源码中span标签的内容和页面上显示的不一致
标签内容: 30%
# response = requests.get(matrixport_url_new, headers=headers,
# )
# text = response.text
# print(response.text)
根据网页内容定位到的Inspector中对应的元素的id如下
查看网页源代码中,结果不是30%,而是0%
查看Network中的Type
复制id名字到Network中搜索,没有任何匹配的url
使用fillder捕获到的url是.svg结尾的
请问这种情况下,数据是来自js还是ajax还是其他
问题更新
我的情况
我的情况和下图中斗鱼直播的关注数一样,下图是我访问斗鱼后的截图
比较特殊的是源代码中span标签包含的内容是空的
请问这种类型的需要怎么获取需要的数据,requests和selenium,bs4自己用了常规方法获取,都失败了
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
做了防爬处理吧,可能是通过字体包将数字做了映射转换,方便的话可以将页面发出来看看