利用python的scrapy框架中的css选择器获取不到元素内容

发布于 2022-09-04 10:00:09 字数 563 浏览 17 评论 0

利用python中的scrapy框架的css选择器对具体标签内容进行获取,但是获取不到内容。
当前网页源码(是js渲染之前的代码):图片描述

css选择器代码:urllist = response.css('ul.nav li a::attr(href)')[0::3].extract()
运行结果是:
urllist===================[]
urllist长度============ 0
css选择器内的代码应该是没有错误的,为什么获取不到内容?
由于怀疑是css选择器出现了问题,因此替换xpath选择器,
xpath选择器代码:urllist=response.xpath('//ul[@class ="nav"]/li/a/@href').extract()
但是运行结果和css选择器相同。内容仍为空,长度为0

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

時窥 2022-09-11 10:00:09

或许你的问题不是出在css选择器代码上,检查下response内容是否与网页上看到的内容一致

冷情 2022-09-11 10:00:09

你试试 在命令行里面使用scrapy shell 加目标url 然后可以得到一个response对象,先看下这个response对象是否是正常的,可以先看下response.body,看下是不是你想要爬取的网页的源代码
然后用这个response对象去调试你的css选择器的代码

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文