Python无法获取Web网页中的table标签数据

Question

用了下面的方法获取Web网页中table标签的数据, 但是结果始终返回None

第一种

from bs4 import BeautifulSoup

url = 'XXXXX'

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:82.0) Gecko/20100101 Firefox/82.0'
    }

html = requests.get(url, headers=headers)
html = html.text
soup = BeautifulSoup(html, 'html', from_encoding='utf-8')  # html
content = soup.select(".kEvPDO")
print(content)

请问这是为什么，网页数据一般都是可以通过获取html标签内容或者通过网页接口或者API来得到，不明白为什么一直获取不到

Answer 1

你没给出 具体的例子，你可以按照下面方式排查

1. 确保 css选择器/xpath 没问题
2. 确保 代码获取到的 html 有 table 内容，打印一下 html text。（很多数据在浏览器是懒加载，requests.get 没有 js 渲染，获取不到的）

例如：百度

xpath 取百度一下的 input