python爬虫静态页面爬取

Question

通常python爬取静态网站之后, 可以使用xpath或者css选择器去匹配元素, 但是如果html元素是由js获取数据之后动态构成的该如何处理, 打开页面源代码

获取的数据都是在这个ul下的, ul下的li是有js动态构成

这些数据改如何去匹配

Answer 1

需要执行js。。。
可以试试用webdriver

Answer 2

可以用selenium模拟浏览器加载完js然后再去匹配。