selenium爬取网易云音乐个人主页时要怎么得到加载过JavaScript的网页源码？

Question

再用selenium爬网易云音乐个人主页时，发现page_source为并没有载JavaScript，也找不到对应的element。但是浏览器里却是显示正常的。

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

url = 'https://music.163.com/user/home?id=360445257'
driver = webdriver.Chrome()
driver.get(url)
print('日' in driver.page_source)
driver.quit()

Answer 1

试一下加个延时

driver.get(url)
**time.sleep(3)**
print('日' in driver.page_source)
driver.quit()

Answer 2

page_source返回页面源码，而页面源码没有JS，因此你在源码里找JS是找不到的。

selenium是模拟浏览器完成自动化操作的，你这里如果返回源码无异于用requests返回静态网页，没发挥它的作用。

如果想抓取什么数据，直接用selenium的动态操作方法就行了，比如点击，回车，查找等。