如何从HTML页面源刮擦JSON数据？

Question

我正在尝试从在线音乐数据库中获取一些数据。特别是，我想提取使用Ctrl+F - “ ISRC”：“ GB-FFM-19-0853）可以找到的数据。

view-source： https：///www.audionetw.audionetwork.com/browse.com/browse.com/browse/mm/ Track/purple-beat_1008534

我正在使用Python和Selenium，并试图通过Tag，Xpath和ID之类的内容来定位数据，但似乎没有任何作用。

我以前从未看过这种x：y格式，一些搜索使我认为它是一种json格式。

有没有办法通过硒获取ISRC数据？我需要一种通用方法（即为具有不同ISRC值的页面工作，因为每个音乐曲目都有不同的曲目）。

到目前为止，我的代码...

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from time import sleep
import os

# Access AudioNetwork and search for tracks.

path = "C:\Program Files (x86)\chromedriver.exe"

driver = webdriver.Chrome(path)

driver.get("https://www.audionetwork.com/track/searchkeyword")

search = driver.find_element(By.ID, "js-keyword")
search.send_keys("ANW3175_001_Purple-Beat.wav")
search.send_keys(Keys.RETURN)
sleep(5)

music_link = driver.find_element(By.CSS_SELECTOR, "a.track__title")

music_link.click()

我知道我需要更好地等待 /可能与代码有关的其他问题，但是关于如何获取ISRC编号的任何想法？

Answer 1

您想将整个脚本提取为JSON数据（可以在Python中读取为字典）并搜索“ ISRC”参数。

以下代码使用硒来在页面内提取脚本内容，将其解析为JSON并将“ ISRC”值打印到终端。

from selenium import webdriver
from selenium.webdriver.common.by import By
import json

driver = webdriver.Chrome()
driver.get("https://www.audionetwork.com/browse/m/track/purple-beat_1008534")

search = driver.find_element(By.XPATH, "/html/body/script[1]")
content = search.get_attribute('innerHTML')

content_as_dict = json.loads(content)

print(content_as_dict['props']['pageProps']['track']['isrc'])

driver.close()
driver.quit()

Answer 2

是的，这是JSON格式。它实际上是在HTML脚本标签内包裹的JSON。这本质上是一个“键”：“ value”对 - 因此您概述的特定内容（“ ISRC”：“ GB-FFM-19-08534”）具有ISRC的键，其值为GB-FFM-19-08534 。

Python有一个用于解析JSON的库，我认为您可能想要这个 - 。让我知道这是否对您有用。

如果您想找到ISRC的值，则可以这样做：

import json

... # your code here

jsonString = json.loads(someValueHere)
isrcValue = jsonString["isrc"]

用您正在解析的JSON字符串替换一些值，这应该有所帮助。我认为ISRC是嵌套的，因此可能并不那么简单。我认为您不能在python中对[track.isrc']进行jsonstry，但是我不确定...您要寻找的路径是props.pageprops.track.isrc。您可能必须分配每个层的变量...

jsonString = json.loads(someValueHere)
propsValue = jsonString["props"]
pagePropsValue = propsValue["pageProps"]
trackValue = pagePropsValue["track"]
isrcValue = trackValue["isrc"]