Webscraping Python BS4问题未返回数据

Question

我在这里是新手，并且已经阅读了许多历史悠久的文章，但找不到我想要的东西。

我是Webscrap的新手，并成功地从少数网站上刮了数据。

但是，当我试图使用美丽的汤提取产品标题时，我对此代码有问题，但是在代码中没有返回数据，但在代码中遇到问题？任何帮助都将不胜感激：

from bs4 import BeautifulSoup
import requests
import pandas as pd

webpage = requests.get('https://groceries.asda.com/aisle/beer-wine-spirits/spirits/whisky/1215685911554-1215685911575-1215685911576')

sp = BeautifulSoup(webpage.content, 'html.parser')

title = sp.find_all('h3', class_='co-product__title')

print(title)

我认为我的问题位于find_all函数中，但是无法解决如何解决？

问候 米兰

Answer 1

您可以尝试使用此链接，它似乎可以提取您想要的信息：

from bs4 import BeautifulSoup
import requests

webpage = requests.get("https://groceries.asda.com/api/items/iconmetadata?request_origin=gi")

sp = BeautifulSoup(webpage.content, "html.parser")

print(sp)

让我知道这是否有帮助。

Answer 2

尝试以下操作：

from bs4 import BeautifulSoup
import requests
import pandas as pd

webpage = requests.get('https://groceries.asda.com/aisle/beer-wine-spirits/spirits/whisky/1215685911554-1215685911575-1215685911576')

sp = BeautifulSoup(webpage.content, 'html.parser')

title = sp.find_all('h3', {'class':'co-product__title'})

print(title[0])

另外，我

sp = BeautifulSoup(webpage.text, 'lxml')

还希望注意到这将返回具有该类别所有元素的列表。如果您只想第一个实例，请使用.find ie：

title = sp.find('h3', {'class':'co-product__title'})

对不起，在此游行中下雨，但是您无法使用Web Driver刮擦此数据，也可以直接调用API。您应该研究如何在Python中获得JS渲染JS。