使用Python从表中刮除产品信息

Question

``我无法用代码从表中刮擦成分。请帮助我使用我的代码。我只想成分名称作为输出。我还提供了成分表的图像。在这里，我只想要用红色圆圈标记的成分名称。 '''

url=https://mamaearth.in/product/mamaearth-me-deo-for-a-scent-that-s-unique-to-you-120-ml
table1 = soup.find('div', class_='CmsItemRevamp-sc-1moss4z-0 eQqUUy CMSContent').text.strip()
table1
mydata = pd.DataFrame(columns = headers)
for j in table1.find_all('tr')[1:]:
    row_data = j.find_all('td')
    row = [i.text for i in row_data]
    length = len(mydata)
    mydata.loc[length] = row

Answer 1

该信息在HTML中，但使用JavaScript渲染。因此，您需要从HTML的＆lt; script＆gt;部分中的JSON中提取它。

这可以如下完成：

from bs4 import BeautifulSoup
import requests
import json

url= "https://mamaearth.in/product/mamaearth-me-deo-for-a-scent-that-s-unique-to-you-120-ml"
req = requests.get(url)
soup = BeautifulSoup(req.content, "html.parser")
script_text = soup.find('script', id="__NEXT_DATA__").string
data = json.loads(script_text)
soup_product = BeautifulSoup(data['props']['initialProps']['pageProps']['cmsContent'][5]['content'], "html.parser")

for tr in soup_product.find_all('tr'):
    print(tr.td.get_text(strip=True))   # display just the first td element

我建议您print（data）查看返回的所有可用信息。最难的部分是找到所需的JSON结构内部的位置。

这将为您提供以下输出：

Ingredient
Ethyl Alcohol (95%)
Aqua (D.M.Water)
Propylene Glycol
Perfume

注意：一些JSON值包含HTML，这就是为什么使用第二个对BeautifulSoup的调用来解析此嵌入式HTML的原因。

另一种方法是使用Selenium之类的东西来控制您的浏览器。这将在使用视图源时看到HTML。不利的一面是，它的资源较慢和资源密集得多。

要在一条线上输出成分：

ingredients = [tr.td.get_text(strip=True) for tr in soup_product.find_all('tr')][1:]        # [1:] to skip header
print(','.join(ingredients))