Web抓取＆＃x27; window＆＃x27;目的

Question

我正在尝试获取像这样的新闻文章的身体文字：

noreferrer“> https://elpais.com/espana/2022-07-01/yolanda-diaz-lanza-su-proyecto-politico-politico-sumar-sumar-y-convoca-convoca-el-primer-acto-acto.html 源代码，可以在“文章”之后找到。

我尝试使用BS4 Beautifulsoup，但看起来它无法访问文章Body信息所在的“窗口”对象。我可以使用字符串函数来获取文本：

text = re.search('"articleBody":"(.*)","keywords"', source_code)

其中源_code是包含URL源代码的字符串。但是，与在页面允许时使用BS4方法相比，此方法看起来非常低效。有什么建议吗？

Answer 1

您对BeautifulSoup无法处理窗户对象的正确性是正确的。实际上，您需要将硒用于这种事情。这是一个关于如何使用Python 3进行的示例（如果您想在Python 2中工作，则必须稍微调整它）：

from selenium import webdriver

import time

# Create a new instance of Chrome and go to the website we want to scrape

browser = webdriver.Chrome()

browser.get("http://www.elpais.com/")

time.sleep(5) # Let the browser load

# Find the div element containing the article content

div = browser.find_element_by_class_name('articleContent')

# Print out all the text inside the div

print(div.text)

希望这会有所帮助！

Answer 2

尝试：

import json
import requests
from bs4 import BeautifulSoup


url = "https://elpais.com/espana/2022-07-01/yolanda-diaz-lanza-su-proyecto-politico-sumar-y-convoca-el-primer-acto.html"
soup = BeautifulSoup(requests.get(url).content, "html.parser")


for ld_json in soup.select('[type="application/ld+json"]'):
    data = json.loads(ld_json.text)
    if "@type" in data and "NewsArticle" in data["@type"]:
        break

print(data["articleBody"])

打印：

A una semana de que arranque Sumar ...

---

或：

text = soup.select_one('[data-dtm-region="articulo_cuerpo"]').get_text(
    strip=True
)

print(text)