URL和HTML Inspect提供不同的结果

Question

当我复制Facebook页面的URL并创建一个美丽的对象时，它给了我一个文本，实际上并不是页面上的帖子。即

text = requests.get('https://www.facebook.com/toyota').text
soup = BeautifulSoup(text, 'lxml')
soup.get_text()

返回'\ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n toyota usa -ana sayfa \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n \ n'。

但是，当我检查该Facebook页面并复制HTML元素并遵循类似的步骤时，我会得到我想要的。因此，

html_inspected = Copied HTML Element
soup = BeautifulSoup(html_inspected)
soup.get_text() 

在我想要的Facebook页面上返回实际文本。我的问题是，我应该每次在页面中获取实际内容时检查并复制HTML吗？没有每次检查在Facebook页面上获取帖子和评论的快捷方式吗？

Answer 1

正如@hedgehog指出的那样，这可能是一个JavaScript问题。

最简单的解决方案是使用现成的 scraper library 用于任务：

from facebook_scraper import get_posts

for post in get_posts('toyota', pages=1):
    print(post['text'][:50])

---

或您可以使用硒：

from selenium.webdriver import Firefox
from selenium.webdriver.common.by import By

with Firefox() as driver:
    driver.get('https://www.facebook.com/toyota')
    elem = driver.find_elements(By.XPATH, '//div[@dir="auto"]')

    for item in elem:
        print(item.text)