Python - 使用 urllib2 检索动态内容

Question

我正在尝试将 YouTube 链接嵌入网页中。当我使用 urllib2 检索页面时，我在响应中看不到该链接。我认为嵌入的视频是通过页面上的脚本检索的，当我使用浏览器时会加载该脚本。如何使用 python 的 urllib2 获得相同的结果？

示例网页为 http://busymovies.appspot.com/News.html?id=2965032

Answer 1

要提取动态生成的（使用 JavaScript）内容，您可以使用 selenium

#!/usr/bin/env python
from contextlib import closing
from selenium.webdriver import Firefox # pip install selenium

url = "http://busymovies.appspot.com/News.html?id=2965032"

# use firefox to get page with javascript generated content
with closing(Firefox()) as browser:
    browser.get(url)
    link = browser.find_element_by_link_text("Direct Link")
    print link.get_attribute("href")

：

http://www.youtube.com/v/nLJYkat4HpE&hl=en_US&feature=player_embedded&version=3

Answer 2

视频正下方有一个名为“直接链接”的链接。现在，如果您打开源代码，您将看到它的结构。

您所需要做的就是解析 HTML 和使用id=directlink到达此节点。您可以使用 BeautifulSoup 来实现这一点。你都准备好了...