获取网站上 javascript 重定向的最终目的地

Question

我用 python 解析一个网站。他们使用大量重定向，并通过调用 javascript 函数来实现。

所以当我只是使用 urllib 来解析网站时，它对我没有帮助，因为我在返回的 html 代码中找不到目标 url。

有没有办法访问 DOM 并从我的 python 代码中调用正确的 javascript 函数？

我所需要的只是重定向到的网址。

Answer 1

我研究了硒。如果您没有运行纯脚本（意味着您没有显示器并且无法启动“普通”浏览器），那么解决方案实际上非常简单：

from selenium import webdriver

driver = webdriver.Firefox()
link = "http://yourlink.com"
driver.get(link)

#this waits for the new page to load
while(link == driver.current_url):
  time.sleep(1)

redirected_url = driver.current_url

对于我的用例来说，这已经足够了。 Selenium 还可以与表单交互并将击键发送到网站。

Answer 2

对我来说，这听起来并不有趣，但每个 javascript 函数都是一个对象，因此您可以只读取函数而不是调用它，也许 URL 就在其中。否则，该函数可能会调用另一个函数，然后您必须递归到该函数中...同样，听起来并不有趣，但可能是可行的。