抓取网站中的动态内容

Question

我需要从该网站链接抓取新闻公告。 这些公告似乎是动态生成的。它们没有出现在源代码中。我通常使用机械化，但我认为它不起作用。为此我能做什么呢？我对 python 或 perl 没问题。

Answer 1

如果内容是动态生成的，您可以使用 Windmill 或 Seleninum 驱动浏览器并在渲染后获取数据。

您可以在此处找到示例。

Answer 2

礼貌的选择是询问网站所有者是否有 API 允许您访问他们的新闻报道。

不太礼貌的选择是跟踪页面加载时发生的 HTTP 事务，并确定哪一个是提取数据的 AJAX 调用。

看起来就是这个。但看起来它可能包含会话数据，所以我不知道它会继续工作多久。

Answer 3

还有 WWW::Scripter “用于为具有脚本的网站编写脚本” 。从来没有用过它。

Answer 4

在 python 中，您可以使用 urllib 和 urllib2 连接到网站并收集数据。例如：

from urllib2 import urlopen
myUrl = "http://www.marketvectorsindices.com/#!News/List"
inStream = urlopen(myUrl)
instream.read(1024) # etc, in a while loop
# all your fun page parsing code (perhaps: import from xml.dom.minidom import parse)