Question

本章介绍了两种抓取动态网页数据的方法。第一种方法是借助Firebug Lite对动态网页进行逆向工程，第二种方法是使用浏览器渲染引擎为我们触发JavaScript事件。我们首先使用WebKit创建自定义浏览器，然后使用更高级的Selenium框架重新实现该爬虫。

浏览器渲染引擎能够为我们节省了解网站后端工作原理的时间，但是该方法也有其劣势。渲染网页增加了开销，使其比单纯下载HTML更慢。另外，使用浏览器渲染引擎的方法通常需要轮询网页来检查是否已经得到事件生成的HTML，这种方式非常脆弱，在网络较慢时会经常会失败。我一般将浏览器渲染引擎作为短期解决方案，此时长期的性能和可靠性并不算重要；而作为长期解决方案，我会尽最大努力对网站进行逆向工程。

在下一章中，我们将介绍如何与表单进行交互，以及使用 cookie 登录网站并编辑内容。