PhantomJS 和修改 DOM

Question

我正在开发一个工具，需要从第 3 方服务器下载网页，像浏览器一样执行它，然后解析 HTML。我遇到的困难是该工具需要在执行所有 javascript 并修改 DOM 后解析 HTML。我正在尝试使用 PhantomJS 来实现此目的，它适用于小代码片段（只是一个带有外部 javascript 的小 html 文档，将一些节点添加到 DOM），但是当我对真实站点执行相同操作时（http://www.dba.dk/) 在 js 代码完成所有修改后，我没有得到最终的 HTML。

我真的需要这方面的帮助，因为我已经坚持了一个多星期了。

我的 PhantomJS 代码很简单：

if (phantom.state.length === 0) {
     if (phantom.args.length === 0) {
             console.log('Usage: test.js <some URL>');
             phantom.exit();
     } else {
             var address = phantom.args[0];
             phantom.state = Date.now().toString();
             phantom.viewportSize = { width: 1280, height: 800 };
             phantom.open(address);
     }
} else {
     var elapsed = Date.now() - new Date().setTime(phantom.state);
     if (phantom.loadStatus === 'success') {
             if (!first_time) {
                     var first_time = true;
                     if (!document.addEventListener) {
                             console.log('Not SUPPORTED!');
                     }
                     phantom.render('result.png');
                     var markup = document.documentElement.innerHTML;
                     console.log(markup);
                     phantom.exit();
             }
     } else {
             console.log('FAIL to load the address');
             phantom.exit();
     }
}

转储到控制台的 HTML 不包含动态生成的内容

Answer 1

问题出在 Flash 插件上。页面正在检测它的缺失。一旦正确加载，问题就消失了