使用 PHP 复制 javascript 向远程服务器发出请求/参数

Question

我正在构建一个从各个站点获取 html 源的应用程序。 使用 xpath 或简单的 html dom，我可以很容易地解析这个 html 并将其哑化到数据库等。

不幸的是，这种方法不适用于某个特定站点。 这是因为该网站使用 JavaScript 加载其内容，因此其大部分内容在 html 源中不可见。

在 Google 上一遍又一遍地搜索这个问题，并在 Stackoverflow 上阅读了大量涉及该主题的帖子。我仍然不确定如何解决这个问题。

这是该网站用来显示其内容的代码的重要部分。

<script type="text/javascript" src="/jquery-1.3.2.min.js"></script>
<script>
    var example = {

        getServiceCall:function(url) {

     {
        var srtPos=url.indexOf('Filter');
        var endPos=url.indexOf('/',srtPos);
        var filter = $.getUrlVar("Filter");

        var filterInServiceUrl=url.slice(srtPos,endPos).split(":");

        url = (filter) 
            ? url.slice(0,srtPos) + filter + url.slice(endPos,url.length)
            : url.slice(0,srtPos) + filterInServiceUrl[1] + url.slice(endPos,url.length);
     }

      document.writeln('<scri'+'pt src="'+url+'" type="text/javascript"> </sc' + 'ript>');
    },

};

$.extend({
  getUrlVars: function(){
    var hashes = window.location.href.slice(window.location.href.indexOf('?') + 1).split('&');
  },
  getUrlVar: function(name){

  }
});

</script>
<div id="content">
<script language="javascript" type="text/javascript">
function doPerItem(html){ $("#content").html(html.toString()); }
example.getServiceCall('http://www.example.com/?callback=doPerItem');
</script>
</div>

使用 Google Chrome 中的 Inspect Element 我可以看到有一个文件包含我想要的 html 源代码。

如何使用 php 向远程服务发出相同的请求/参数，然后将响应保存到文件中？

然后我将能够像其他站点一样使用 xpath 或简单的 html dom 解析它。

非常感谢您的帮助。

Answer 1

我不知道有任何基于 PHP 的远程访问工具（包括 cURL）可以解释 JavaScript。 Selenium（通常用于测试）可能会做到这一点，但 Selenium-RC 对 PHP 根本不起作用，并且 IDE 中存在错误。

您实际上无法使用 Ajax，因为它也无法解析 JavaScript（也许您可以使用 eval() 以某种方式解决它，这有其安全问题），并且 JSONP 仅在远程服务器故意提供时才起作用用于获取其数据的 API（您可以编写自己的代理，然后将数据作为 JSONP 提供，但这样您仍然会遇到解析 JavaScript 的问题）。

你可以做什么（尽管它对你的网站有真正的安全风险）：

1. 用 PHP 编写一个文件，使用 file_get_contents() 简单地获取远程网站的内容，然后输出它（即，创建一个代理） ）。
2. 通过 JavaScript 动态插入隐藏的 iframe 来加载您的代理页面，然后等待 iframe 的加载事件。
3. 从父级获取隐藏 iframe 的 HTML 并将结果发送回服务器。

不幸的是，您无法避免步骤 1，因为您无法侦听 iframe，除非它来自与您的域相同的域。

请注意，如果您访问的网站以某种方式制作 JavaScript，他们就可以访问您包含的 HTML，并执行诸如获取用户的 cookie 以便窃取密码、找出您的域或页面上显示的内容等操作。

可能有更好的解决方案，但我不知道。