如何获取网站上 javascript/ajax 加载的 div 的内容？

Question

我有一个 PHP 脚本，它使用 CURL 和 simple_html_dom PHP 库从另一个网站加载页面内容。这很好用。如果我回显返回的 HTML，我可以看到那里的 div 内容。

但是，如果我尝试仅使用 simple_html_dom 选择该 div，则该 div 始终返回空。起初我不知道为什么。现在我知道这是因为它的内容显然是用 javascript/ajax 填充的。

我如何获取网站的内容，然后在 javascript 填充正确的内容后能够选择 div 内容？

有可能吗？ 谢谢！

Answer 1

是的，如果您只对 ajax 返回的特定 html 感兴趣，那么这是小菜一碟。

1. 从该 ajax 请求中收集 url、参数和请求类型（post/get）等信息。
2. 从您的 php/curl 代码生成相同的请求，您就得到了它。
3. 并希望服务器逻辑不会检查谁发送了请求。

Answer 2

对于这种屏幕抓取，您可以尝试 phpQuery 或 史努比。

phpQuery 有一个网络浏览器插件，并且 scoopy 声称可以模拟一个

Answer 3

您始终可以绑定到 xhr 将数据返回到浏览器时触发的事件并在那里执行操作。

 var xhReq = createXMLHttpRequest();
 xhReq.open("GET", "ur_php_url.php");
 xhReq.onreadystatechange = onResponse;
 xhReq.send(null);

 function onResponse()
 {
 // do the necessary
 }

Answer 4

是的，这是可能的。

您需要执行以下操作：

1. 创建对该网页的 CURL 调用，以检索加载您正在查找的内容的 Ajax 调用中使用的任何参数。
2. 使用您通过步骤 1 获取的参数创建另一个对该网页 Javascript 调用的文件的 CURL 调用

。假设您想获取 http://www.domain.com/page.html 的内容此 page.html 使用 Ajax 检索一些其他数据，例如 $("#div").load("http://www.domain.com/ajax/data.php?time=48484&c=487387")。

您要做的就是首先向 page.html 发出 CURL 请求，然后使用 preg_match() PHP 函数或任何其他语言中的任何等效函数获取 Ajax 调用的完整 URL。之后，创建另一个对该 URL 的 CURL 请求 - http:// www.domain.com/ajax/data.php?time=48484&c=487387 - 并获取其内容。

你都准备好了！

Answer 5

不幸的是，Javascript 在浏览器中的客户端运行，因此除非页面加载到 Web 浏览器中，否则没有简单的方法可以做到这一点。

我能想到的唯一方法是让浏览器在服务器后台运行，自动重新加载生成的页面并将其保存在可供 PHP 脚本获取的文件中。
嗯……我不知道有谁实施过这样的想法。

最好尝试获取正在填充 div 的 URL。例如，如果 div 内容是通过 AJAX 生成的，那么如果您使用 cURL 获取数据源 URL，那么数据也将可供您使用。