在服务器上使用curl - 如何将javascript请求重定向到目标服务器？

Question

所以我在我的服务器上运行一个爬虫，我需要执行 javascript 来访问我的目标站点上的一些数据（目标是我想要爬行的站点）。我有一个关于这里问题的不同方法的问题，但不需要回答这个问题：[Dead]如何利用异步回发成功 POST 到旧的 ASP.NET 站点

我的 javascript 在我称为 my 的浏览器中执行php爬虫来自.问题是所有 javascript 请求都针对我自己的服务器而不是目标站点（我得到的链接是我自己的站点而不是目标站点上的 /index.php 之类的链接）。

我对 javascript 的经验非常少，我不知道应该如何将我的请求重定向到我的目标。这是我正在调用的页面中的 javascript 函数的示例：

<script type="text/javascript">
//<![CDATA[
var theForm = document.forms['aspnetForm'];
if (!theForm) {
    theForm = document.aspnetForm;
}
function __doPostBack(eventTarget, eventArgument) {
    if (!theForm.onsubmit || (theForm.onsubmit() != false)) {
        theForm.__EVENTTARGET.value = eventTarget;
        theForm.__EVENTARGUMENT.value = eventArgument;
        theForm.submit();
    }
}
//]]>
</script>

...以及我调用它的方式：

echo "<SCRIPT language='javascript'>__doPostBack('-254870369', '')</SCRIPT>";

是否有某种方法可以将服务器地址从我自己的服务器别名到目标服务器或执行其他操作可以解决这个问题的方便的解决方法吗？

Answer 1

无需在目标中注入 javascript。
您可以使用wireshark来研究目标发出的所有请求。 Wireshark 是一个很难掌握但功能强大的工具。相反，您可以尝试 firebug 插件 的 net 选项卡。

一旦您知道目标如何发送请求并从其服务器接收数据，您就可以使用curl来模拟请求/接收数据。您不再需要构建爬虫。

如果这不能回答您的问题，请详细解释一下该场景。