当前位置：文江博客话题详情

具有 JavaScript 功能的命令行 URL 获取

发布于 2024-07-26 08:49:54 字数 285 浏览 5 评论 0原文

我在php中使用curl，在python中使用httplib2来获取URL。

但是，有些页面在加载页面后使用 JavaScript (AJAX) 检索数据，然后它们只是覆盖页面的特定部分。

那么，有没有可以处理 JavaScript 的命令行实用程序呢？

要了解我的意思，请访问 Monster.com 并尝试寻找工作。

您将看到 Ajax 之后会获取作业列表。因此，如果我想根据关键字搜索拉入职位，我会得到没有职位的页面。

但通过浏览器它可以工作。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

月亮邮递员 2024-08-02 08:49:54

你可以使用 PhantomJS
http://phantomjs.org

您可以按如下方式使用它：

var page=require("webpage");
page.open("http://monster.com",function(status){
  page.evaluate(function(){
    /* your javascript code here 
        $.ajax("....",function(result){


            phantom.exit(0);
           }); */
  });
});

you can use PhantomJS
http://phantomjs.org

You can use it as below :

var page=require("webpage");
page.open("http://monster.com",function(status){
  page.evaluate(function(){
    /* your javascript code here 
        $.ajax("....",function(result){


            phantom.exit(0);
           }); */
  });
});

回复收藏 0 原文

听你说爱我 2024-08-02 08:49:54

获取 FireBug 并查看该 Ajax 请求的 URL。然后您可以将curl 与该URL 一起使用。

回复收藏 0 原文

沙沙粒小 2024-08-02 08:49:54

有两种方法可以处理这个问题。使用基于浏览器的完整客户端（例如 Webkit）编写屏幕抓取工具，或者转到实际页面并了解 AJAX 的内容请求就是做，并且直接请求。当然，您还需要解析结果。使用 firebug 来帮助你。

查看这篇文章以获取有关该主题的更多信息。赞成的答案建议使用测试工具来驱动真正的浏览器。
什么是支持 Javascript 的屏幕抓取好工具？

回复收藏 0 原文

GRAY°灰色天空 2024-08-02 08:49:54

我认为 env.js 可以处理

自从 John Resig 的第一个版本以来我就没有玩过它，所以我不太了解如何使用它，但是有一个 Google 网上论坛上的讨论组。

回复收藏 0 原文

虫児飞 2024-08-02 08:49:54

也许您可以尝试在自己的实用程序中使用 HtmlUnit 的功能？

HtmlUnit 是一个“无 GUI 浏览器”
Java 程序”。它对 HTML 进行建模
文档并提供 API
允许您调用页面，填写
表格、点击链接等...就像
您可以在“普通”浏览器中执行此操作。
它有相当好的 JavaScript 支持
（不断改进）并且是
即使非常复杂也能工作
AJAX 库，模拟
Firefox 或 Internet Explorer，具体取决于
您要使用的配置。
通常用于测试
目的或检索信息
来自网站。