phantomjs获取头条网站的文章列表 算法始终不对

发布于 2022-09-07 07:24:37 字数 1918 浏览 19 评论 0

本以为剪切它的代码会因为算法中引入站点信息导致不对,但现在直接使用它的网站运行函数,得到的签名还是不能打开列表,求老老司机指点。
PS:抓取站点只是测试玩,虽不光彩,勿喷。

var webPage = require('webpage');
var page = webPage.create(); 
var settings = {
  operation: "GET",
  encoding: "utf8",
  headers: {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:49.0) Gecko/20100101 Firefox/49.0",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
    "Cookie": 'tt_webid=6529821961051457037; UM_distinctid=162008c3fa1492-0fca25d0c56f39-4d584131-144000-162008c3fa2340; CNZZDATA1259612802=2076797588-1520425820-%7C1522561974; tt_webid=6529821961051457037; WEATHER_CITY=%E5%8C%97%E4%BA%AC; _ga=GA1.2.2049570789.1520428317; uuid="w:4e8486bf5d554284a2bc65822ecc8df0"; sso_login_status=1; login_flag=ea627e7d17ffea14e19b8930e41aab58; sessionid=445026ba68947f96151a78e4c5157a04; uid_tt=ce86aff7e123fd06e4fad98e9c8eb6a9; sid_tt=445026ba68947f96151a78e4c5157a04; sid_guard="445026ba68947f96151a78e4c5157a04|1521981700|15552000|Fri\054 21-Sep-2018 12:41:40 GMT"; _gid=GA1.2.699354905.1522555640; __tasessionId=59hidal1t1522564201773',
    "Host": "www.toutiao.com"
  }
};

page.open('https://www.toutiao.com/c/user/69695919784/', settings, function (ss) {
    setTimeout(function() {
        console.log(ss);
        var title = page.evaluate(function() {
            return TAC.sign('696959197840');
            //return tac;
        });
        console.log(title);

        phantom.exit();
    }, 1000);
    

});

签名算法=TAC.sign(uid+''+hottime)
hottime默认为0,获取第一页会输出新的hottime,下次翻页会再用这个hottime造一个新的签名。

测试地址:https://www.toutiao.com/c/use...

图片描述

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

段念尘 2022-09-14 07:24:37

运行的时候报错:

ReferenceError: Can't find variable: TAC
~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文