superagent和cheerio 获取百度首页的内容，为什么获取到的不是网页源码，而是下图几行代码

发布于 2022-09-11 16:49:12 字数 1197 浏览 36 评论 0

1、代码：
const express = require('express');

const superagent = require('superagent');
const cheerio = require('cheerio');
const app = express();
const test = express();
app.get('/',(req, res,next) => {

superagent.get('https://www.baidu.com/')
    .end((err, sres) => {
        if(err) {
            return next(err);
        }
        // sres.text 里面存储着网页的 html 内容，将它传给 cheerio.load 之后
        // 就可以得到一个实现了 jquery 接口的变量，我们习惯性地将它命名为 `$`
        var $ = cheerio.load(sres.text);
        var items = [];
        console.log(sres.text);
        res.send(items);
    })

});

app.listen(3000,() => {

console.log('app islistening at port 3000');

})

2、console.log(sres.text)的结果如下，为什么获取的不是百度首页查看源码时的内容呢
3、<html>
<head>

<script>
    location.replace(location.href.replace("https://","http://"));
</script>

</head>
<body>

<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>

</body>
</html>

希望各位大神赐教一二，解释一下原因，谢谢！

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

将军与妓 2022-09-18 16:49:12

是UA的问题

superagent.get(cnodeUrl)
    .set('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3642.0 Safari/537.36')
    .end((err, sres) => {
        // ...you code
    }

回复收藏 0

~没有更多了~