使用Cheerio库从网页中提取数据

Question

我正在尝试使用 Cheerio 和Google Apps脚本。 我想从此 webpage ：

以下是我用来获取它的代码段：

function LinkResult(){

  var url ='https://pagespeed.web.dev/report?url=http%3A%2F%2Fwww.juicecoldpressed.com%2F';

  var result = UrlFetchApp.fetch(url);
  var content = Cheerio.load(result.getContentText())
  var item = content(".lh-gauge__percentage").text()

  Logger.log(item)
  
}

当我运行时，此代码不会在变量中显示任何输出项目。当然有我缺少的东西，你能指导我吗？谢谢。

Answer 1

问题和解决方法：

在这种情况下，我担心您的目标可能无法使用https://pagespeed.web.dev/report？url=http%3A%2F%直接实现。 2fwww.juicecoldpressed.com％2F和Cheerio。因为从urlfetchapp.fetch（url）检索的HTML数据与浏览器上的数据不同。而且，似乎该值是使用脚本计算的。

幸运的是，在您的情况下，我认为可以使用PagesPeed Insights API检索您的价值。在此答案中，我想建议使用PagesPeed Insights API实现您的目标。

用法：

1。开始使用PagesPeed Insights API。

请检查官方文档用于使用PagesPeed Insights api。在这种情况下，需要使用API​​密钥。并且，请在API控制台启用PagesPeed Insights API。

2。示例脚本。

function myFunction() {
  const apiKey = "###"; // Please set your API key.
  const url = "http://www.juicecoldpressed.com/"; // Please set URL.

  const apiEndpoint = `https://www.googleapis.com/pagespeedonline/v5/runPagespeed?key=${apiKey}&url=${encodeURIComponent(url)}&category=performance`;
  const strategy = ["desktop", "mobile"];
  const res = UrlFetchApp.fetchAll(strategy.map(e => ({ url: `${apiEndpoint}&strategy=${e}`, muteHttpExceptions: true })));
  const values = res.reduce((o, r, i) => {
    if (r.getResponseCode() == 200) {
      const obj = JSON.parse(r.getContentText());
      o[strategy[i]] = obj.lighthouseResult.categories.performance.score * 100;
    } else {
      o[strategy[i]] = null;
    }
    return o;
  }, {});
  
  console.log(values);
}

3。测试。

运行此脚本后，您可以在日志中查看{桌面：##，移动：##}的返回值。 desktop和Mobile的值分别是桌面和移动设备的值。

参考：

• 从Pagages-PagesPeed Insights api开始