了解 CPU Busy Prometheus 查询

Question

我是 Grafana 和 Prometheus 的新手。我已经阅读了大量文档，现在我正在尝试通过查看一些现有查询并确保我理解它们来向后工作

我已经下载了 Node Exporter Full 仪表板 (https://grafana.com/grafana/dashboards/1860)。我一直在查看 CPU Busy 查询，并且我“ma有点困惑。我在下面引用它，间隔开，以便我们可以更好地看到嵌套部分：

在此查询中，job 是 node-exporter 而instance是服务器的IP和端口。这是我对查询的基本理解： node_cpu_seconds_total 是 CPU 在给定样本上花费的秒数的计数器。

1. 第 5 行：获取给定时刻的 cpu 秒数，按各个 CPU 内核细分
2. 第 4 行：将所有内核的所有 CPU 秒数相加
3. 第 3 行：为什么需要额外的 count()？它有什么作用吗？
4. 第 12 行：速率向量 - 获取 cpu 在给定速率周期内空闲的 cpu 秒数
5. 第 11 行：采用速率将其转换为 cpu 秒的变化率（并返回 第 10行
6. ：按 CPU 模式细分的所有速率求和
7. 第 9 行：取所有 CPU 模式速率的单个平均速率
8. 第 8 行：从总 CPU 秒数（第 3 行）中减去平均变化率（第 9 行）
9. 线16：乘以 100 将分钟转换为秒 10：第 18-20 行：将第 19 行除以所有 CPU 上的所有 CPU 秒数

我的问题如下：

• 我本以为 CPU 使用率只是（所有非空闲 cpu 使用率）/（总 cpu用法）。因此，我不明白为什么要考虑速率（＃6和＃8）
• 这里的分子似乎试图获取所有非空闲使用情况，并通过获取总和并减去空闲时间来实现这一点。但为什么一个使用计数，另一个使用求和呢？
• 如果我们通过按 mode=idle 过滤来获取 cpu 秒，那么添加 by (mode) 会添加任何内容吗？反正只有一种模式？ 我对 by (something) 的理解更加相关
• 当存在多个值并且我们按该类别对值进行分组（就像我们在此查询中按 cpu 所做的那样）时， 上面粗体提到的，分子和分母中的 double count() 是什么？

Answer 1

这两个计数函数都会返回 CPU 核心的数量。如果您将它们从这个长查询中取出并执行，它会立即有意义：

count by (cpu) (node_cpu_seconds_total{instance="foo:9100"})

# result:
{cpu="0"} 8
{cpu="1"} 8

通过将上述内容放入另一个 count() 函数中，您将获得值 2，因为数据集中只有 2 个指标。此时，我们可以将原始查询简化为：

(
  NUM_CPU
  -
  avg(
    sum by(mode) (
      rate(node_cpu_seconds_total{mode="idle",instance="foo:9100"}[1m])
    )
  )
  * 100
)
/ NUM_CPU

但是，其余部分有点复杂。这：

    sum by(mode) (
      rate(node_cpu_seconds_total{mode="idle",instance="foo:9100"}[1m])
    )

...本质上是所有 CPU 核心的空闲时间总和（我故意跳过时间上下文以使其更简单）。目前还不清楚为什么会有by (mode)，因为rate函数里面有一个过滤器，这使得只有idle模式出现成为可能。无论有没有 by (mode)，它都只返回一个值：

# with by (mode)
{mode="idle"} 0.99

# without
{} 0.99

avg() 除此之外根本没有任何意义。 我假设，目的是获取每个 CPU 的空闲时间量（通过 ( cpu），即）。在这种情况下，它开始有意义，尽管它仍然没有必要复杂。因此，此时我们可以将查询简化为：

(NUM_CPU - IDLE_TIME_TOTAL * 100) / NUM_CPU

我不知道为什么这么复杂，您可以通过如下简单查询得到相同的结果：

100 * (1 - avg(rate(node_cpu_seconds_total{mode="idle", instance="foo:9100"}[1m])))