iostat的util是如何计算的？

Question

iostat -x -d 

可以显示很多I/O统计信息。 对于iostat的util，解释是：

向设备发出 I/O 请求期间的 CPU 时间百分比（设备的带宽利用率）。当该值接近 100% 时，设备就会饱和

我想知道 util 是如何计算的？

我做了一个实验，（见下面的代码），启动40个线程随机读取40个文件。我想磁盘利用率应该很高，但我错了， iostat如下，谁能给出为什么？ THX

Device:         rrqm/s   wrqm/s   r/s   w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sdb1              0.01     0.44  0.24  0.57     3.44     8.14    14.34     0.00    2.28   0.66   0.05

代码：

#include <iostream>
#include <fstream>
#include <pthread.h>

using namespace std;

void* work(void* a)
{
    int* id = (int*)a;
    string file = "sys.partition";
    char buf[100];
    sprintf(buf, "%d", *id);
    file.append(string(buf));
    ifstream in(file.c_str());
    in.seekg(0, ios_base::end);
    size_t len = in.tellg();

    cout << "open file : " << file << " , " << len << endl;
    srand(time(NULL));

    while(true)
    {
        size_t pos = rand() % len;
        in.seekg(pos);
        //cout << pos << endl;
        in.read(buf, 10);
        system("sync");
    }
    in.close();
}

int main(int argc, char** argv)
{
    static const int num = 40;
    pthread_t threads[num];
    for (int i = 0; i < num; i++)       {
        pthread_create(&threads[i], NULL, work, &i);
    }
    for (int i = 0; i < num; i++)       {
        pthread_join(threads[i], NULL);
    }
    return 0;
}

Answer 1

%util 在 iostat 的源代码中被命名为 busy：https://code.google.com/p/tester-higkoo/source/browse/trunk/Tools/iostat/iostat.c#380

忙碌被统计以 Ticks 与 deltams 的百分比表示，限制为 100%

busy = 100.0 * blkio.ticks / deltams; /* percentage! */
if (busy > 100.0) busy = 100.0;

DeltaMS 是一段时间内系统负载的总和（用户时间 + 系统时间 + 空闲时间 + iowait）/中央处理器。

double deltams = 1000.0 *
        ((new_cpu.user + new_cpu.system +
          new_cpu.idle + new_cpu.iowait) -
         (old_cpu.user + old_cpu.system +
          old_cpu.idle + old_cpu.iowait)) / ncpu / HZ;

Ticks - 是一段时间内队列中请求的时间

blkio.ticks = new_blkio[p].ticks
                - old_blkio[p].ticks;

在 sysstat 的最新版本中，代码有点不同：
http://sources.debian.net/src/sysstat /10.2.0-1/iostat.c#L959

/*       rrq/s wrq/s   r/s   w/s  rsec  wsec  rqsz  qusz await r_await w_await svctm %util */
printf(" %8.2f %8.2f %7.2f %7.2f %8.2f %8.2f %8.2f %8.2f %7.2f %7.2f %7.2f %6.2f %6.2f\n",
...
       /*
        * Again: Ticks in milliseconds.
        * In the case of a device group (option -g), shi->used is the number of
        * devices in the group. Else shi->used equals 1.
        */
       shi->used ? xds.util / 10.0 / (double) shi->used
                 : xds.util / 10.0);    /* shi->used should never be null here */

xds 填入 compute_ext_disk_stats(&sdc, &sdp, itv, &xds); http://sources.debian.net/src/sysstat/ 10.2.0-1/common.c?hl=679#L679

/*
 * Macros used to display statistics values.
 *
 * HZ is 1024 on IA64 and % should be normalized to 100.
 */
#define S_VALUE(m,n,p)  (((double) ((n) - (m))) / (p) * HZ)

xds->util  = S_VALUE(sdp->tot_ticks, sdc->tot_ticks, itv);

iostat.c 中的 tot_ticks 的填充

  * @ioi        Current sample statistics.
  * @ioj        Previous sample statistics.
  * @itv        Interval of time.
  ...

sdc.tot_ticks = ioi->tot_ticks;
sdp.tot_ticks = ioj->tot_ticks;

tot_ticks 是从“sysfs stat for current block”读取的设备或分区” in read_sysfs_file_stat (iostat.c:487），ioi 和 ioj 是当前和之前的统计数据。

Answer 2

iostat -x （我使用旧版本的源代码在实现之前写下它）显示来自 /proc/diskstats 的信息（记录在此处）和/proc/stat （有关 CPU 时间；请参阅 man proc(5 )) （还有其他一些，但这对于理解并不重要）。

您可以在 osgx 的答案中看到相关的代码片段，但我无法单独理解它们，因此这里有一个扩展解释：

• %util = blkio.ticks / deltams * 100%
• deltams 是自上次快照以来经过的时间（以毫秒为单位）。它使用来自 /proc/stat 的 CPU 统计信息，大概是因为它比依赖系统时间提供更好的结果，但我不确定。 （旁注：由于某种原因，时间除以 HZ，而 文档指出它位于USER_HZ中，我不明白。）

• blkio.ticks 是“执行 I/O 所花费的毫秒数”，来自 /proc/ diskstats 文档：

  字段 9 -- 当前正在进行的 I/O 数量
    唯一应该归零的字段。随着请求的增加而增加
    赋予适当的 struct request_queue 并在完成时递减。
  字段 10 -- 执行 I/O 所花费的毫秒数
    只要字段 9 非零，该字段就会增加。
  

  即我的理解是，ticks 是任何 I/O 请求（针对该设备）正在进行时的刻度数乘以刻度之间的持续时间。

所以 %util = 100% 意味着每次内核查看时（我猜在现代内核上是每秒 1000 次，请参阅“HZ”），I/O 请求正在进行中。

以下是关于 iostat 的另一篇文章的摘录：

[%util is] 存储设备有多少时间有未完成的工作（正忙）。

在正确的 RAID 环境中，它更像是“RAID 阵列中至少一个磁盘有多少时间有事可做”。我在这里故意排除任何类型的缓存 - 如果可以从缓存中提供请求，那么它出现在 %util 中的机会可以忽略不计，这与其他值不同。

这也意味着 – RAID 子系统可以从 6.25%（一个磁盘完成工作）加载到 100%（所有磁盘都忙）。对于“100%”的单一值来说，这是相当多的见解，不是吗？

Answer 3

根据手册页，iostat 的第一行结果是系统启动时的平均值。

从我的测试来看，这似乎也适用于唯一的行，如果称为“

iostat -x.

尝试”：

iostat -dmx 1 5

它将为您提供五行，行之间的差异为一秒。放弃第一个，看看其他的，也许这样的输出会更有意义。

Answer 4

%util 表示每单位时间花费多少时间写入/读取，您可以根据平均服务时间计算它：

svctm  * (  r/s + w/s )  /1000 
= 0.66 *(0.24 + 0.57) /1000
= 0.0005346 

因此 0.05%

我还没有读过您的代码，但显然每秒读取或写入次数少于 1 次。不要加载那么多磁盘！