计算目录大小的最快方法

Question

计算目录大小的最佳且最快方法是什么？例如，我们将具有以下结构：

/users
      /a
      /b
      /c
      /...

我们需要输出每个用户目录：

a = 1224KB
b = 3533KB
c = 3324KB
...

我们计划在 /users 下有数十甚至数十万个目录。以下 shell 命令有效：

du -cms /users/a | grep total | awk '{print $1}'

但是，我们必须调用它 N 次。重点在于输出；每个用户的目录大小将存储在我们的数据库中。此外，我们希望尽可能频繁地更新它，但又不会阻塞服务器上的所有资源。是否有可能让它每分钟计算一次用户目录大小？每5分钟一次怎么样？

现在我又想了一下，使用 Node.js 有意义吗？这样，我们就可以计算目录大小，甚至可以在一个事务中全部插入数据库。我们也可以在 PHP 和 Python 中做到这一点，但不确定它是否同样快。

谢谢。

Answer 1

为什么不只是：（

du -sm /users/*

不过，最慢的部分仍然可能是 du 遍历文件系统来计算大小）。

Answer 2

您需要这些信息做什么？如果只是为了提醒用户他们的主目录太大，您应该为文件系统添加配额限制。如果您只想要数量而不真正限制磁盘使用，则可以将配额设置为 1000 GB。

每当您访问磁盘上的任何内容时，这些数字通常都是准确的。唯一的缺点是，它们会告诉您特定用户拥有的文件有多大，而不是其主目录下的文件有多大。但也许你可以忍受这一点。

Answer 3

使用 ncdu 包分析存储的最快方法：

sudo apt-get install ncdu

命令示例：

ncdu /your/directory/

Answer 4

我想你正在寻找的是：

du -cm --max-depth=1 /users | awk '{user = substr($2,7,300);
>                                   ans = user ": " $1;
>                                   print ans}'

神奇的数字 7 正在拿走子字符串 /users/，而 300 只是一个任意的大数字（awk 不是我最好的语言之一 =D，但我猜这部分不是无论如何都会用 awk 编写。）它更快，因为您不涉及对总数进行 grep，并且循环包含在 du 内。我打赌它可以做得更快，但这应该足够快了。

Answer 5

如果您有多个核心，您可以并行运行 du 命令，

例如（从要检查的文件夹运行）：

>>并行 du -sm ::: *

>> ls -a | xargs -P4 du -sm

[-P 参数后面的数字设置您要使用的 cpu 数量]

Answer 6

没那么慢，但会显示文件夹大小： du -sh /* >总大小.文件.txt

Answer 7

我推荐实用程序 DUC。第一次运行

duc index ~/

将缓存 ~/cache/duc 中的所有目录大小。您可以使用 duc ls ~/ 获取所需的格式。或者，如果您只想要当前大小：

result_in_bytes=$(duc ls -b ~/ | awk '{sum += $1} END {print sum}')
result_in_mb=$(echo "scale=1; $result_in_bytes / 1024 / 1024" | bc)