（在 Linux 中）计算目录中大量文件的最快/最简单的方法是什么？

Question

我有一些目录，其中包含大量文件。每次我尝试访问其中的文件列表时，我都无法做到这一点，或者出现明显的延迟。我试图在 Linux 上的命令行中使用 ls 命令，而我的托管提供商的 Web 界面也没有帮助。

问题是，当我只执行 ls 时，甚至开始显示某些内容都需要花费大量时间。因此，ls | wc -l 也无济于事。

经过一番研究，我想出了这段代码（在这个例子中，它计算了某个服务器上新电子邮件的数量）：

print sum([len(files) for (root, dirs, files) in walk('/home/myname/Maildir/new')])

上面的代码是用 Python 编写的。我使用Python的命令行工具，它运行得非常快（立即返回结果）。

我对以下问题的答案感兴趣：是否可以更快地计算目录（没有子目录）中的文件？最快的方法是什么？

Answer 1

ls 对每个文件执行 stat(2) 调用。其他工具，例如 find(1) 和 shell 通配符扩展，可能会避免此调用，而只执行 readdir。一种可能有效的 shell 命令组合是 find dir -maxdepth 1|wc -l，但它会很乐意列出目录本身，并错误地计算其中包含换行符的任何文件名。

在 Python 中，获取这些名称的直接方法是 os.listdir(directory) 。与 os.walk 和 os.path.walk 不同，它不需要递归、检查文件类型或进行进一步的 Python 函数调用。

附录： ls 似乎并不总是统计。至少在我的 GNU 系统上，当不需要进一步的信息（例如哪些名称是目录）时，它只能执行 getdents 调用。 getdents 是用于在 GNU/Linux 中实现 readdir 的底层系统调用。

添加 2： ls 输出结果之前出现延迟的原因之一是它要进行排序和制表。 ls -U1 可以避免这种情况。

Answer 2

这在 Python 中应该相当快：

from os import listdir
from os.path import isfile, join
directory = '/home/myname/Maildir/new'
print sum(1 for entry in listdir(directory) if isfile(join(directory,entry)))

Answer 3

给定目录中的文件总数

find . -maxdepth 1 -type f | wc -l

给定目录及其下所有子目录中的文件总数

find . -type f | wc -l

有关更多详细信息，请进入终端并执行 man find

Answer 4

我不确定速度，但如果你只想使用 shell 内置函数，这应该可以：

#!/bin/sh
COUNT=0;
for file in /path/to/directory/*
do
COUNT=$(($COUNT+1));
done
echo $COUNT

Answer 5

我认为 ls 大部分时间都花在显示第一行之前，因为它必须对条目进行排序，因此 ls -U 应该更快地显示第一行（尽管它总体上可能并没有那么好）。

Answer 6

最快的方法是避免解释语言的所有开销并编写一些直接解决您的问题的代码。这样做很难以可移植的方式完成，但非常简单。目前我使用的是 OS X 机器，但将以下内容转换为 Linux 应该非常简单。 （我选择忽略隐藏文件，只计算常规文件...根据需要进行修改或添加命令行开关以获得您想要的功能。）

#include <dirent.h>
#include <stdio.h>
#include <stdlib.h>

int
main( int argc, char **argv )
{
    DIR *d;
    struct dirent *f;
    int count = 0;
    char *path = argv[ 1 ];

    if( path == NULL ) {
        fprintf( stderr, "usage: %s path", argv[ 0 ]);
        exit( EXIT_FAILURE );
    }
    d = opendir( path );
    if( d == NULL ) { perror( path );exit( EXIT_FAILURE ); }
    while( ( f = readdir( d ) ) != NULL ) {
        if( f->d_name[ 0 ] != '.'  &&  f->d_type == DT_REG )
            count += 1;
    }
    printf( "%d\n", count );
    return EXIT_SUCCESS;
}

Answer 7

我的用例是一个 Linux SBC (Banana Pi)，用于对 FAT32 USB 记忆棒上的目录中的文件进行计数。
在 shell 中，

ls -U {dir} | wc -l

需要 6.4 秒，其中包含 32k 个文件（32k = FAT32 上的最大文件/目录）
从 python 中

t=time.time() ; print len(os.listdir(d)) ; print time.time()-t

只需要 0.874 秒（！）在 Python 中看不到任何其他东西比这更快。

Answer 8

在 bash 中计算目录中文件的更短方法：

files=(*) ； echo ${#files[@]}

我在tmpfs中生成了10_000个空文件；在我的机器上运行 ls | 需要 0.03 秒来计算它们wc -l 只是稍微慢一些（我在之前和之间刷新了缓存以防万一）