C# - 如何快速、优化地列出子目录中的文件

Question

我正在尝试使用以下方法列出根目录的所有子目录中的文件。但当文件数量达到数百万时，它会花费很多时间。有没有更好的方法来做到这一点。

我正在使用 .NET 3.5，因此无法使用枚举器:-(

        ******************* Main *************
        DirectoryInfo dir = new DirectoryInfo(path);
        DirectoryInfo[] subDir = dir.GetDirectories();
        foreach (DirectoryInfo di in subDir) //call for each sub directory
        {
             PopulateList(di.FullName, false);
        }

        *******************************************
        static void PopulateList(string directory, bool IsRoot)
        {

            System.Diagnostics.ProcessStartInfo procStartInfo = new System.Diagnostics.ProcessStartInfo("cmd", "/c " + "dir /s/b \"" + directory + "\"");
            procStartInfo.RedirectStandardOutput = true;
            procStartInfo.UseShellExecute = false;
            procStartInfo.CreateNoWindow = true;
            System.Diagnostics.Process proc = new System.Diagnostics.Process();
            proc.StartInfo = procStartInfo;
            proc.Start();

            string fileName = directory.Substring(directory.LastIndexOf('\\') + 1);
            StreamWriter writer = new StreamWriter(fileName + ".lst");

            while (proc.StandardOutput.EndOfStream != true)
            {
                 writer.WriteLine(proc.StandardOutput.ReadLine());
                 writer.Flush();
            }
            writer.Close();
        }

Answer 1

删除所有与进程相关的内容并尝试 目录。 GetDirectories () 和 Directory.GetFiles() 方法：

public IEnumerable<string> GetAllFiles(string rootDirectory)
{
    foreach(var directory in Directory.GetDirectories(
                                            rootDirectory, 
                                            "*", 
                                            SearchOption.AllDirectories))
    {
        foreach(var file in Directory.GetFiles(directory))
        {
            yield return file;
        }
    }
}

来自 MSDN，搜索选项.AllDirectories：

搜索中包括当前目录和所有子目录
手术。此选项包括重新分析点，例如安装的驱动器和
搜索中的符号链接。

Answer 2

在每个目录的循环中使用 DirectoryInfo.GetFiles 肯定会更快，而不是产生大量新进程来读取其输出。

Answer 3

对于数百万个文件，您实际上遇到了文件系统限制（请参阅 this 并搜索“300,000”），因此请考虑到这一点。

至于优化，我认为您确实想要惰性迭代，因此您必须 P/Invoke 到 FindFirstFile/FindNextFile。

Answer 4

查看已有的 Directory.GetFiles 重载。
例如：

var paths = Directory.GetFiles(root, "*", SearchOption.AllDirectories);

是的，这需要很多时间。但我认为仅使用 .Net 类无法提高其性能。

Answer 5

假设您的数百万个文件分布在多个子目录中并且您使用的是 .NET 4.0，您可以查看并行扩展。

使用并行的 foreach 循环来处理子目录列表可以使事情变得更快。

新的并行扩展也比在较低级别尝试多线程更安全、更易于使用。

需要注意的一件事是确保将并发进程的数量限制在合理的范围内。