优化 PowerShell 中的简单搜索脚本

Question

我需要创建一个脚本来搜索不到一百万个文本、代码等文件以查找匹配项，然后将特定字符串模式的所有命中输出到 CSV 文件。

到目前为止我做到了；

$location = 'C:\Work*'

$arr = "foo", "bar" #Where "foo" and "bar" are string patterns I want to search for (separately)

for($i=0;$i -lt $arr.length; $i++) {
Get-ChildItem $location -recurse | select-string -pattern $($arr[$i]) | select-object Path | Export-Csv "C:\Work\Results\$($arr[$i]).txt"
}

这将返回一个名为“foo.txt”的 CSV 文件，其中包含包含单词“foo”的所有文件的列表，以及一个名为“bar.txt”的文件，其中包含包含单词“bar”的所有文件的列表。

有没有人能想到优化这个脚本以使其运行得更快的方法？或者关于如何制作一个完全不同但等效且运行速度更快的脚本的想法？

感谢所有输入！

Answer 1

如果您的文件不是很大并且可以读入内存，那么这个版本应该运行得更快（我的快速而肮脏的本地测试似乎证明了这一点）：

$location = 'C:\ROM'
$arr = "Roman", "Kuzmin"

# remove output files
foreach($test in $arr) {
    Remove-Item ".\$test.txt" -ErrorAction 0 -Confirm
}

Get-ChildItem $location -Recurse | .{process{ if (!$_.PSIsContainer) {
    # read all text once
    $content = [System.IO.File]::ReadAllText($_.FullName)
    # test patterns and output paths once
    foreach($test in $arr) {
        if ($content -match $test) {
            $_.FullName >> ".\$test.txt"
        }
    }
}}}

注意：1）改变了示例中的路径和模式； 2）输出文件不是CSV而是纯文本；如果您只对路径感兴趣，那么 CSV 中没有太多理由 - 纯文本文件每行一个路径就可以了。

Answer 2

让我们假设 1) 文件不太大，您可以将其加载到内存中，2) 您实际上只需要匹配的文件路径（而不是行等）。

我尝试仅读取该文件一次，然后迭代正则表达式。有一些增益（它比原始解决方案更快），但最终结果将取决于其他因素，例如文件大小、文件数量等。

此外，删除 'ignorecase' 也会使其更快一点。

$res = @{}
$arr | % { $res[$_] = @() }

Get-ChildItem $location -recurse | 
  ? { !$_.PsIsContainer } |
  % { $file = $_
      $text = [Io.File]::ReadAllText($file.FullName)
      $arr | 
        % { $regex = $_
            if ([Regex]::IsMatch($text, $regex, 'ignorecase')) {
              $res[$regex] = $file.FullName
            }
        }
  }
$res.GetEnumerator() | % { 
  $_.Value | Export-Csv "d:\temp\so-res$($_.Key).txt"
}