如何在 PowerShell 中将文件作为流逐行处理

Question

我正在处理一些数 GB 的文本文件，并希望使用 PowerShell 对它们进行一些流处理。这很简单，只需解析每一行并提取一些数据，然后将其存储在数据库中。

不幸的是，get-content | %{whatever($_)} 似乎将管道此阶段的整组行保留在内存中。它的速度也令人惊讶地慢，需要很长时间才能真正读入所有内容。

所以我的问题是两个部分：

1. 如何让它逐行处理流而不是将整个内容缓冲在内存中？我想避免为此目的使用几GB RAM。
2. 我怎样才能让它运行得更快？ PowerShell 迭代 get-content 似乎比 C# 脚本慢 100 倍。

我希望我在这里做了一些愚蠢的事情，比如缺少 -LineBufferSize 参数或其他东西......

Answer 1

如果您确实要处理数 GB 的文本文件，请不要使用 PowerShell。即使您找到一种更快地读取它的方法，无论如何，在 PowerShell 中处理大量行都会很慢，并且您无法避免这种情况。即使是简单的循环也是昂贵的，比如说 1000 万次迭代（在您的情况下相当真实），我们有：

# "empty" loop: takes 10 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) {} }

# "simple" job, just output: takes 20 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } }

# "more real job": 107 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } }

更新：如果您仍然不害怕，那么尝试使用 .NET 阅读器：

$reader = [System.IO.File]::OpenText("my.log")
try {
    for() {
        $line = $reader.ReadLine()
        if ($line -eq $null) { break }
        # process the line
        $line
    }
}
finally {
    $reader.Close()
}

更新 2

有关于可能更好/更短的代码的评论。 for 的原始代码没有任何问题，也不是伪代码。但是阅读循环的较短（最短？）变体是

$reader = [System.IO.File]::OpenText("my.log")
while($null -ne ($line = $reader.ReadLine())) {
    $line
}

Answer 2

System.IO.File.ReadLines() 非常适合这种情况。它返回文件的所有行，但让您立即开始迭代这些行，这意味着它不必将整个内容存储在内存中。

需要 .NET 4.0 或更高版本。

foreach ($line in [System.IO.File]::ReadLines($filename)) {
    # do something with $line
}

http://msdn.microsoft.com/en-us/library/dd383503.aspx

Answer 3

如果您想直接使用 PowerShell，请查看以下代码。

$content = Get-Content C:\Users\You\Documents\test.txt
foreach ($line in $content)
{
    Write-Host $line
}

Answer 4

对于那些感兴趣的人...

对此有一点看法，因为我必须处理非常大的文件。

以下是包含 5600 万行/记录的 39 GB xml 文件的结果。查找文本是一个 10 位数字

1) GC -rc 1000 | % -match -> 183 seconds
2) GC -rc 100 | % -match  -> 182 seconds
3) GC -rc 1000 | % -like  -> 840 seconds
4) GC -rc 100 | % -like   -> 840 seconds
5) sls -simple            -> 730 seconds
6) sls                    -> 180 seconds (sls default uses regex, but pattern in my case is passed as literal text)
7) Switch -file -regex    -> 258 seconds
8) IO.File.Readline       -> 250 seconds

1 和 6 是明显的获胜者，但我选择了 1

PS。该测试是在装有 PS 5.1 的 Windows Server 2012 R2 服务器上进行的。该服务器具有 16 个 vCPU 和 64 GB 内存，但在本次测试中仅使用了 1 个 CPU，而 PS 进程内存占用量是最低限度，因为上述测试使用的内存非常少。