如何以流的形式逐行处理PowerShell中的文件

如果您真的要处理千兆字节的文本文件,请不要使用PowerShell。即使你找到了阅读它的方法,在PowerShell中,快速处理大量的行也会很慢,而且你无法避免这一点。即使是简单的循环也很昂贵,比如说对于1000万次迭代(在您的例子中相当真实),我们有:

# "empty" loop: takes 10 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) {} }

# "simple" job, just output: takes 20 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } }

# "more real job": 107 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } }

更新: 如果您仍然不害怕,请尝试使用.NET阅读器:

$reader = [System.IO.File]::OpenText("my.log")
try {
    for() {
        $line = $reader.ReadLine()
        if ($line -eq $null) { break }
        # process the line
        $line
    }
}
finally {
    $reader.Close()
}

更新2

有一些关于可能更好/更短的代码的评论。原始代码没有问题 for 它不是伪代码。但越短(最短?)读取循环的变量是

$reader = [System.IO.File]::OpenText("my.log")
while($null -ne ($line = $reader.ReadLine())) {
    $line
}

System.IO.File.ReadLines() 非常适合这个场景。它返回文件的所有行,但允许您立即开始遍历这些行,这意味着它不必将所有内容存储在内存中。

需要.NET 4.0或更高版本。

foreach ($line in [System.IO.File]::ReadLines($filename)) {
    # do something with $line
}

http://msdn.microsoft.com/en-us/library/dd383503.aspx

如果您想使用直接PowerShell,请查看下面的代码。

$content = Get-Content C:\Users\You\Documents\test.txt
foreach ($line in $content)
{
    Write-Host $line
}