激烈的powershell vs gnu coreutils base64输出长度差

Question

我试图找出为什么在 Powershell 与 GNU coreutils 中以 Base64 编码文件时输出大小存在巨大差异。根据选项（UTF8 与 Unicode），Powershell 输出范围约为 240MB 到 318MB。使用 coreutils base64（在本例中为 Cygwin），输出约为 80MB。原始文件大小约为 58MB。那么，有两个问题：

1. 为什么会有如此巨大的差异？
2. 如何让 Powershell 提供 GNU 工具提供的更小的输出？

以下是我使用的具体命令：

Powershell 较小的输出：

$input = "C:\Users\my.user\myfile.pdf"
$filecontent = get-content $input
$converted = [System.Text.Encoding]::UTF8.GetBytes($filecontent)
$encodedtext = [System.Convert]::ToBase64String($converted)
$encodedtext | Out-File "C:\Users\my.user\myfile.pdf.via_ps.base64"

较大的 Powershell 输出来自于简单地将“UTF8”替换为“Unicode”。很明显，我对 Powershell 还很陌生；我确信只要稍微擅长一点的人就可以将其组合成几行简单的代码。

Coreutils（通过 Cygwin）base64：

base64.exe -w0 myfile.pdf > myfile.pdf.via_cygwin.base64

Answer 1

为什么会有这么大的差异？

因为你在 PowerShell 中做的事情完全不同

如何让 Powershell 提供 GNU 工具提供的较小输出？

通过执行 base64 的操作:)

---

让我们看看 base64 ... > ... 实际上是：

• base64：
  • 打开输入文件的文件句柄
  • 从磁盘读取原始字节流
  • 将每个 3 字节对转换为 4 字节 Base64 编码的输出字符串片段
• >：
  • 将原始字节流写入磁盘

由于 4 字节输出片段仅包含对应于 64 个可打印 ASCII 字符的字节值，该命令实际上从未执行任何“字符串操作” - 它仅操作的值碰巧也可以打印为 ASCII 字符串，因此生成的文件与“文本文件”无法区分。

另一方面，您的 PowerShell 脚本会执行大量字符串操作：

• Get-Content $input：
  • 打开输入文件的文件句柄
  • 从磁盘读取原始字节流
  • 根据某种选定的编码方案（可能是您的 OEM 代码页）解码字节流
• [Encoding]::UTF8.GetBytes()代码>：
  • 使用 UTF8 重新编码生成的字符串

• [Convert]::ToBase64String()
  • 将每个 3 字节对转换为 4 字节 Base64 编码的输出字符串片段
• Out-File：
  • 将输入字符串编码为小尾数 UTF16
  • 写入磁盘

上面突出显示的三个附加字符串编码步骤将导致字节流大幅膨胀，这就是您看到输出大小两倍或三倍的原因。

---

那么如何对文件进行base64编码呢？

这里的技巧是从磁盘读取原始字节并将它们直接传递给[convert]::ToBase64String()

从技术上讲，它可能是只需立即将整个文件读入数组：

$bytes = Get-Content path\to\file.ext -Encoding Byte # Windows PowerShell only
# or
$bytes = [System.IO.File]::ReadAllBytes($(Convert-Path path\to\file.ext))

$b64String = [convert]::ToBase64String($bytes)

Set-Content path\to\output.base64 -Value $b64String -Encoding Ascii

...我强烈建议反对对于大于几千字节的文件这样做。

相反，对于一般的文件转换，您需要使用流。在这种特殊情况下，您需要使用带有 ToBase64Transform 的 CryptoStream 将文件流重新编码为 base64：

function New-Base64File {
    [CmdletBinding(DefaultParameterSetName = 'ByPath')]
    param(
        [Parameter(Mandatory = $true, ParameterSetName = 'ByPath', Position = 0)]
        [string]$Path,

        [Parameter(Mandatory = $true, ParameterSetName = 'ByPSPath')]
        [Alias('PSPath')]
        [string]$LiteralPath,

        [Parameter(Mandatory = $true, Position = 1)]
        [string]$Destination
    )

    # Create destination file if it doesn't exist
    if (-not(Test-Path -LiteralPath $Destination -PathType Leaf)) {
        $outFile = New-Item -Path $Destination -ItemType File
    }
    else {
        $outFile = Get-Item -LiteralPath $Destination
    }

    [void]$PSBoundParameters.Remove('Destination')

    try {
        # Open a writable file stream to the output file 
        $outStream = $outFile.OpenWrite()

        # Wrap output file stream in a CryptoStream.
        #
        # Anything that we write to the crypto stream is automatically 
        # base64-encoded and then written through to the output file stream 
        $transform = [System.Security.Cryptography.ToBase64Transform]::new()
        $cryptoStream = [System.Security.Cryptography.CryptoStream]::new($outStream, $transform, 'Write')

        foreach ($file in Get-Item @PSBoundParameters) {
            try {
                # Open readable input file stream
                $inStream = $file.OpenRead()

                # Copy input bytes to crypto stream
                # - which in turn base64-encodes and writes to output file
                $inStream.CopyTo($cryptoStream)
            }
            finally {
                # Clean up the input file stream
                $inStream | ForEach-Object Dispose
            }
        }
    }
    finally {
        # Clean up the output streams
        $transform, $cryptoStream, $outStream | ForEach-Object Dispose
    }
}

现在您可以执行以下操作：

$inputPath = "C:\Users\my.user\myfile.pdf"

New-Base64File $inputPath -Destination "C:\Users\my.user\myfile.pdf.via_ps.base64"

并期望输出大小与 base64 相同