如何在Windows机器上的perl脚本中将Unicode文件转换为ASCII文件

Question

我在 Windows 机器上有一个 Unicode 格式的文件。有没有办法使用perl脚本在Windows机器上将其转换为ASCII格式

它是UTF-16 BOM。

Answer 1

查看 Perl open 命令上的编码选项。您可以在打开文件进行读取或写入时指定编码：

如下所示：

#! /usr/bin/env perl
use strict;
use warnings;
use feature qw(say switch);
use Data::Dumper;

use autodie;

open (my $utf16_fh, "<:encoding(UTF-16BE)", "test.utf16.txt");
open (my $ascii_fh, ">:encoding(ASCII)", ".gvimrc");

while (my $line = <$utf16_fh>) {
    print $ascii_fh $line;
}

close $utf16_fh;
close $ascii_fh;

Answer 2

如果你想将unicode转换为ascii，你必须意识到有些字符是无法转换的，因为它们在ascii中不存在。
如果您可以忍受这一点，您可以尝试以下操作：

#!/usr/bin/env perl
use strict;
use warnings;
use autodie;

use open IN => ':encoding(UTF-16)';
use open OUT => ':encoding(ascii)';

my $buffer;

open(my $ifh, '<', 'utf16bom.txt');
read($ifh, $buffer, -s $ifh);
close($ifh);

open(my $ofh, '>', 'ascii.txt');
print($ofh $buffer);
close($ofh);

如果您没有 autodie，只需删除该行 - 然后您应该使用 a 更改您的打开/关闭语句

open(...) or die "error: $!\n";

如果您有无法转换的字符，您将收到警告在控制台上，您的输出文件将包含例如类似的文本

\x{00e4}\x{00f6}\x{00fc}\x{00df}

。
BTW：如果你没有妈妈但知道它是Big Endian（Little Endian），你可以将编码行更改为

use open IN => ':encoding(UTF-16BE)';

或

use open IN => ':encoding(UTF-16LE)';

希望它在Windows 下也能工作。我现在不能尝试。