如何将西里尔转换为UTF16

Question

tl;dr 有没有办法将哈希表中存储的西里尔字母转换为 UTF-16？ 就像 кириллица 进入 \u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0430

我需要导入文件，将其解析为 id 和 value 然后将其转换为 .json，现在我正在努力寻找一种方法将 value 转换为 utf 代码。

是的，需要这样

cyrillic.txt：

1 кириллица

PH：

clear-host
foreach ($line in (Get-Content C:\Users\users\Downloads\cyrillic.txt)){
    $nline = $line.Split(' ', 2)
    $properties = @{
        'id'= $nline[0] #stores "1" from file
        'value'=$nline[1] #stores "кириллица" from file
    }
    $temp+=New-Object PSObject -Property $properties
}
$temp | ConvertTo-Json | Out-File "C:\Users\user\Downloads\data.json"

输出：

[
    {
        "id":  "1",
        "value":  "кириллица"
    },
]

需要：

[
    {
        "id":  "1",
        "value":  "\u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0430"
    },
]

此时作为 PH 的新手，我什至不知道如何正确搜索它

Answer 1

建立在 Jeroen Mostert 的有用评论，以下工作非常强烈，假设输入文件不包含，则可以进行以下工作鲁棒性。 nul 字符（通常是 text files的安全假设）：

# Sample value pair; loop over file lines omitted for brevity.
$nline = '1 кириллица'.Split(' ', 2)

$properties = [ordered] @{
  id = $nline[0]
  # Insert aux. NUL characters before the 4-digit hex representations of each
  # code unit, to be removed later.
  value = -join ([uint16[]] [char[]] $nline[1]).ForEach({ "`0{0:x4}" -f $_ })
}

# Convert to JSON, then remove the escaped representations of the aux. NUL chars.,
# resulting in proper JSON escape sequences.
# Note: ... | Out-File ... omitted.
(ConvertTo-Json @($properties)) -replace '\\u0000', '\u'

输出（输出到 convertfrom-json 以验证其有效）：

[
  {
    "id": "1",
    "value": "\u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0430"
  }
]

说明：

• [uint16 []] [char []] $ nline [1] 转换 [char] 存储在 $ nline [1] <的字符串实例> /代码>进入基础UTF-16代码单元（a .net [char] 是编码Unicode代码点的未签名的16位整数）。

  


  

  • 请注意，即使在 0xffff 上，即使代码点上方的Unicode字符也可以使用，即太大，无法适合 [uint16] 。这样的字符在所谓的BMP（基本多语言平面）（例如 ）之外，简单地表示为UTF-16代码单元的 pairs ，所谓的替代Pairs ，JSON处理器应识别（ convertfrom-json 做）。
  • 但是，在 Windows上此类字符。根据您的控制台窗口的字体，可能无法正确正确地渲染。最安全的选项是使用 windows terminal ，可用
    
• 中/powershell/module/microsoft.powershell.core/about/about/about_arrays#foreach“ rel =” nofollow noreferrer“> .foreach（） array> array方法处理每个结果代码单位：

  • “``0 {0 {0：x4}“ -f $ _ 使用 Expandable String 创建一个以> nul “ 0” ），然后是4位十六进制。手头代码单元的表示（ x4 ），通过 -f 创建，格式操作员。

    • 这种替换应该最终的技巧是逐字 \ u prefix 临时 nul nul 字符is需要，因为逐字 \ 嵌入在字符串值中的词，鉴于 \ 在JSON中执行逃脱字符，因此在其JSON表示中始终将 em 在其JSON表示中翻倍 。

  • 结果类似于“＆lt; nul＆gt; 043a” ， convertto-json 转换如下，鉴于它必须逃脱每个 nul nul arte > \ u0000 ：

     “ \ u0000043a”
     

• convertto-json 的结果可以通过替换 \ u0000 （逃脱为 \\ u0000 convertto-json 。 >与REGEX一起使用 -replace oeprator） \ u ，例如：

   “ \ u0000043a” -replace'\\ u0000'，'\ u'＃ - ＆gt; “ \ u043a”，即
   

Answer 2

这是一种将其保存到UTF16BE文件中，然后读取字节并格式化它，跳过前2个字节（即BOM（\ UFEFF））的方法。 $ _自己不起作用。请注意，有两个 utf16编码，这些编码具有不同的字节订单，大恩迪安和小末日。西里尔的范围为u+0400..u+04ff。添加-Nonewline。

'кириллица' | set-content utf16be.txt -encoding BigEndianUnicode -nonewline
$list = get-content utf16be.txt -Encoding Byte -readcount 2 | 
  % { '\u{0:x2}{1:x2}' -f $_[0],$_[1] } | select -skip 1
-join $list

\u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0430

Answer 3

必须有一种更简单的方法，但这可以对您有用：

$temp = foreach ($line in (Get-Content -Path 'C:\Users\users\Downloads\cyrillic.txt')){
    $nline = $line.Split(' ', 2)
    # output an object straight away so it gets collected in variable $temp
    [PsCustomObject]@{
        id    = $nline[0]   #stores "1" from file
        value = (([system.Text.Encoding]::BigEndianUnicode.GetBytes($nline[1]) | 
                ForEach-Object {'{0:x2}' -f $_ }) -join '' -split '(.{4})' -ne '' | 
                ForEach-Object { '\u{0}' -f $_ }) -join ''
    }
}
($temp | ConvertTo-Json) -replace '\\\\u', '\u' | Out-File 'C:\Users\user\Downloads\data.json'

更简单地使用 .toCharArray（）：

$temp = foreach ($line in (Get-Content -Path 'C:\Users\users\Downloads\cyrillic.txt')){
    $nline = $line.Split(' ', 2)
    # output an object straight away so it gets collected in variable $temp
    [PsCustomObject]@{
        id    = $nline[0]   #stores "1" from file
        value = ($nline[1].ToCharArray() | ForEach-Object {'\u{0:x4}' -f [uint16]$_ }) -join ''
    }
}
($temp | ConvertTo-Json) -replace '\\\\u', '\u' | Out-File 'C:\Users\user\Downloads\data.json'

value “。将转换为 \ code> \ code> \ code> \ code> U043A \ U0438 \ U0440 \ U0438 \ u043b \ u043b \ u0438 \ u0438 \ u0446 \ u0430