wchar_t 在 Visual Studio 中是 2 字节，存储 UTF-16。 Unicode 感知应用程序如何处理 U+FFFF 以上的字符？

Question

我们公司计划让我们的应用程序支持 Unicode，并且我们正在分析我们将遇到的问题。

特别是，我们的应用程序将严重依赖于字符串的长度，我们希望使用 wchar_t 作为基本字符类。

当处理必须以 UTF-16 的 2 个 16 位单元存储的字符（即 U+10000 以上的字符）时，就会出现问题。

简单的例子：

我有 UTF-8 字符串“蟂”（Unicode 字符 U+87C2，UTF-8 中：E8 9F 82）

因此，我设置了以下代码：

const unsigned char my_utf8_string[] = { 0xe8, 0x9f, 0x82, 0x00 };

// compute size of wchar_t buffer.
int nb_chars = ::MultiByteToWideChar(CP_UTF8,                                  // input is UTF8
                                     0,                                        // no flags
                                     reinterpret_cast<char *>(my_utf8_string), // input string (no worries about signedness)
                                     -1,                                       // input is zero-terminated
                                     NULL,                                     // no output this time
                                     0);                                       // need the necessary buffer size

// allocate
wchar_t *my_utf16_string = new wchar_t[nb_chars];

// convert
nb_chars = ::MultiByteToWideChar(CP_UTF8,
                                 0,
                                 reinterpret_cast<char *>(my_utf8_string),
                                 -1,
                                 my_widechar_string, // output buffer
                                 nb_chars);          // allocated size

好的，这有效，它分配了两次 16 位，我的wchar_t 的缓冲区包含 { 0x87c2, 0x0000 }。如果我将它存储在 std::wstring 中并计算大小，我得到 1。

现在，让我们将字符

Answer 1

您必须接受 std::wstring::size 确实不给出字符数。相反，它为您提供代码单元的数量。如果您有 16 位代码单元，则它确定字符串中包含多少个代码单元。计算 Unicode 字符数需要循环字符串。一旦你接受了它就不会再烦人了。

至于计算 UTF-8 中的字符：不需要。相反，您发布的代码很好：调用一次 MultiByteToWideChar 会告诉您需要多少个代码单元，然后您分配正确的数字 - 无论是用于 BMP 字符还是补充平面。如果您绝对想编写自己的计数例程，请使用其中两个例程：一个计算字符，另一个计算 16 位代码单元。如果前导字节为11110xxx，则需要统计两个码单元。

Answer 2

我建议您阅读 Unicode 官方网站上的以下常见问题解答：http://www.unicode。 org/faq//utf_bom.html

基本上，区分代码单元、代码点和字符非常重要。