C++11 中字符串文字的 Unicode 编码

Question

在相关问题之后，我想问一下C++11 中的新字符和字符串文字类型。看起来我们现在有四种字符和五种字符串文字。字符类型：

char     a =  '\x30';         // character, no semantics
wchar_t  b = L'\xFFEF';       // wide character, no semantics
char16_t c = u'\u00F6';       // 16-bit, assumed UTF16?
char32_t d = U'\U0010FFFF';   // 32-bit, assumed UCS-4

和字符串文字：

char     A[] =  "Hello\x0A";         // byte string, "narrow encoding"
wchar_t  B[] = L"Hell\xF6\x0A";      // wide string, impl-def'd encoding
char16_t C[] = u"Hell\u00F6";        // (1)
char32_t D[] = U"Hell\U000000F6\U0010FFFF"; // (2)
auto     E[] = u8"\u00F6\U0010FFFF"; // (3)

问题是： \x/\u/\U 字符引用是否可以与所有字符串类型？所有字符串类型都是固定宽度的，即数组包含的元素数量与文字中出现的元素数量完全相同，或者是 \x/\u/\U 引用被扩展为可变数量的字节？ u"" 和 u8"" 字符串是否具有编码语义，例如我可以说 char16_t x[] = u"\U0010FFFF" 吗？非 BMP 代码点被编码为两个单元的 UTF16 序列？ u8 也类似吗？在(1)中，我可以用\u编写单独的代理吗？最后，是否有任何字符串函数编码感知（即它们是字符感知并且可以检测无效的字节序列）？

这是一个有点开放式的问题，但我想尽可能完整地了解新 C++11 的新 UTF 编码和类型设施。

Answer 1

\x/\u/\U 字符引用是否可以与所有字符串类型自由组合？

不可以。 \x 可以用于任何内容，但 \u 和 \U 只能用于专门 UTF 编码的字符串。但是，对于任何 UTF 编码的字符串，可以根据需要使用 \u 和 \U。

所有字符串类型都是固定宽度的，即数组包含与文字中出现的元素一样多的元素，还是将 \x/\u/\U 引用扩展为可变数量的字节？

不是按照你的意思。 \x、\u、\U根据字符串编码进行转换。这些“代码单元”（使用 Unicode 术语。char16_t 是 UTF-16 代码单元）值的数量取决于包含字符串的编码。文字 u8"\u1024" 将创建一个包含 2 个 char 和一个 null 终止符的字符串。文字 u"\u1024" 将创建一个包含 1 char16_t 和一个 null 终止符的字符串。

使用的代码单元的数量基于 Unicode 编码。

u"" 和 u8"" 字符串是否具有编码语义，例如我可以说 char16_t x[] = u"\U0010FFFF"，并且非 BMP 代码点被编码为两个单元的 UTF16 序列吗？

u"" 创建一个 UTF-16 编码的字符串。 u8"" 创建一个 UTF-8 编码的字符串。它们将按照 Unicode 规范进行编码。

在(1)中，我可以用\u编写单独的代理吗？

绝对不是。该规范明确禁止使用 UTF-16 代理项对 (0xD800-0xDFFF) 作为 \u 或 \U 的代码点。

最后，是否有任何字符串函数能够识别编码（即它们能够识别字符并且可以检测无效的字节序列）？

绝对不是。好吧，请允许我重新表述一下。

std::basic_string 不处理 Unicode 编码。它们当然可以存储 UTF 编码的字符串。但他们只能将它们视为 char、char16_t 或 char32_t 的序列；他们不能将它们视为使用特定机制编码的 Unicode 代码点序列。 basic_string::length() 将返回代码单元的数量，而不是代码点的数量。显然，C 标准库字符串函数是完全无用的。

但是应该注意的是，Unicode 字符串的“长度”并不意味着代码点的数量。一些代码点正在组合“字符”（一个不幸的名称），它与前一个代码点组合。因此多个代码点可以映射到单个视觉字符。

Iostream 实际上可以读取/写入 Unicode 编码值。为此，您必须使用区域设置来指定编码并将其正确地注入到各个位置。这说起来容易做起来难，而且我身上没有任何代码来向您展示如何操作。