协议缓冲区和 UTF-8

Question

编码方案/多操作系统和 Endian-nes 的历史导致了对所有形式的字符串数据（即所有字母表）进行编码方面的混乱；因此，协议缓冲区仅处理其字符串类型中的 ASCII 或 UTF-8，并且我看不到任何接受 C++ wstring 的多态重载。那么问题是如何将 UTF-16 字符串获取到协议缓冲区中？

大概我需要在应用程序代码中将数据保留为 wstring，然后在将其填充到（或从中提取）消息之前执行 UTF-8 转换。最简单的 Windows/Linux 可移植方法是什么（来自受良好支持的库的单个函数调用将让我很高兴）？

数据将源自各种 Web 服务器（Linux 和 Windows），最终到达 SQL Server（以及可能的其他端点）。

-- 编辑 1--

Mark Wilkins 的建议似乎符合要求，也许有该库经验的人可以发布一个代码片段 -- 从 wstring 到 UTF-8 -- 这样我就可以衡量它有多容易。

-- 编辑 2 --

某物的建议更是如此。我将进一步研究增强序列化。

Answer 1

Boost Serialization 库包含 UTF-8 codecvt 方面< /a> 可用于将 unicode 与 UTF-8 相互转换。文档中甚至有一个例子就是这样做的。

Answer 2

看一下 UTF8-CPP：

// converts a utf-8 encoded std::string s to utf-16 wstring ws
utf8to16(s.begin(), s.end(), back_inserter(ws));

Answer 3

这可能有点过分了，但是 ICU 库 可以满足您所需的一切，并且您可以在两者上使用它们Windows 和 Linux。

但是，如果您只想进行转换，那么在 Windows 下，只需调用 MultiByteToWideChar 和 WideCharToMultiByte 即可完成 UTF-8 和

UTF-16 之间的转换。例如：

// utf-8 to utf-16
MultiByteToWideChar( CP_UTF8, 0, myUtf8String, -1,
                     myUtf16Buf, lengthOfUtf16Buf );

对于 Linux，libidn 可能会满足您的需要。它可以在 UTF-8 和 UCS 之间进行转换，我认为这在某种程度上相当于 UTF-32。例如：

// utf-8 to UCS
ucsStr = stringprep_utf8_to_ucs4( "asdf", 4, &items );

但是，在 Linux 中，我认为您最好只使用 UTF-8。除非您有 UTF-16 的现有库，否则我不确定是否有令人信服的理由在 Linux 中使用它。

Answer 4

在 Linux 上，这很简单：每个 wchar_t 都是一个 Unicode 代码点，通过简单的位元组，您可以找到相应的 UTF-8 字节。在 Windows 上，这并不难，因为有一个 API：WideCharToMultiByte(CP_UTF8, 0, input.c_str(), input.size(), &out[0], out.size() , 0,0);