使用标准C＆＃x2B;＆＃x2B读取UTF-8文本并转换为UTF-16 Wifstream

Question

我想从一个使用UTF-8编码的文件中读取一些文本，然后使用std :: WifStream将其转换为UTF-

//
// Read UTF-8 text and convert to UTF-16
//
std::wifstream src;
src.imbue(std::locale("???"));          // UTF-8 ???
src.open("some_text_file_using_utf8");
std::wstring line;                      // UTF-16 string
while (std::getline(src, line))
{
    ... do something processing the UTF-16 string ...
}

16 UTF-8转换？
是否可以使用std :: Locale实现该目标？

我正在使用Visual Studio2013。

---

注意：

我知道我/o流往往很慢，并且可以使用Win32内存映射的文件来更快地阅读，MultibyTeteToWIDEchar（）< /代码>转换的Win32 API等。
但是对于这种特殊情况，我希望仅使用标准C ++及其标准库，而无需提升的解决方案。

如果C ++标准库无法做到这一点，则 second 选项将是使用 boost ;在这种情况下，我应该使用哪个提升库？

Answer 1

这在Windows上与Visual Studio一起工作，我认为可以追溯到VS2010，

#include <locale>  // consume_header, locale
#include <codecvt> // codecvt_utf8_utf16

src.imbue(std::locale(
    src.getloc(),
    new std::codecvt_utf8_utf16<wchar_t, 0x10FFFF, std::consume_header>));

因为Windows使用了16位WCHAR_T，并且还普遍使用UTF-16作为编码此编码的宽字符，在该环境中效果很好。 （而且由于我假设一个Windows环境，我的示例包括 compume_header处理Windows的公约将标题添加到UTF-8数据）。

在其他平台上WCHAR_T通常是32位，虽然您可以将UTF-16代码单位值存储在这样的32位代码单元中，但没有其他东西可以期待这样的事情。在具有32位WCHAR_T的平台上，您可能希望使用std :: Codecvt_utf8＆lt; wchar_t＆gt;生产UTF-32宽字符串。

---

理想情况下，您想要的是一个codecvt facet，它知道如何从UTF-8转换为语言环境的wchar_t编码或宽执行编码。但是，问题在于，不需要任何广泛的编码来支持UTF-8中可表示的整个字符范围。最重要的是，WCHAR_T对于指定的便携式代码不是特别有用。

但是，如果您坚持使用使用UTF-16或UTF-32的平台，则可能有用的一个技巧，具体取决于WCHAR_T的大小是：

template <int N> struct get_codecvt_utf8_wchar_impl;
template <> struct get_codecvt_utf8_wchar_impl<16> {
  using type = std::codecvt_utf8_utf16<wchar_t>;
};
template <> struct get_codecvt_utf8_wchar_impl<32> {
  using type = std::codecvt_utf8<wchar_t>;
};

using codecvt_utf8_wchar = get_codecvt_utf8_wchar_impl<
    sizeof(wchar_t) * CHAR_BIT>::type;

src.imbue(std::locale(src.getloc(), new codecvt_utf8_wchar));

---

您也可以使用char16_t char32_t，它可以适用于便携式代码，但是标准缺少一些位来使iostreams与这些角色类型可用，并且实现并不完全支持指定的内容。

vs我认为仍然实现char16_t和char32_t作为typeDefs，因此使用它们的模板专业化是行不通的（即使存在专业 do ，也存在您可以在标题中查看，它们只是因为编译器无法处理它们而出去。 libstdc ++尚未实现模板专业化，即使它支持char16_t和char32_t作为真实类型。我知道的最完整的实现是带有合适的编译器（GCC或Clang）的LIBC ++，但即使如此仍然缺少＆lt; cuchar＆gt; header。

由于实现支持受到限制，因此除了将它们用作跨平台用户代码中的一致表示外，还可以防止便携式代码对这些代码进行很多处理（尽管即使是单独使用）。