C++ Unix / Mac OS X 上的 UTF-8 支持

Question

我需要一种方法能够在 C++ 中读取 UTF-8 编码文件并将数据存储到某种“UTF-8 兼容字符串”中。稍后需要将此数据写回 UTF-8 编码文件。谷歌上似乎有很多关于在 Windows 中执行此操作的建议，但我找不到针对 Unix 系统的任何帮助。

感谢您的帮助！

Answer 1

如果您需要做的只是读取和写入它，那么 std::string 就可以了。

std::ifstream    fileIn("file.utf8");

std::string   line;
std::getline(fileIn, line); // Reads a UTF-8 line

std::ofstream    fileOut("OutFile.utf8");
fileOut << line; // Writes a line of UTF-8 text

这是可行的，因为没有多字符 UTF 代码点与 ASCII 字符重叠，因此文本的标准处理相对于行尾序列工作得很好，并且流没有进行其他处理。你读到的就是你得到的。输出字符串不会更改任何代码点。

现在，如果您需要操作文本，这是一个不同的问题并且变得更加复杂。

通常操纵 UTF-8 是很困难的（可以做到，但在我看来不值得）。

当涉及到操作文本时，您希望将 UTF-8（不是固定宽度）转换为内部固定宽度格式； （UTF-16 或 UTF-32 是常用的操作格式，并且易于使用；（UTF-16 windows，UTF-32 适用于大多数 *nix 等操作系统））。最简单的方法是向流中注入一个 Facet，该 Facet 知道输入采用 UTF-8 格式，并会自动对其进行转换。

在不同的库中存在一些这样的方面。但一个很容易找到的就是 boost：

http:// www.boost.org/doc/libs/1_38_0/libs/serialization/doc/codecvt.html

注意：它也在最新版本的 boost 1.46

std::locale old_locale;
std::locale utf8_locale(old_locale,new utf8_codecvt_facet<ucs4_t>);
                              //   ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^  The important bit
                              //   Note here we are converting to UTF-32(UCS-4)

std::wifstream fileIn;
fileIn.imbue(utf8_locale);    // Imbue the stream with the knowledge.

fileIn.open("file.utf8");
// Now read wide characters from the stream. The UTF-8 file is converted 
// into UTF-16/UTF-32 for internal processing.

std::wstring    wideLine;
std::getline(fileIn, wideLine); // Read a line converting to UTF-16/32

这些过程与将 UTF-16/32 写回流并将其转换为UTF-8

std::wofstream fileOut;
fileOut.imbue(utf8_locale);

fileOut.open("OutFile.utf8");
fileOut << wideLine;      // Write a UTF-16/32 line and convert into UTF-8

注意。您应该在打开文件之前将其注入。如果您在打开流后注入流，则流的不同实现会有不同的反应。因此，最好在打开流之前先将其注入。

Dinkumware 也有一组转换方面（不确定它们是否免费）。
http://www.dinkumware.com /manuals/default.aspx?manual=compleat&page=index_cvt.html#Code%20Conversions

注意：我更喜欢使用术语 UTF-X 而不是 UCS-Y。尽管从技术上讲存在非常微小的差异，但与在谈论该主题时在两个术语之间切换所造成的混乱相比，这些差异是微不足道的。除非您需要明确谈论某个功能（例如代理对），否则请坚持使用其中一个。