STL 和 UTF-8 文件输入/输出。怎么做呢？

Question

我使用 wchar_t 作为内部字符串，使用 UTF-8 存储在文件中。我需要使用 STL 将文本输入/输出到屏幕，并且还需要使用完整的立陶宛语字符集。
一切都很好，因为我不必对文件执行相同的操作，因此以下示例可以很好地完成工作：

#include <io.h>
#include <fcntl.h>
#include <iostream>
    _setmode (_fileno(stdout), _O_U16TEXT);
    wcout << L"AaĄąfl" << endl;

But I became curious and attempted to do the same with files with no success. Of course I could use formatted input/output, but that is... discouraged.

    FILE* fp;
    _wfopen_s (&fp, L"utf-8_out_test.txt", L"w");
    _setmode (_fileno (fp), _O_U8TEXT);
    _fwprintf_p (fp, L"AaĄą\nfl");
    fclose (fp);
    _wfopen_s (&fp, L"utf-8_in_test.txt", L"r");
    _setmode (_fileno (fp), _O_U8TEXT);
    wchar_t text[256];
    fseek (fp, NULL, SEEK_SET);
    fwscanf (fp, L"%s", text);
    wcout << text << endl;
    fwscanf (fp, L"%s", text);
    wcout << text << endl;
    fclose (fp);

This snippet works perfectly (although I am not sure how it handles malformed chars). So, is there any way to:

• 从 std::basic_*fstream 获取 FILE* 或整数文件句柄？
• 模拟_setmode()就可以了？
• 扩展 std::basic_*fstream 以便它可以处理 UTF-8 I/O？

是的，我正在大学学习，这与我的作业有些关系，但我正在努力自己解决这个问题。它不会影响我的成绩或类似的事情。

Answer 1

好吧，经过一些测试，我发现 FILE 被 _iobuf 接受（在 w*fstream 构造函数中）。所以，下面的代码可以满足我的需要。

#include <iostream>
#include <fstream>
#include <io.h>
#include <fcntl.h>
//For writing
    FILE* fp;
    _wfopen_s (&fp, L"utf-8_out_test.txt", L"w");
    _setmode (_fileno (fp), _O_U8TEXT);
    wofstream fs (fp);
    fs << L"ąfl";
    fclose (fp);
//And reading
    FILE* fp;
    _wfopen_s (&fp, L"utf-8_in_test.txt", L"r");
    _setmode (_fileno (fp), _O_U8TEXT);
    wifstream fs (fp);
    wchar_t array[6];
    fs.getline (array, 5);
    wcout << array << endl;//For debug
    fclose (fp);

This sample reads and writes legit UTF-8 files (without BOM) in Windows compiled with Visual Studio 2k8.

有人可以对可移植性发表评论吗？改进？

Answer 2

最简单的方法是在尝试输出之前自行转换为 UTF-8。您可能会从这个问题中得到一些启发： UTF8 到/从宽字符转换在STL中

Answer 3

从 std::basic_*fstream 获取 FILE* 或整数文件句柄？

在别处回答。

Answer 4

您无法使 STL 直接使用 UTF-8。根本原因是STL间接禁止多字符字符。每个字符必须是一个 char/wchar_t。

事实上，微软的 UTF-16 编码打破了标准，所以也许你可以从中得到一些灵感。

Answer 5

使用 std::codecvt_facet 模板执行转换。

您可以使用标准 std::codecvt_byname 或非标准codecvt_facet 实现。

#include <locale>
using namespace std;
typedef codecvt_facet<wchar_t, char, mbstate_t> Cvt;
locale utf8locale(locale(), new codecvt_byname<wchar_t, char, mbstate_t> ("en_US.UTF-8"));
wcout.pubimbue(utf8locale);
wcout << L"Hello, wide to multybyte world!" << endl;

请注意，在某些平台上，codecvt_byname 只能针对系统中安装的区域设置发出转换。