将 Unicode UTF-8 文件读入 wstring

Question

如何在 Windows 平台上将 Unicode (UTF-8) 文件读取到 wstring(s) 中？

Answer 1

借助 C++11 支持，您可以使用 std::codecvt_utf8 facet ，它封装了之间的转换UTF-8 编码的字节字符串和 UCS2 或 UCS4 字符串和可用于读取和写入 UTF-8 文件（文本和二进制）。

为了使用 您通常创建的方面 语言环境对象 将特定于文化的信息封装为一组共同定义特定本地化环境的方面。一旦拥有语言环境对象，您就可以imbue 你的流缓冲区：

#include <sstream>
#include <fstream>
#include <codecvt>

std::wstring readFile(const char* filename)
{
    std::wifstream wif(filename);
    wif.imbue(std::locale(std::locale::empty(), new std::codecvt_utf8<wchar_t>));
    std::wstringstream wss;
    wss << wif.rdbuf();
    return wss.str();
}

可以这样使用：

std::wstring wstr = readFile("a.txt");

或者你可以设置 全局 C++ 语言环境 在使用字符串流之前，会导致所有将来的调用 std::locale< /code> 默认构造函数返回全局 C++ 语言环境的副本（那么您不需要显式地使用它来注入流缓冲区）：

std::locale::global(std::locale(std::locale::empty(), new std::codecvt_utf8<wchar_t>));

Answer 2

根据 @Hans Passant 的评论，最简单的方法是使用 _wfopen_s。使用模式 rt, ccs=UTF-8 打开文件。

这是另一个至少适用于 VC++ 2010 的纯 C++ 解决方案：

#include <locale>
#include <codecvt>
#include <string>
#include <fstream>
#include <cstdlib>

int main() {
    const std::locale empty_locale = std::locale::empty();
    typedef std::codecvt_utf8<wchar_t> converter_type;
    const converter_type* converter = new converter_type;
    const std::locale utf8_locale = std::locale(empty_locale, converter);
    std::wifstream stream(L"test.txt");
    stream.imbue(utf8_locale);
    std::wstring line;
    std::getline(stream, line);
    std::system("pause");
}

除了 locale::empty() （这里 locale::global() 也可能有效）和basic_ifstream 构造函数的 wchar_t* 重载，这甚至应该非常符合标准（当然，其中“标准”意味着 C++0x）。

Answer 3

以下是仅适用于 Windows 的特定于平台的函数：

size_t GetSizeOfFile(const std::wstring& path)
{
    struct _stat fileinfo;
    _wstat(path.c_str(), &fileinfo);
    return fileinfo.st_size;
}

std::wstring LoadUtf8FileToString(const std::wstring& filename)
{
    std::wstring buffer;            // stores file contents
    FILE* f = _wfopen(filename.c_str(), L"rtS, ccs=UTF-8");

    // Failed to open file
    if (f == NULL)
    {
        // ...handle some error...
        return buffer;
    }

    size_t filesize = GetSizeOfFile(filename);

    // Read entire file contents in to memory
    if (filesize > 0)
    {
        buffer.resize(filesize);
        size_t wchars_read = fread(&(buffer.front()), sizeof(wchar_t), filesize, f);
        buffer.resize(wchars_read);
        buffer.shrink_to_fit();
    }

    fclose(f);

    return buffer;
}

像这样使用：

std::wstring mytext = LoadUtf8FileToString(L"C:\\MyUtf8File.txt");

请注意，整个文件已加载到内存中，因此您可能不想将其用于非常大的文件。

Answer 4

#include <iostream>
#include <fstream>
#include <string>
#include <locale>
#include <cstdlib>

int main()
{
    std::wifstream wif("filename.txt");
    wif.imbue(std::locale("zh_CN.UTF-8"));

    std::wcout.imbue(std::locale("zh_CN.UTF-8"));
    std::wcout << wif.rdbuf();
}

Answer 5

最近处理所有的编码，都是这样解决的。最好使用 std::u32string ，因为它在所有平台上都有稳定的大小，并且大多数字体都支持 utf-32 格式。 （文件仍应为utf-8）

std::u32string readFile(std::string filename) {
    std::basic_ifstream<char32_t> fin(filename);
    std::u32string str{};
    std::getline(fin, str, U'\0');
    return str;
}

随意使用除gcount之外的标准函数，并将tellg的结果保存到pos_type仅有的。另外，请务必将分隔符传递给 std::getline （如果不这样做，该函数会给出异常 std::bad_cast）

Answer 6

这个问题已在 对 C++ 的 std::wstring、UTF-16、UTF-8 以及在 Windows GUI 中显示字符串感到困惑。总之，wstring 基于 UCS-2 标准，该标准是 UTF-16 的前身。这是严格的两字节标准。我相信这涵盖了阿拉伯语。

Answer 7

这有点原始，但是如何将文件读取为普通旧字节，然后将字节缓冲区转换为 wchar_t* ？

像这样的东西：

#include <iostream>
#include <fstream>
std::wstring ReadFileIntoWstring(const std::wstring& filepath)
{
    std::wstring wstr;
    std::ifstream file (filepath.c_str(), std::ios::in|std::ios::binary|std::ios::ate);
    size_t size = (size_t)file.tellg();
    file.seekg (0, std::ios::beg);
    char* buffer = new char [size];
    file.read (buffer, size);
    wstr = (wchar_t*)buffer;
    file.close();
    delete[] buffer;
    return wstr;
}