使用 unicode.org 代码或 C++ C++17 UTF8 std::string 到 std::wstring UTF32标准功能？

Question

在稳定且经过测试的系统中寻找经典 UTF8 到 UTF32 的可行解决方案。

的源代码

现在我有了 Unicode.org 的C 代码 ： https://android.googlesource.com/平台/external/id3lib/+/master/unicode.org/ConvertUTF.c https://android.googlesource.com/平台/external/id3lib/+/master/unicode.org/ConvertUTF.h 执照： https://android.googlesource.com/ platform/external/id3lib/+/master/unicode.org/readme.txt

使用以下 C++ 来连接上面的 C 库代码：

 std::wstring Utf8_To_wstring(const std::string& utf8string)
    {
        if (utf8string.length()==0)
        {
            return std::wstring();
        }
        size_t widesize = utf8string.length();
        if (sizeof(wchar_t) == 2)
        {
            std::wstring resultstring;
            resultstring.resize(widesize, L'\0');
            const UTF8* sourcestart = reinterpret_cast<const UTF8*>(utf8string.c_str());
            const UTF8* sourceend = sourcestart + widesize;
            UTF16* targetstart = reinterpret_cast<UTF16*>(&resultstring[0]);
            UTF16* targetend = targetstart + widesize;
            ConversionResult res = ConvertUTF8toUTF16(&sourcestart, sourceend, &targetstart, targetend, strictConversion);
            if (res != conversionOK)
            {
                return std::wstring(utf8string.begin(), utf8string.end());
            }
            *targetstart = 0;
            return std::wstring(resultstring.c_str());
        }
        else if (sizeof(wchar_t) == 4)
        {
            std::wstring resultstring;
            resultstring.resize(widesize, L'\0');
            const UTF8* sourcestart = reinterpret_cast<const UTF8*>(utf8string.c_str());
            const UTF8* sourceend = sourcestart + widesize;
            UTF32* targetstart = reinterpret_cast<UTF32*>(&resultstring[0]);
            UTF32* targetend = targetstart + widesize;
            ConversionResult res = ConvertUTF8toUTF32(&sourcestart, sourceend, &targetstart, targetend, lenientConversion);
            if (res != conversionOK)
            {
                return std::wstring(utf8string.begin(), utf8string.end());
            }
            *targetstart = 0;
            if(!resultstring.empty() && resultstring.size() > 0) {
                std::wstring result = std::wstring(resultstring.c_str());
                return result;
            } else {
                return std::wstring();
            }
        }
        else
        {
            assert(false);
            return L"";
        }
        return L"";
    }

现在此代码最初可以工作，但由于上述的一些问题，很快就会崩溃接口代码。此接口代码改编自 GitHub 上的一个生产项目的开源代码...

但是，转换中会导致一些字符串崩溃，所以我猜这段代码中存在溢出

是否有人有一个简单的 C 语言的良好替换或示例代码++11/C++17 将 std::string 转换为 std::wstring 以获取编码的 UTF32 unicode 值的解决方案

Answer 1

我有一个使用 C++17 Locale 的 UTF8 到 UTF16 的工作解决方案：

这似乎可以帮我转换到正确的 Unicode 级别，以便能够将字符代码提取为 int 以正确加载字形代码

#include <locale>
#include <codecvt>
#include <string>

std::wstring Utf8_To_wstring(const std::string& utf8string)
{
    wstring_convert<codecvt_utf8_utf16<wchar_t>> converter;
    wstring utf16;
    try {
        utf16 = converter.from_bytes(utf8string);
    }
    catch(range_error e)
    {
        // log / handle exp      
    }
    return utf16;
}