wstring.size() 在 xcode 或 Visual C++ 中的工作方式不同

Question

我运行了相同的代码来确定宽字符字符串中的字符数。测试的字符串有ascii、数字和韩语。

#include <iostream>

using namespace std;

template <class T,class trait>
void DumpCharacters(T& a)
{
    size_t length = a.size();
    for(size_t i=0;i<length;i++)
    {
        trait n = a[i];
        cout<<i<<" => "<<n<<endl;
    }

    cout<<endl;
}

int main(int argc, char* argv[])
{
    wstring u = L"123abc가1나1다";
    wcout<<u<<endl;
    DumpCharacters<wstring,wchar_t>(u);

    string s = "123abc가1나1다";
    cout<<s<<endl;
    DumpCharacters<string,char>(s);

    return 0;
}

显而易见的是，Visual C++ 2010 中的 wstring.size() 返回字母的数量（11 个字符），无论它是 ascii 还是国际字符。但是，它在 Mac OS X 的 XCode 4.2 中返回字符串数据的字节数（17 个字节）。

请回复我如何获取宽字符字符串的字符长度，而不是 xcode 中的字节数。

--- 2 月 12 日添加 --

我发现 wcslen() 在 xcode 中也返回 17。在 vc++ 中它返回 11。 这是经过测试的代码：

const wchar_t *p = L"123abc가1나1다";
size_t plen = wcslen(p);

--- 2 月 18 日添加 --

我发现 llvm 3.0 导致长度错误。将编译器前端从 llvm3.0 更改为 4.2

wcslen( ）在 Xcode 和 VC++ 中的工作方式不同 详细说明。

Answer 1

如果 std::wstring 版本使用 17 个字符，则会出现错误：它应该只使用 11 个字符。使用 gcc 和 clang 的最新 SVN 头，它使用 11 个字符作为 std::wstring 和 17 个字符作为 std::string。我想这就是我们所期望的。

请注意，标准 C++ 库内部对“字符”的概念与多字编码时的预期不同（例如，char 类型的字为 UTF-8，而 UTF-16对于 16 位的字）使用。这是描述字符串的章节的第一段（21.1 [strings.general]）：

本条款描述了用于操作任何非数组 POD (3.9) 类型序列的组件。在本子句中，此类类型称为类 char 类型，类 char 类型的对象称为类 char 对象或简称为字符。

这基本上意味着，在使用 Unicode 时，各种函数不会关注代码点的构成，而是将字符串作为单词序列进行处理。这是严重的影响，并且会发生什么，例如在生成子字符串时，因为这些子字符串可能很容易将多字节字符分开。目前，标准 C++ 库不支持在内部处理多字节编码，因为它假定在读取数据时完成从编码到字符的转换（相应地，在写入数据时以另一种方式完成）。如果您在内部处理多字节编码字符串，则需要注意这一点，因为根本不支持。

人们认识到这种状况实际上是一个问题。对于 C++2011，添加了字符类型 char32_t，它对 Unicode 字符的支持应该比 wchar_t 更好（因为 Unicode 使用 20 位，而 wchar_t 是允许仅支持 16 位，这是在 Unicode 承诺最多使用 16 位时在某些平台上做出的选择）。但是，这仍然无法处理组合字符。 C++ 委员会认识到这是一个问题，并且在标准 C++ 库中进行适当的字符处理将是一件好事，但到目前为止，没有人提出一个全面的提案来解决这个问题（如果您觉得您想要）提出类似的建议，但您不知道如何提出，请随时与我联系，我将帮助您如何提交提案）。

Answer 2

XCode 4.2 显然在初始化 string 时使用 UTF-8（或非常类似的东西）作为窄多字节编码来表示程序源代码中的字符串文字 "123abcі1나1다"。该字符串的 UTF-8 表示形式恰好有 17 个字节长。

宽字符表示（存储在 u 中）是 11 个宽字符。有很多方法可以将窄编码转换为宽编码。试试这个：

#include <iostream>
#include <clocale>
#include <cstdlib>

int main()
{
    std::wstring u = L"123abc가1나1다";
    std::cout << "Wide string containts " << u.size() << " characters\n";

    std::string s = "123abc가1나1다";
    std::cout << "Narrow string contains " << s.size() << " bytes\n";

    std::setlocale(LC_ALL, "");
    std::cout << "Which can be converted to "
              << std::mbstowcs(NULL, s.c_str(), s.size())
              << " wide characters in the current locale,\n";
}

Answer 3

使用 .length() 而不是 .size() 来获取字符串长度。

Answer 4

std::string 和 std::wstring 是在 char 和 wchar_t 上模板化的 std::basic_string 的类型定义。 size() 成员函数返回字符串中元素的数量 - char 或 wchar_t 的数量。 "" 和 L"" 不处理编码。