getline 和“奇怪的字符”的问题

Question

我有一个奇怪的问题， 我使用

wifstream a("a.txt");
wstring line;
while (a.good()) //!a.eof()  not helping
{
     getline (a,line);
      //...
     wcout<<line<<endl;

}

它，对于像这样的txt文件来说效果很好 http://www.speedyshare.com/files/29833132/a.txt （抱歉，这个链接只有 80 个字节，所以如果换行符上的 ic/p 丢失的话，获取它应该不是问题） 但是当我添加例如水时（来自 http://en.wikipedia. org/wiki/UTF-16/UCS-2#Examples ）到加载停止的任何行。我的错误印象是 getline 将 wstring 作为一个输入，将 wifstream 作为其他输入可以咀嚼任何 txt 输入...... 有没有办法读取文件中的每一行，即使它包含时髦的字符？

Answer 1

不太令人满意的答案是，您需要为输入流注入能够理解所讨论的特定字符编码的语言环境。如果您不知道选择哪个区域设置，可以使用空区域设置。

例如（未经测试）：

std::wifstream a("a.txt");
std::locale loc("");
a.imbue(loc);

不幸的是，没有标准方法来确定给定平台可用的区域设置，更不用说根据字符编码选择一个区域设置了。

上面的代码将区域设置的选择权交给了用户，如果他们将其设置为合理的值（例如 en_AU.UTF-8），那么它可能就可以正常工作。

如果做不到这一点，您可能需要求助于第三方库，例如 iconv 或 ICU。

也与此博客条目相关（为自己道歉-晋升）。

Answer 2

问题在于您对全局函数 getline (a,line) 的调用。这需要一个std::string。使用 std::wistream::getline 方法而不是 getline 函数。

Answer 3

C++ fstreams 将 I/O 委托给它们的 filebufs。 filebuf 始终从磁盘读取“原始字节”，然后使用流语言环境的 codecvt 方面将这些原始字节转换为其“内部编码”。

wfstream 是 basic_fstream，因此具有使用区域设置的 codecvt的 basic_filebuf。将从磁盘读取的字节转换为wchar_t。如果您读取 UCS-2 编码文件，则必须使用“知道”外部编码是 UCS-2 的 codecvt 来执行转换。因此，您需要一个具有此类 codecvt 的语言环境（例如，请参阅这个问题

）默认情况下，流的区域设置是流构造时的全局区域设置。要使用特定区域设置，应该在流上使用 imbue()-d。