C: 转换特殊 ASCII 字符 ÄÖÜ

Question

我正在使用 Curl 朗读网站上的文本。所有原始数据都按字符返回，

return memEof(mp) ? EOF : (int)(*(unsigned char *)(mp->readptr++));

我的问题是，所有特殊字符（例如 äÖÜäöüß 等）都是错误的，并且看起来非常神秘。我目前正在通过使用此表调整其值来手动更正它们：

http://www.barcoderesource.com/ Barcodeasciicharacters.shtml

我现在想知道是否有一种更优雅的方法来做到这一点以及其他人如何处理此类问题。

Answer 1

这是一个编码问题。如果您逐字节读取数据，则可以正确且轻松地处理单字节编码（例如 ISO-8859“系列”等），前提是您有一种方法可以将它们正确转换为目标编码（如果需要）。但是对于像 UTF-8 这样的编码，你就不那么幸运了，因为要获得正确的代码，你需要读取 1 个字节，或者可能是 2 个，或者可能是 3 个字节......如果你将它们流式传输到一个字符串中，然后完全打印该字符串，并且输出设备的预期编码与输入编码相同，无论如何您都会得到正确的字符显示。

如果这种情况没有发生，并且您没有将每个字节当作一个符号来打印，那么输出设备的预期编码与写入字符串的编码不匹配。

如果输出，一旦你打印字符串“altogether”看起来没问题，那么问题是你将每个字节解释为单个字符，而事实并非如此（你对 char 有一个多字节编码，就像你提到的特殊编码一样；可能它是 UTF-8 但也可能不是）。

如果在两种情况下得到相同的结果（当您逐一打印每个字节时以及当您输出保留整个字节序列的字符串时），则输出设备的预期编码是与输入编码类似的单字节编码，但它们确实如此不匹配。

进一步的细节需要知道如何收集所读取的字节以便打印它们并说它们看起来很神秘。

一个例子。

const char *string = "\xc3\xa8\xc3\xb2\xc3\xa0";
int i;
for(i = 0; string[i] != 0; i++)
{
   printf("%c\n", string[i]);
   // using \n is important; if you "sequence" the chars and the output enc is
   // utf-8, you obtain the right output
}
printf("%s", string);

如果输出设备编码为 UTF-8，则会得到不同的结果；如果它是单字节编码，您将获得相同的输出（换行符除外），但相对于我所写的内容来说，它是“错误的”，即 èòà。

“相同”文本在 Latin1 中为“\xe8\xf2\xe0”。 Latin1是单字节编码，所以上面的言论适用。如果在理解 utf-8 的终端上打印，您可以获得类似 �� 的内容...

因此，编码很重要，设备/格式输出编码也很重要，并且您必须了解两者才能正确处理和显示文本。 （关于格式，一个例子可以是html，您可以在其中指定内容的编码......您必须保持一致，然后您会看到一切都很好）

Answer 2

我想你必须使用像 iconv 这样的外部库来创建 wchar_t 包含数据的字符串。这取决于所使用的字符编码。