检测 C/C++ 中字符串的编码
给定一个指向字节数组（字符）的指针形式的字符串，如何检测 C/C++ 中字符串的编码（我使用了 Visual Studio 2008）？我进行了搜索，但大多数示例都是用 C# 完成的。
谢谢
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
给定一个指向字节数组（字符）的指针形式的字符串，如何检测 C/C++ 中字符串的编码（我使用了 Visual Studio 2008）？我进行了搜索，但大多数示例都是用 C# 完成的。
谢谢
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论（3）
假设您知道输入数组的长度，您可以进行以下猜测：
0x80到0xff，那么它肯定不是 ASCII 或 UTF-7。如果您将输入限制为某种 Unicode 变体，则可以假设它是 UTF-8。否则，您必须进行一些猜测来确定它是哪个多字节字符集。那不会很有趣。Assuming you know the length of the input array, you can make the following guesses:
0x80to0xff, it's certainly not ASCII or UTF-7. If you are restricting your input to some variant of Unicode, you can assume it's UTF-8. Otherwise, you have to do some guessing to determine which multi-byte character set it is. That will not be fun.这不是一个容易解决的问题，并且通常依靠启发式方法来对输入编码进行最佳猜测，这可能会被相对无害的输入所绊倒 - 例如，看看 这篇维基百科文章 和 编码 Redux 的记事本文件了解更多详细信息。
如果您正在寻找具有最小依赖性的仅限 Windows 的解决方案，您可以考虑使用 IsTextUnicode 和 MLang 的 DetectInputCodePage 尝试字符集检测。
如果您正在寻找可移植性，但不介意以 ICU 的形式承担相当大的依赖性，那么您可以利用它的 字符集检测例程以可移植的方式实现相同的功能。
It's not an easy problem to solve, and generally relies on heuristics to take a best guess at what the input encoding is, which can be tripped up by relatively innocuous inputs - for example, take a look at this Wikipedia article and The Notepad file encoding Redux for more details.
If you're looking for a Windows-only solution with minimal dependencies, you can look at using a combination of IsTextUnicode and MLang's DetectInputCodePage to attempt character set detection.
If you are looking for portability, but don't mind taking on a fairly large dependency in the form of ICU then you can make use of it's character set detection routines to achieve the same thing in a portable manner.
我编写了一个小型 C++ 库来检测文本文件编码。它使用 Qt，但仅使用标准库就可以轻松实现。
它通过测量符号出现统计并将其与不同编码和语言中预先计算的参考值进行比较来进行操作。因此，它不仅检测编码，还检测文本的语言。缺点是必须为目标语言提供预先计算的统计数据才能正确检测该语言。
I have written a small C++ library for detecting text file encoding. It uses Qt, but it can be just as easily implemented using just the standard library.
It operates by measuring symbol occurrence statistics and comparing it to pre-computed reference values in different encodings and languages. As a result, it not only detects encoding but also the language of the text. The downside is that pre-computed statistics must be provided for the target language to detect this language properly.
https://github.com/VioletGiraffe/text-encoding-detector