我可以从哪里开始使用 C 进行 Unicode 友好的编程？

Question

因此，我正在开发一个 plain-C (ANSI 9899:1999) 项目，并试图找出从哪里开始：Unicode、UTF-8 和所有这些爵士乐。

具体来说，这是一个语言解释器项目，我有两个主要位置需要处理 Unicode：读取源文件（该语言表面上支持 Unicode 标识符等）和“字符串”对象。

我熟悉有关 Unicode、UTF-7/8/16/32 和 UTF-7 的所有明显基础知识。 UCS-2/4，依此类推……我主要是在寻找有用的、特定于 C 的资源（也就是说，请不要使用 C++ 或 C#，这是之前在此处记录的所有内容）资源作为我的“下一个”步骤'来实现 Unicode 友好的东西......在 C 中。

任何链接、手册页、维基百科文章、示例代码都非常受欢迎。我还将尝试在原始问题中保留此类资源的列表，供以后遇到该问题的任何人使用。

---

• 如果您不熟悉 Unicode 以及编码的实际含义，在考虑其他内容之前必须阅读：http://www.joelonsoftware.com/articles/Unicode.html
• UTF-8 主页：http://www.utf-8.com/
• man 3 iconv （以及 iconv_open 和 iconvctl)
• Unicode 国际组件 (通过杰夫·里迪）
• libbasekit，其中似乎包含轻型 Unicode 处理工具
• Glib 有一些 Unicode 函数
• 基本的 UTF-8 检测器 函数，作者：Christoph

Answer 1

Unicode 国际组件 提供了一个用于处理 unicode 的可移植 C 库。以下是他们对 ICU4C 的电梯宣传：

C 和 C++ 语言以及许多操作系统环境不提供对 Unicode 和符合标准的文本处理服务的完全支持。尽管某些平台确实提供了良好的 Unicode 文本处理服务，但可移植应用程序代码无法使用它们。 ICU4C 库填补了这一空白。 ICU4C 为应用程序提供了开放、灵活、可移植的基础，以满足其软件全球化要求。 ICU4C 密切跟踪行业标准，包括 Unicode 和 CLDR（通用区域设置数据存储库）。

Answer 2

GLib 有一些 Unicode 函数，是一个非常轻量级的库。它与 ICU 提供的功能水平不相近，但对于某些应用程序来说可能已经足够了。 GLib 的其他功能对于可移植 C 程序也很有用。

GTK+ 构建在 GLib 之上。 GLib 提供了应用程序中通常重复的基本算法语言结构。该库具有以下功能（此列表不是完整列表）：

• 对象和类型系统
• 主循环
• 动态加载模块（即插件）
• 线程支持
• 计时器支持
• 内存分配器
• 线程队列（同步和异步）
• 列表（单链、双链、双端）
• 哈希表
• 数组
• 树（N 元和二元平衡）
• 字符串实用程序和字符集处理
• 词法扫描器和 XML 解析器
• Base64（编码和解码）

Answer 3

我认为有趣的问题之一是 - 字符串的规范内部格式应该是什么？两个明显的选择（至少对我来说）是

a) 普通 C 字符串中的 utf8
b) 无符号短数组中的 utf16

在之前的项目中我一直选择 utf-8。为什么 ;因为这是 C 世界中阻力最小的路径。您所连接的所有内容（stdio、string.h 等）都会正常工作。

接下来是 - 什么文件格式。这里的问题是它对您的用户可见（除非您为您的语言提供唯一的编辑器）。在这里我想你必须接受他们给你的东西并尝试通过偷看来猜测（字节顺序标记有帮助）