使用Lex/Yacc识别汉字标识符

Question

如何使用Lex/Yacc识别中文字符标识符？

Answer 1

我认为你的意思是 Lex（词法分析器生成器）。 Yacc 是解析器生成器。

根据 Unicode 中汉字的完整范围是多少？，大多数 CJH 字符都属于 3400-9FFF范围。

根据 http://dinosaur.compilertools.net/lex/index.html

任意字符。几乎匹配
任意字符、运算符字符
。是所有字符的类
除了换行符。转义为八进制是
尽管不可移植，但可能：

<前><代码> [\40-\176]

匹配所有可打印字符
ASCII 字符集，从八进制 40 开始
（空白）转换为八进制 176（波形符）。

所以我假设你需要的是类似 [\32000-\117777] 的东西。

Answer 2

Yacc 不关心中文字符，但 lex 关心中文字符：它负责分析输入字节（和字符）以识别标记。然而，汉字一般都是多字节的。有些程序如 lex 可能支持此功能，但它们不是lex。已经讨论过好几次了。

进一步阅读：

• 向 Lex 添加 utf-8 编码

标准词法分词器 lex （或 flex）不接受多字节字符，因此对于许多现代语言来说是不切实际的。本文档描述了从描述 UTF-8 多字节字符的正则表达式到单字节正则表达式的映射。

• Flex(lexer) 对 unicode 的支持 (2012/3/8)

  答案指出如何通过使用 UTF-8 模式的特殊情况来解决该限制。

• Flex 中的 Unicode 支持 (2009/ 4/26)

  与之前的基本相同（但在之前，以及这些评论的可能来源）

• 如何在 C 中 lex unicode 字符？

  答案列出了一些可能可以实现此处询问的替代实现。