匹配 ply 正则表达式中的 unicode

Question

我正在匹配标识符，但现在遇到一个问题：我的标识符允许包含 unicode 字符。 因此，旧的做事方式是不够的：

t_IDENTIFIER = r"[A-Za-z](\\.|[A-Za-z_0-9])*"

在 我的标记语言 解析器中，我匹配 unicode通过允许除我明确使用的字符之外的所有字符，因为我的标记语言只有两个或三个我需要以这种方式转义的字符。

如何将所有 unicode 字符与 python 正则表达式和 ply 匹配？ 这也是个好主意吗？

我想让人们在程序中使用像 Ω » « ° foo² väli π 这样的标识符作为标识符（变量名等）。 哎呀！ 我希望人们能够用自己的语言编写程序（如果可行的话）！ 不管怎样，现在unicode在很多地方都得到了支持，它应该得到传播。

编辑：Python 正则表达式似乎无法识别 POSIX 字符类。

>>> import re
>>> item = re.compile(r'[[:word:]]')
>>> print item.match('e')
None

编辑：为了更好地解释我需要什么。 我需要一个 regex - 匹配所有 unicode 可打印字符但根本不匹配 ASCII 字符。

编辑： r"\w" 做了一些我想要的事情，但它与 « » 不匹配，而且我还需要一个与数字不匹配的正则表达式。

Answer 1

re 模块支持 \w 语法，其中：

如果设置了 UNICODE，这将匹配
字符 [0-9_] 加上任意内容
分类为字母数字
Unicode 字符属性数据库。

因此，以下示例显示如何匹配 unicode 标识符：

>>> import re
>>> m = re.compile('(?u)[^\W0-9]\w*')
>>> m.match('a')
<_sre.SRE_Match object at 0xb7d75410>
>>> m.match('9')
>>> m.match('ab')
<_sre.SRE_Match object at 0xb7c258e0>
>>> m.match('a9')
<_sre.SRE_Match object at 0xb7d75410>
>>> m.match('unicöde')
<_sre.SRE_Match object at 0xb7c258e0>
>>> m.match('ödipus')
<_sre.SRE_Match object at 0xb7d75410>

因此您要查找的表达式是： (?u)[^\W0-9]\w*

Answer 2

您需要在 lex.lex 中传递参数重新标记：

lex.lex(reflags=re.UNICODE)

Answer 3

检查此问题的答案

从字符串中剥离不可打印的字符python

你只需要使用其他 unicode 字符类别即可

Answer 4

在 Vinko 的帮助下解决了这个问题。

我意识到获取 unicode 范围是愚蠢的。 所以我会这样做：

symbols = re.escape(''.join([chr(i) for i in xrange(33, 127) if not chr(i).isalnum()]))
symnums = re.escape(''.join([chr(i) for i in xrange(33, 127) if not chr(i).isalnum()]))

t_IDENTIFIER = "[^%s](\\.|[^%s])*" % (symnums, symbols)

我不知道 unicode 字符类。 如果这个 unicode 的东西开始变得太复杂，我可以把原来的东西放在适当的位置。 UTF-8 支持仍然确保在 STRING 令牌处启用支持，这一点更为重要。

编辑：另一方面，我开始理解为什么编程语言中没有太多的 unicode 支持。这是一个丑陋的黑客，不是一个令人满意的解决方案。

Answer 5

也许POSIX 字符类适合您？