使用 \d 扫描字符串中的 Unicode 数字

Question

根据 Oniguruma 文档，\d 字符类型匹配：

十进制数字字符
Unicode：General_Category -- Decimal_Number

但是，在包含所有 Decimal_Number 字符的字符串中扫描 \d 会导致仅匹配拉丁 0-9 数字：

#encoding: utf-8
require 'open-uri'
html = open("http://www.fileformat.info/info/unicode/category/Nd/list.htm").read
digits = html.scan(/U\+([\da-f]{4})/i).flatten.map{ |s| s.to_i(16) }.pack('U*')

puts digits.encoding, digits
#=> UTF-8
#=> 0123456789٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹߀߁߂߃߄߅߆߇߈߉०१२३४५६७८९০১২৩৪৫৬৭৮৯੦੧੨…

p RUBY_DESCRIPTION, digits.scan(/\d/)
#=> "ruby 1.9.2p180 (2011-02-18) [i386-mingw32]"
#=> ["0", "1", "2", "3", "4", "5", "6", "7", "8", "9"]

我是否误读了文档？为什么 \d 不匹配其他 Unicode 数字，和/或有没有办法让它这样做？

Answer 1

Brian Candler 在 ruby​​-talk 上指出：

• \w 仅匹配 ASCII 字母和数字，而 [[:alpha:]] 匹配全套 Unicode 字母。
• \d 仅匹配 ASCII 数字，而 [[:digit:]] 匹配全套 Unicode 数字。

因此，行为是“一致的”，我们有一个针对 Unicode 数字的简单解决方法。阅读 同一个 Oniguruma 文档\w a> 我们看到文本：

\w  word character  
    Not Unicode: alphanumeric, "_" and multibyte char.  
    Unicode: General_Category -- (Letter|Mark|Number|Connector_Punctuation)

根据 Ruby 的真实行为和上面的“Not Unicode”文本，文档似乎描述了两种模式——Unicode 模式和 Not Unicode 模式——并且 Ruby 运行在不统一码模式。

这可以解释为什么 \d 与完整的 Unicode 集不匹配：尽管 Oniguruma 文档未能准确描述在非 Unicode 模式下匹配的内容，但我们现在知道记录为“Unicode”的行为是不出所料。

p "abç".scan(/\w/), "abç".scan(/[[:alpha:]]/)
#=> ["a", "b"]
#=> ["a", "b", "\u00E7"]

留给读者的练习是发现如何（如果有的话）在 Ruby 正则表达式中启用 Unicode 模式，如 /u 标志（例如 /\w/u) 不这样做。 （也许 Ruby 必须使用 Oniguruma 的特殊标志重新编译。）

更新：看来我链接到的 Oniguruma 文档对于 Ruby 1.9 来说并不准确。请参阅此票证讨论，包括以下帖子：

[Yui NARUSE]“RE.txt 适用于原始 Oniguruma，不适用于 Ruby 1.9 的正则表达式。我们可能需要自己的文档。”
[Matz]“我们的 Oniguruma 是分叉的。在 geocities.jp 中发现的原始 Oniguruma 尚未更改。”

更好的参考：这是有关 Ruby 1.9 正则表达式语法的官方文档：
https://github.com/ruby/ruby/blob/trunk/doc /re.rdoc

Answer 2

请尝试使用 Unicode 字符类 \p{N}。匹配所有 Unicode 数字。不知道为什么 \d 不起作用。

Answer 3

默认情况下，\d 仅匹配 ASCII 数字。您可以使用（违反直觉的）(?u) 语法在正则表达式中手动打开 Unicode 匹配：

"