如何用 ASCII 正则表达式模式表示 Unicode 字符？

Question

正则表达式风格：C++ 中的 wxRegEx。

我需要匹配的字符串之一包含“…”（U+2026，水平省略号）等字符，粘贴到 Emacs 时会转换为 \205 和“” >»'（U+00BB，右向双角引号）粘贴到 Emacs（ASCII 源代码模式）时仍保留 »。

在正则表达式模式本身中，我尝试将 '...' 表示为 \205 和 \\205 但无济于事。

解决这个问题的正确方法是什么？

更新：wxRegEx文档指出，要表示Unicode字符，您可以使用\uwxyz（其中wxyz恰好是四个十六进制数字）Unicode字符U+wxyz本地字节排序中的strong>。

我尝试过，但由于某种原因它对我不起作用（还）。

Answer 1

这取决于语言。在许多语言中，不需要转义非 ASCII，但您可能必须告诉编译器源代码采用的编码方式。例如：

$ java -encoding UTF-8 SomeThing.java

或

$ perl -Mutf8 somescript

虽然对于 Perl、Python 和 Ruby 等语言，您可以将声明放在文件内，前提是它与 ASCII 向上兼容。例如：

#!/usr/bin/perl

use utf8;
use strict;
use warnings;
use autodie;

my $s = "Où se trouve mon élève?";

if ($s =~ /élève/) { ... }

# although of course this also works fine:

while ($s =~ /\b(\w+)\b/g) {
     print "Found <$1>\n";  
}

这是最简单的方法，我强烈推荐它：只需将真正的 UTF-8 字符放入源代码中即可。如果你必须想办法逃避事情，那么，这就不太方便了。

如果您要使用转义符，那么如何以符号方式指定非 ASCII 也会因语言而异。在 Java 中，您可以通过 \uXXXX 使用 asquerous Java 预处理器：

String s = "e\u0301le\u0300ve";

尽管我不推荐这种方式。如果要在某种模式中使用它，您可以延迟插值，这同时更干净和更混乱：

String s = "e\\u0301le\\u0300ve";

第二种机制使您无需在 Java 预处理器按照自己的方式处理后试图弄清楚它是什么（您不能使用 \u0022 但可以使用 \\0022），但它会搞砸你的 Pattern.CANON_EQ 标志。

大多数其他语言都有比 Java 更直接的方法 - Java 也坚持使用难看的 UTF-16，除非您使用 java -encoding UTF-8 作为源代码。对 UTF-16 代理进行硬编码绝对是愚蠢的。不要这样做！

在 Perl 中，您可以使用：

my $s = "e\x{301}le\x{300}ve";  # NFD form
my $s = "\xE9l\xE8ve";          # NFC form

但您也可以象征性地命名它们

use charnames qw< :full >;
my $s_as_NFD = "e\N{COMBINING ACUTE ACCENT}le\N{COMBINING GRAVE ACCENT}e";
my $s_as_NFC = "\N{LATIN SMALL LETTER E WITH ACUTE}l\N{LATIN SMALL LETTER E WITH GRAVE}ve";

如果您愿意，最后一个可以变得更短：

use charnames qw< :full latin >;
my $s_as_NFC = "\N{e WITH ACUTE}l\N{e WITH GRAVE}ve";

所有这些都比将幻数硬编码到代码中无限优越。

这一切都假设您的语言支持 Unicode，但许多语言不支持。