如何使用perl中的正则表达式计算文件中的中文单词？

Question

我尝试按照 perl 代码来计算文件的中文单词，它似乎有效，但没有得到正确的结果。非常感谢任何帮助。

在我看来，错误消息

Use of uninitialized value $valid in concatenation (.) or string at word_counting.pl line 21, <FILE> line 21.
Total things  = 125, valid words = 

似乎是文件格式的问题。 “总数”是 125，即字符串数（125 行）。最奇怪的是我的控制台正确显示了所有单个中文单词，没有任何问题。 utf-8 pragma 已安装。

#!/usr/bin/perl -w
use strict;
use utf8;
use Encode qw(encode);
use Encode::HanExtra;

my $input_file = "sample_file.txt";
my ($total, $valid);
my %count;

open (FILE, "< $input_file") or die "Can't open $input_file: $!";

while (<FILE>) {
 foreach (split) { #break $_ into words, assign each to $_ in turn
 $total++;
 next if /\W|^\d+/;  #strange words skip the remainder of the loop
 $valid++;
 $count{$_}++;  # count each separate word stored in a hash
 ## next comes here ##
      }
   }

   print "Total things  = $total, valid words = $valid\n";
   foreach my $word (sort keys %count) {
      print "$word \t was seen \t $count{$word} \t times.\n";
   }

##---Data----
sample_file.txt

那天约二更时,只见封肃方回来,欢天喜地.众人忙问端的.他乃说道:"原来本府新升的太爷姓贾名化,本贯胡州人氏,曾与女婿旧日相交.方才在咱门前过去,因见娇杏那丫头买线, 所以他只当女婿移住于此.我一一将原故回明,那太爷倒伤感叹息了一回,又问外孙女儿,我说看灯丢了.太爷说:`不妨,我自使番役务必探访回来.'说了一回话, 临走倒送了我二两银子."甄家娘子听了,不免心中伤感.一宿无话.至次日, 早有雨村遣人送了两封银子,四匹锦缎,答谢甄家娘子,又寄一封密书与封肃,转托问甄家娘子要那娇杏作二房. 封肃喜的屁滚尿流,巴不得去奉承,便在女儿前一力撺掇成了,乘夜只用一乘小轿,便把娇杏送进去了.雨村欢喜,自不必说,乃封百金赠封肃, 外谢甄家娘子许多物事,令其好生养赡,以待寻访女儿下落.封肃回家无话.

Answer 1

我们将 STDOUT 设置为 :utf8 IO 层 这样就不会显示格式错误的数据，然后打开同一层的文件，这样钻石就不会读取格式错误的数据。
之后，在 while 内，我们不使用空字符串进行分割，而是使用带有 "East_Asian_Width: Wide" 的正则表达式类似 Unicode 的属性。

utf8 用于我个人的健全性检查，可以删除（Y）。

use strict;
use warnings;
use 5.010;
use utf8;
use autodie;

binmode(STDOUT, ':utf8');

open my $fh, '<:utf8', 'sample_file.txt';

my ($total, $valid);
my %count;

while (<$fh>) {
    $total += length;
    for (/(\p{Ea=W})/g) {
        $valid++;
        $count{$_}++;
    }
}

say "Total things  = $total, valid words = $valid";
for my $word (sort keys %count) {
   say "$word \t was seen \t $count{$word} \t times.";
}

编辑：J-16 SDiZ 和 daxim 指出 sample_file.txt 采用 UTF-8 的可能性很小。阅读他们的评论，然后查看 perldoc 中的 Encode 模块，特别是“Encoding via PerlIO” ' 部分。

Answer 2

我也许可以提供一些见解，但很难判断我的回答是否“有帮助”。首先，我只会说和读英语，所以我显然不会说或读中文。我恰好是 RegexKitLite 的作者，它是一个 Objective-C 包装器ICU 正则表达式引擎。这显然不是 perl，:)。

尽管如此，ICU 正则表达式引擎恰好有一个听起来非常像您正在尝试做的功能。具体来说，ICU 正则表达式引擎包含 UREGEX_UWORD 修饰符选项，可以通过正常的 (?w:...) 语法动态打开该选项。该修改器执行以下操作：

控制模式中 \b 的行为。如果设置，则根据 Unicode UAX 29，文本边界中的单词定义查找单词边界。默认情况下，单词边界是通过将字符简单分类为“单词”或“非单词”来识别的，这类似于传统的正则表达式行为。在空格和其他非单词字符的运行中，使用这两个选项获得的结果可能有很大不同。

您可以在 (?w:\b(.*?)\b) 之类的正则表达式中使用它来从字符串中“提取”单词。在 ICU 正则表达式引擎中，它有一个相当强大的“断词引擎”，专门用于查找没有明确空格“字符”的书面语言（例如英语）中的断词。再说一遍，不阅读或编写这些语言，我的理解是“大致是这样的”。 ICU 断词引擎使用启发式方法（有时还使用字典）来找到断词。据我了解，泰语恰好是一个特别困难的案例。事实上，我碰巧使用 ฉันกินข้าว （泰语“我吃米饭”，或者我被告知）与正则表达式 (?w)\b\s* 对字符串执行 split 操作以提取单词。如果没有 (?w)，您将无法按单词分隔符进行拆分。使用 (?w) 会产生单词 ฉัน、กิน 和 ข้าว。

如果上述“听起来像是您遇到的问题”，那么这可能就是原因。如果是这种情况，那么我不知道有什么方法可以在 perl 中完成此任务，但我不会认为这个观点是权威答案，因为我使用 ICU 正则表达式引擎的频率比 < code>perl 一个，而且当我已经有了一个时，我显然没有适当的动力去寻找一个可行的 perl 解决方案:)。希望这有帮助。