preg_match 将关键字变量与本地 UTF-8 编码文件中的拉丁和非拉丁字符关键字列表进行匹配

Question

我有一个坏词过滤器，它使用保存在本地 UTF-8 编码文件中的关键字列表。该文件包括拉丁字符和非拉丁字符（主要是英语和阿拉伯语）。对于拉丁关键字，一切都按预期工作，但是当变量包含非拉丁字符时，匹配似乎无法识别这些现有关键字。

如何匹配拉丁语和非拉丁语关键字。

badwords.txt 文件每行包含一个单词，如本例所示

bad

nasty

racist

سفالة

وساخة

جنس

用于匹配的代码： <代码>

$badwords = file_get_contents("badwords.txt");
$badtemp = explode("\n", $badwords);
$badwords = array_unique($badtemp);
$hasBadword = 0;
$query = strtolower($query);

foreach ($badwords as $key => $val) {
    if (!empty($val)) {
        $val = trim($val);
        $regexp = "/\b" . $val . "\b/i";
        if (preg_match($regexp, $query))
            $badFlag = 1;

        if ($badFlag == 1) {
           // Bad word detected die...
        }
    }
}

我读过 iconv、多字节函数（mbstring）和使用运算符 /u 可能会对此有所帮助，并且我尝试了一些方法，但似乎没有得到正确的结果。任何帮助解决这个问题，并让它匹配拉丁和非拉丁关键字的帮助将不胜感激。

Answer 1

这个问题似乎与识别单词边界有关； \b 结构显然不“支持 Unicode”。这就是问题 php regex word border matches in utf-8 的答案 似乎建议。即使使用 \b 时包含拉丁字母（如“é”）的文本，我也能够重现该问题。 方式设置和修改正则表达式时，问题似乎消失了（即，阿拉伯单词得到正确识别） ：

$wstart = '(^|[^\p{L}])';
$wend = '([^\p{L}]|$)';

当我按如下

$regexp = "/" . $wstart . $val . $wend . "/iu";

Answer 2

PHP 中的某些字符串函数不能用于 UTF-8 字符串，据说他们将在版本 6 中修复它，但现在您需要小心处理字符串。

看起来 strtolower() 就是其中之一，您需要使用 mb_strtolower($query, 'UTF-8')。如果这不能解决问题，您需要通读代码并找到处理 $query 或 badwords.txt 的每个点，并检查 UTF 文档-8 个错误。

据我所知，preg_match() 对于 UTF-8 字符串是可以的，但是默认情况下会禁用一些功能以提高性能。我认为你不需要其中任何一个。

另请仔细检查 badwords.txt 是否为 UTF-8 文件，并且 $query 是否包含有效的 UTF-8 字符串（如果它来自浏览器，则将其设置为带有 标签）。

如果您尝试调试 UTF-8 文本，请记住大多数 Web 浏览器不会默认使用 UTF-8 文本编码，因此您打印出来用于调试的任何 PHP 变量都不会被浏览器正确显示，除非您选择 UTF- 8（在我的浏览器中，使用 View -> Encoding -> Unicode）。

您不需要使用 iconv 或任何其他转换 API，它们中的大多数都会简单地将所有非拉丁字符替换为拉丁字符。显然不是你想要的。