为什么 PHP 的 preg_split 会分割希伯来字母 “נ”在 UTF-8 中分割 “\s” 时？

Question

这不起作用，它会把它变成乱码：

$foo = 'נ';
$bar = mb_convert_encoding($foo, 'UTF-8', mb_detect_encoding($foo));
print_r(preg_split('/\s/', $bar));

数组 ( [0] => � [1] => )

但这有效：

$foo = 'נ';
$bar = mb_convert_encoding($foo, 'ISO-8859-8', mb_detect_encoding($foo));
$baz = preg_split('/\s/', $bar);
echo(mb_convert_encoding($baz[0], 'UTF-8', 'ISO-8859-8'));

问题仅在于字母“נ” 它与所有其他希伯来字母配合得很好。有解决办法吗？

Answer 1

使用 UTF-8 数据时，请始终在模式中使用 u 修饰符：

/\s/u

因为否则该模式不会被解释为 UTF-8。

就像在本例中一样，字符 נ (U+05E0) 在 UTF-8 中使用 0xD7A0 进行编码。 \s 代表任何空白字符（根据 PCRE）：

\s 字符为 HT (9)、LF (10)、FF (12)、CR (13) 和空格 (32)。

当添加 UTF-8 支持时，他们还添加了一个名为 PCRE_UCP 的特殊选项，以具有 \b、\d、\s 和\w 不仅匹配 US-ASCII 字符，还根据其 Unicode 属性匹配其他 Unicode 字符：

默认情况下，在 UTF-8 模式下，值大于 128 的字符永远不会匹配 \d、\s 或 \w ，并且始终匹配 \D、\S 和 \W。 […] 但是，如果 PCRE 是使用 Unicode 属性支持进行编译的，并且设置了 PCRE_UCP 选项，则行为会发生更改，以便使用 Unicode 属性来确定字符类型，如下所示：

• \d \p{Nd} 匹配的任何字符（十进制数字）
• \s \p{Z} 匹配的任何字符，加上 HT、LF、FF、CR
• \w \p{L} 或 \p{N} 匹配的任何字符，加上下划线

以及不间断空格 U +00A0 具有分隔符的属性 (\p{Z})。

因此，尽管您的模式不是 UTF-8 模式，但似乎 \s 确实 匹配 UTF-8 代码字 0xD7A0 中的 0xA0，在该位置分割字符串并返回一个相当于 array("\xD7", "") 的数组。

这显然是一个错误，因为该模式在 UTF-8 模式下不是，但 0xA0 大于 0x80（此外，0xA0 将被编码为 0xC2A0）。 bug #52971 PCRE-Meta-Characters 不适用于 utf-8可能与此有关。