如何处理用户输入的无效 UTF-8 字符

Question

我正在寻找有关如何处理用户的无效 UTF-8 输入的一般策略/建议。

尽管我的 Web 应用程序使用 UTF-8，但某些用户不知何故输入了无效字符。这会导致 PHP 的 json_encode() 出现错误，总体而言似乎是一个坏主意。

W3C I18N 常见问题解答：多语言表单 说“如果非 UTF -8 数据已收到，应发回错误消息。”。

• 在具有数十个可以输入数据的不同位置的站点中，具体应该如何实际完成？
• 如何以有帮助的方式向用户呈现错误？
• 如何临时存储和显示错误的表单数据，以便用户不会丢失所有文本？剥掉坏角色？使用替换字符，如何？
• 对于数据库中现有的数据，当检测到无效的UTF-8数据时，我是否应该尝试将其转换并保存回来（如何？utf8_encode()? mb_convert_encoding()?)，或者按原样保留在数据库中，但在 json_encode() 之前执行某些操作（什么？）？

我非常熟悉 mbstring 扩展，并且不会问“UTF-8 在 PHP 中如何工作？”。我希望获得具有实际情况经验的人的建议，他们是如何处理这个问题的。

作为解决方案的一部分，我真的很希望看到一种快速方法将无效字符转换为U+FFFD。

Answer 1

将 UTF-8 设置为 PHP 代码输出的所有标头的字符集。

在每个 PHP 输出标头中，指定 UTF-8 作为编码：

header('Content-Type: text/html; charset=utf-8');

Answer 2

尝试执行 Ruby on Rails 所做的操作，强制所有浏览器始终发布 UTF-8 数据：

<form accept-charset="UTF-8" action="#{action}" method="post"><div
    style="margin:0;padding:0;display:inline">
    <input name="utf8" type="hidden" value="✓" />
  </div>
  <!-- form fields -->
</form>

请参阅railssnowman.info 或 初始补丁以获取解释。

1. 要让浏览器以 UTF-8 编码发送表单提交数据，只需使用“text/html; charset=utf-8”（或使用 meta http-equiv 标签）。

2. 要让浏览器以 UTF-8 编码发送表单提交数据，即使用户修改页面编码（浏览器允许用户这样做），请使用 accept-charset="UTF-8"< /code> 形式。

   


3. 让浏览器以 UTF-8 编码发送表单提交数据，即使用户修改了页面编码（浏览器允许用户这样做），并且即使浏览器是 Internet Explorer 并且用户将页面编码切换为韩语并在表单字段中输入韩语字符，向表单添加隐藏输入其值例如 ✓ 只能来自 Unicode 字符集（在本例中，不能来自韩语字符集）。

Answer 3

删除给定子集之外的所有字符。至少在我的应用程序的某些部分，我不允许使用 [aZ] 和 [0-9] 集之外的字符，例如在用户名中。

您可以构建一个过滤器函数，该函数会默默地去除此范围之外的所有字符，或者在检测到这些字符时返回错误并将决定推送给用户。

Answer 4

我建议只是不要让垃圾进入。不要依赖自定义函数，这会使您的系统陷入困境。

只需根据您设计的字母表遍历提交的数据即可。创建一个可接受的字母字符串并逐字节遍历提交的数据，就像它是一个数组一样。将可接受的字符推送到新字符串，并省略不可接受的字符。

您存储在数据库中的数据是由用户触发的数据，但实际上不是用户提供的数据。

<?php
    // Build alphabet
    // Optionally, you can remove characters from this array

    $alpha[] = chr(0); // null
    $alpha[] = chr(9); // tab
    $alpha[] = chr(10); // new line
    $alpha[] = chr(11); // tab
    $alpha[] = chr(13); // carriage return

    for ($i = 32; $i <= 126; $i++) {
        $alpha[] = chr($i);
    }

    /* Remove comment to check ASCII ordinals */

    // /*
    // foreach ($alpha as $key => $val) {
    //     print ord($val);
    //     print '<br/>';
    // }
    // print '<hr/>';
    //*/
    //
    // // Test case #1
    //
    // $str = 'afsjdfhasjhdgljhasdlfy42we875y342q8957y2wkjrgSAHKDJgfcv kzXnxbnSXbcv   ' . chr(160) . chr(127) . chr(126);
    //
    // $string = teststr($alpha, $str);
    // print $string;
    // print '<hr/>';
    //
    // // Test case #2
    //
    // $str = '' . '©?™???';
    // $string = teststr($alpha, $str);
    // print $string;
    // print '<hr/>';
    //
    // $str = '©';
    // $string = teststr($alpha, $str);
    // print $string;
    // print '<hr/>';

    $file = 'http://www.cl.cam.ac.uk/~mgk25/ucs/examples/UTF-8-test.txt';
    $testfile = implode(chr(10), file($file));

    $string = teststr($alpha, $testfile);
    print $string;
    print '<hr/>';


    function teststr(&$alpha, &$str) {
        $strlen = strlen($str);
        $newstr = chr(0); // null
        $x = 0;

        if($strlen >= 2) {

            for ($i = 0; $i < $strlen; $i++) {
                $x++;
                if(in_array($str[$i], $alpha)) {
                    // Passed
                    $newstr .= $str[$i];
                }
                else {
                    // Failed
                    print 'Found out of scope character. (ASCII: ' . ord($str[$i]). ')';
                    print '<br/>';
                    $newstr .= '�';
                }
            }
        }
        elseif($strlen <= 0) {
            // Failed to qualify for test
            print 'Non-existent.';
        }
        elseif($strlen === 1) {
            $x++;
            if(in_array($str, $alpha)) {
                // Passed

                $newstr = $str;
            }
            else {
                // Failed
                print 'Total character failed to qualify.';
                $newstr = '�';
            }
        }
        else {
            print 'Non-existent (scope).';
        }

        if(mb_detect_encoding($newstr, "UTF-8") == "UTF-8") {
            // Skip
        }
        else {
            $newstr = utf8_encode($newstr);
        }

        // Test encoding:
        if(mb_detect_encoding($newstr, "UTF-8") == "UTF-8") {
            print 'UTF-8 :D<br/>';
        }
        else {
            print 'ENCODED: ' . mb_detect_encoding($newstr, "UTF-8") . '<br/>';
        }

        return $newstr . ' (scope: ' . $x . ', ' . $strlen . ')';
    }

Answer 5

PHP 有一个多字节扩展。请参阅多字节字符串

您应该尝试mb_check_encoding() 函数。

Answer 6

为了完整地回答这个问题（不一定是最佳答案）......

function as_utf8($s) {
    return mb_convert_encoding($s, "UTF-8", mb_detect_encoding($s));
}

Answer 7

我编写了一个相当简单的类来检查输入是否为 UTF-8 格式并根据需要运行 utf8_encode() ：

class utf8
{

    /**
     * @param array $data
     * @param int $options
     * @return array
     */
    public static function encode(array $data)
    {
        foreach ($data as $key=>$val) {
            if (is_array($val)) {
                $data[$key] = self::encode($val, $options);
            } else {
                if (false === self::check($val)) {
                    $data[$key] = utf8_encode($val);
                }
            }
        }

        return $data;
    }

    /**
     * Regular expression to test a string is UTF8 encoded
     * 
     * RFC3629
     * 
     * @param string $string The string to be tested
     * @return bool
     * 
     * @link http://www.w3.org/International/questions/qa-forms-utf-8.en.php
     */
    public static function check($string)
    {
        return preg_match('%^(?:
            [\x09\x0A\x0D\x20-\x7E]              # ASCII
            | [\xC2-\xDF][\x80-\xBF]             # non-overlong 2-byte
            |  \xE0[\xA0-\xBF][\x80-\xBF]        # excluding overlongs
            | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2}  # straight 3-byte
            |  \xED[\x80-\x9F][\x80-\xBF]        # excluding surrogates
            |  \xF0[\x90-\xBF][\x80-\xBF]{2}     # planes 1-3
            | [\xF1-\xF3][\x80-\xBF]{3}          # planes 4-15
            |  \xF4[\x80-\x8F][\x80-\xBF]{2}     # plane 16
            )*$%xs',
            $string);
    }
}

// For example
$data = utf8::encode($_POST);

Answer 8

从 Web 应用程序接收到无效字符可能与 HTML 表单假定的字符集有关。您可以使用 accept-charset 指定表单使用的字符集属性：

<form action="..." accept-charset="UTF-8">

您可能还想查看 StackOverflow 上的类似问题，以获取有关如何处理无效字符的指针，例如右侧列中的字符，但我认为向用户发出错误信号比尝试清除那些导致重要数据意外丢失或用户输入意外更改的无效字符要好。

Answer 9

accept-charset="UTF-8" 属性只是浏览器遵循的指南，并且不会强制浏览器以这种方式提交。蹩脚的表单提交机器人就是一个很好的例子...

我通常会忽略坏字符，或者通过 < code>iconv() 或使用不太可靠的 utf8_encode() / utf8_decode() 函数。如果您使用 iconv，您还可以选择音译错误字符。

下面是一个使用 iconv() 的示例：

$str_ignore = iconv('UTF-8', 'UTF-8//IGNORE', $str);
$str_translit = iconv('UTF-8', 'UTF-8//TRANSLIT', $str);

如果您想向用户显示错误消息，我可能会以全局方式而不是基于收到的每个值来执行此操作。像这样的事情可能会很好：

function utf8_clean($str)
{
    return iconv('UTF-8', 'UTF-8//IGNORE', $str);
}

$clean_GET = array_map('utf8_clean', $_GET);

if (serialize($_GET) != serialize($clean_GET))
{
    $_GET = $clean_GET;
    $error_msg = 'Your data is not valid UTF-8 and has been stripped.';
}

// $_GET is clean!

您可能还想标准化新行并去除（不）可见的控制字符，如下所示：

function Clean($string, $control = true)
{
    $string = iconv('UTF-8', 'UTF-8//IGNORE', $string);

    if ($control === true)
    {
            return preg_replace('~\p{C}+~u', '', $string);
    }

    return preg_replace(array('~\r\n?~', '~[^\P{C}\t\n]+~u'), array("\n", ''), $string);
}

---

从 UTF-8 转换为 Unicode 代码点的代码：

function Codepoint($char)
{
    $result = null;
    $codepoint = unpack('N', iconv('UTF-8', 'UCS-4BE', $char));

    if (is_array($codepoint) && array_key_exists(1, $codepoint))
    {
        $result = sprintf('U+%04X', $codepoint[1]);
    }

    return $result;
}

echo Codepoint('à'); // U+00E0
echo Codepoint('ひ'); // U+3072

可能比任何其他替代方案都要快，但我还没有对其进行广泛的测试。

---

示例：

$string = 'hello world�';

// U+FFFEhello worldU+FFFD
echo preg_replace_callback('/[\p{So}\p{Cf}\p{Co}\p{Cs}\p{Cn}]/u', 'Bad_Codepoint', $string);

function Bad_Codepoint($string)
{
    $result = array();

    foreach ((array) $string as $char)
    {
        $codepoint = unpack('N', iconv('UTF-8', 'UCS-4BE', $char));

        if (is_array($codepoint) && array_key_exists(1, $codepoint))
        {
            $result[] = sprintf('U+%04X', $codepoint[1]);
        }
    }

    return implode('', $result);
}

这可能就是您正在寻找的内容。