如何检测是否必须对字符串应用 UTF-8 解码或编码？

Question

我有一个来自第三方网站的提要，有时我必须应用 utf8_decode，有时则必须应用 utf8_encode 才能获得所需的可见输出。

如果错误地应用了两次相同的东西/或者使用了错误的方法，我会得到更难看的东西，这就是我想要改变的。

如何检测何时必须在字符串上应用什么？

实际上内容返回UTF-8，但里面有部分不是。

Answer 1

我不能说我可以依赖 mb_detect_encoding()。不久前我遇到了一些奇怪的误报。

我发现在每种情况下都有效的最通用的方法是：

if (preg_match('!!u', $string))
{
   // This is UTF-8
}
else
{
   // Definitely not UTF-8
}

Answer 2

function str_to_utf8 ($str) {
    $decoded = utf8_decode($str);
    if (mb_detect_encoding($decoded , 'UTF-8', true) === false)
        return $str;
    return $decoded;
}

var_dump(str_to_utf8("« Chrétiens d'Orient » : la RATP fait marche arrière"));
//string '« Chrétiens d'Orient » : la RATP fait marche arrière' (length=56)
var_dump(str_to_utf8("« Chrétiens d'Orient » : la RATP fait marche arrière"));
//string '« Chrétiens d'Orient » : la RATP fait marche arrière' (length=56)

Answer 3

您可以使用

• mb_detect_encoding — 检测字符编码

该字符集也可能在 HTTP 响应中可用headers 或响应数据本身。

示例：

var_dump(
    mb_detect_encoding(
        file_get_contents('http://stackoverflow.com/questions/4407854')
    ),
    $http_response_header
);

输出（codepad）：

string(5) "UTF-8"
array(9) {
  [0]=>
  string(15) "HTTP/1.1 200 OK"
  [1]=>
  string(33) "Cache-Control: public, max-age=11"
  [2]=>
  string(38) "Content-Type: text/html; charset=utf-8"
  [3]=>
  string(38) "Expires: Fri, 10 Dec 2010 10:40:07 GMT"
  [4]=>
  string(44) "Last-Modified: Fri, 10 Dec 2010 10:39:07 GMT"
  [5]=>
  string(7) "Vary: *"
  [6]=>
  string(35) "Date: Fri, 10 Dec 2010 10:39:55 GMT"
  [7]=>
  string(17) "Connection: close"
  [8]=>
  string(21) "Content-Length: 34119"
}

Answer 4

编码自动检测并不是万无一失的，但您可以尝试mb_detect_encoding()。另请参阅mb_check_encoding()。

Answer 5

feed（我猜你的意思是某种基于 XML 的 feed）应该在标头中有一个属性，告诉你编码是什么。如果没有，那么您就不走运了，因为您没有可靠的方法来识别编码。