“混乱的字符”列表；以 utf8 格式

Question

我的一个客户有一个网站，该网站由于托管公司在整个数据库上强制使用字符集而完全搞砸了。我们之前在角色设置上遇到过麻烦，但现在它只是一部戏剧！

到目前为止，我已将 charset=utf-8 添加到页面内容类型，并将 mysql 连接的字符集设置为 utf8。现在是时候替换所有角色了。到目前为止，我发现的是：

ö = ö
ë = ë
é = é

数据库内的数据正在更新，如下所示：

UPDATE table SET `fieldname` = REPLACE(`fieldname`, 'ö', 'ö');

现在我只需要找到混乱的所有字符的完整列表。我尝试使用 MySQL 查询搜索 field LIKE '%à%' 但这会返回数据库内的所有记录。

谷歌也只是在其他人遇到麻烦的一些主题中显示几个字符（主要是上面的 3 个），但是似乎没有这些字符（或至少是最常见的）的完整列表，我可以用它来查找并替换我的客户的所有数据。

如果有人可能知道这样的位置或能够完成我的列表，作为回报，我将创建一个包含这些字符的页面来帮助其他人（当然，除非已经有一个我不知道的列表）。

// 编辑：

它适用于最常见的欧洲字符，例如 é è ë、á à ä、ö ó ò、ï、ü，或许还有ringel-S（德语双 S）。对于像 ñ 或 ã 这样的跨越符号来说并不是那么多，但如果它们出现在某个列表中，我们也会非常感激。

// 编辑 2：

我使用本文第一部分中的 2 个 ALTER 查询更新了 MySQL 数据库和表：http://developer.loftdigital.com/blog/php-utf -8-cheatsheet。到目前为止，我没有使用 mb_ 函数，也没有像看起来那样进行任何 MB 配置。

文件中的标头全部设置为 utf-8（不过，我仍然需要检查一些 ajax 脚本的标头，不确定是否需要，但这样做不会有害）。并且文件全部保存为UTF8无BOM。 PHPFreakMailer 也通过将字符集设置为 utf-8 进行更新。

够糟糕的，我仍然有这些奇怪的字符。我没想到他们会自己消失，但至少值得这样希望:-)那么我应该采取的最后一步是什么？继续使用 REPLACE 查询并手动更改所有奇怪的字符？

提前致谢！

Answer 1

这有点疯狂；您认为“ö”属于什么字符集？

看起来这实际上是一个正确的 UTF-8 序列（因为它是两个字节），您只是将其显示为 ISO-8559-1。

编辑：

根据您的评论，我认为发生了以下情况：

我认为（但实际上不是100％确定）正确的UTF-8二进制序列存储在数据库。但由于该表被标记为ISO-8559-1，并且您请求自动转换字符集。因此它认为它是 ISO-8559-1（看起来像 ¶），但随后尝试将其转换为 UTF-8。

如果 strlen('?') 是 4，而不是 2，您应该能够验证这一点。如果长度确实是 2，则您的浏览器编码会以某种方式搞砸。

要解决此问题，请不要将 MySQL 设置为对字符进行编码。

选项 2

数据也可以在表中进行“双重编码”。要检查这一点，只需检查数据库中的字符串长度即可。如果“?”的长度为 4 个字节，这就是问题所在。

在这种情况下，我的建议是不要尝试制作一个大的“混乱的角色”地图。您应该能够简单地“utf8_decode”该字符串。通常这个函数会输出一个 ISO-8559-1 字符串，但在你的情况下......它应该是原始的有效 UTF-8 字符串。

我希望这能起作用！

Edit2

好吧，我相信发生的事情是选项 2。用简单的（php）术语来说：

$output = utf8_encode(utf8_encode('string'));

所以一个 utf8_decode() 应该足够了。

不过，在运行迁移脚本之前请先测试一下:)

Answer 2

如果他们强制更改字符，为什么您的数据库没有转换？您的表仍然是旧的字符集吗（请参阅您的 phpMyAdmin 有关表信息的信息）。

如果数据出现在您的 phpMyAdmin 中或仅出现在您的网页上，是否是错误的？ ->您的名称和排序规则以及标题和文件类型（安全文件为 utf-8）都应该更改。

或者尝试：

ALTER TABLE tbl_name CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci;

仅当 MySQL 中没有剩余选项时我才会开始替换字符。

Answer 3

既然你用“php”标记了这个问题，我假设你用 PHP 读取了数据库及其值？如果是这样，请查看 mb_convert_encoding 如果您不再控制数据库。

更好的解决方案是修复数据和表字符集之间的不一致。备份数据库（以防万一），并将所有表和列更改为 UTF-8。 注意：使用 MySQL 时，更改表的字符集不够，您必须针对每列执行此操作。

Answer 4

为什么不使用：ä = ä, ö = ö,...

在 php 中执行 htmlentities(); ，它将把所有特殊字符转换为实体。
我认为这是最简单的方法。