UTF-8 字符出现问题；我看到的不是我存储的

Question

我尝试使用 UTF-8 并遇到了麻烦。

我尝试过很多事情；这是我得到的结果：

• ?????? 而不是亚洲字符。即使对于欧洲文本，我也得到了 Se?or 来表示 Señor。
• 奇怪的胡言乱语（Mojibake？），例如用于 新浪新闻 的 Señor 或 新浪新闻。
• 黑钻石，例如Se�or。
• 最后，我遇到了数据丢失或至少被截断的情况：Se 为 Señor。
• 即使我的文本看起来正确，它也没有正确排序。

我做错了什么？如何修复代码？我可以恢复数据吗？如果可以，如何恢复？

Answer 1

这个问题困扰着该网站的参与者以及许多其他人。

您列出了 CHARACTER SET 问题的五种主要情况。

最佳实践

展望未来，最好使用CHARACTER SET utf8mb4 和COLLATION utf8mb4_unicode_520_ci。 （管道中有更新版本的 Unicode 排序规则。）

utf8mb4 是 utf8 的超集，因为它处理 Emoji 所需的 4 字节 utf8 代码和一些中国人。

在 MySQL 之外，“UTF-8”指的是所有大小的编码，因此实际上与 MySQL 的 utf8mb4 相同，而不是 utf8。

下面我将尝试使用这些拼写和大小写来区分 MySQL 内部和外部。

您应该做什么的概述

• 将您的编辑器等设置为 UTF-8。
• HTML 表单应以
  
  开头。
• 将字节编码为 UTF-8。
• 将 UTF-8 设置为客户端中使用的编码。
• 将列/表声明为 CHARACTER SET utf8mb4（使用 SHOW CREATE TABLE 检查。）
• 在开头HTML
• 存储例程获取当前的字符集/排序规则。他们可能需要重建。

全程采用 UTF-8

有关计算机语言的更多详细信息（及其以下部分）

测试数据

查看使用工具或 SELECT 获得的数据不可信。
太多这样的客户端，尤其是浏览器，尝试补偿不正确的编码，并显示正确的文本，即使数据库被破坏也是如此。
因此，选择一个包含一些非英语文本的表和列，然后执行

SELECT col, HEX(col) FROM tbl WHERE ...

正确存储的 UTF-8 的十六进制将为

• 空格（任何语言）：20
• 对于英语：4x、5x、6x 或 7x
• 对于西欧的大部分地区，重音字母应为 Cxyy
• 西里尔文、希伯来文和波斯语/阿拉伯语：Dxyy
• 亚洲大部分地区：Exyyzz
• 表情符号和一些中文：F0yyzzww
• 更多详细信息

所见问题的具体原因和修复

截断文本（Se for Señor）：

• 要存储的字节未编码为 utf8mb4。解决这个问题。
• 另外，检查读取时的连接是否为UTF-8。

带问号的黑钻石（Se�or 表示Señor）；
存在以下情况之一：

情况 1（原始字节不是 UTF-8）：

• 要存储的字节未编码为 utf8。解决这个问题。
• INSERT 和 SELECT 的连接（或 SET NAMES）不是 utf8/utf8mb4。解决这个问题。
• 另外，检查数据库中的列是否为CHARACTER SET utf8（或utf8mb4）。

情况 2（原始字节为 UTF-8）：

• SELECT 的连接（或SET NAMES）不是 utf8/utf8mb4。解决这个问题。
• 另外，检查数据库中的列是否为CHARACTER SET utf8（或utf8mb4）。

仅当浏览器设置为 时才会出现黑色菱形。

问号（常规问号，不是黑菱形）（Se?or 表示 Señor）：

• 要存储的字节未编码为 utf8/ utf8mb4。解决这个问题。
• 数据库中的列不是CHARACTER SET utf8（或utf8mb4）。解决这个问题。 （使用SHOW CREATE TABLE。）
• 此外，检查读取期间的连接是否为UTF-8。

Mojibake（Señor 表示 Señor）：
（这个讨论也适用于双重编码，它不一定可见。）

• 要存储的字节需要进行UTF-8编码。解决这个问题。
• INSERTing和SELECTing文本时的连接需要指定utf8或utf8mb4。解决这个问题。
• 该列需要声明为CHARACTER SET utf8（或utf8mb4）。解决这个问题。
• HTML 应以 开头。

如果数据看起来正确，但排序不正确，那么
要么你选择了错误的排序规则，
或者没有适合您需要的排序规则，
或者您有双重编码。

双重编码可以通过执行上述SELECT .. HEX ..来确认。

é should come back C3A9, but instead shows C383C2A9

The Emoji 

Answer 2

服务器迁移后，我的两个项目遇到了类似的问题。在搜索并尝试了很多解决方案之后，我遇到了这个：

mysqli_set_charset($con,"utf8mb4");

将这一行添加到我的配置文件后，一切正常！

我找到了 MySQLi 的解决方案 -PHP mysqli set_charset() 函数 - 当我想解决 HTML 查询插入问题时。

Answer 3

我也在寻找同样的问题。我花了近一个月的时间才找到合适的解决方案。

首先，您必须将数据库中所有最新的 CHARACTER 和 COLLATION 更新为 utf8mb4 或至少支持 UTF-8 数据。

对于 Java：

在建立 JDBC 连接时，将其添加到连接 URL useUnicode=yes&characterEncoding=UTF-8 作为参数，它将起作用。

对于 Python：

在查询数据库之前，尝试在光标上强制执行此操作。

cursor.execute("SET NAMES utf8mb4")
cursor.execute("SET CHARACTER SET utf8mb4")
cursor.execute("SET character_set_connection=utf8mb4")

如果它不起作用，请愉快地寻找正确的解决方案。

Answer 4

1. 将代码 IDE 语言设置为 UTF-8

2. 添加

   到您收集数据表单的网页标题。

3. 检查您的 MySQL 表定义如下所示：

    创建表 your_table (
      ...
    ) 引擎=InnoDB 默认字符集=utf8
   

4. 如果您使用 PDO，确保

   $options = array(PDO::MYSQL_ATTR_INIT_COMMAND=>'设置名称 utf8');
   $dbL = 新 PDO($pdo, $user, $pass, $options);
   

您已经有一个存在上述问题的大型数据库，您可以尝试使用 SIDU 使用正确的字符集导出，然后使用 UTF-8 导入回来。

Answer 5

根据服务器的设置方式，您必须相应地更改编码。你所说的 utf8 应该效果最好。但是，如果您遇到奇怪的字符，将网页编码更改为 ANSI 可能会有所帮助。

当我设置 PHP MySQLi 时，这对我很有帮助。这可能会帮助您了解更多信息：Notepad++ 中的 ANSI 到 UTF-8