”“E2;”“”显示在页面上而不是“” ' ”

Question

我的页面上显示的是 '，而不是 '。

我在 标记和 HTTP 标头中将 Content-Type 设置为 UTF-8：

<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />

另外，我的浏览器设置为 Unicode (UTF-8):

那么问题是什么，我该如何解决它？

Answer 1

那么问题出在哪里

这是一个 ' (< code>右单引号 - U+2019) 字符被解码为 CP-1252 而不是 UTF-8。如果您检查 FileFormat.Info 中该字符的编码表 ，然后您会看到该字符采用 UTF-8 格式，由字节 0xE2、0x80 和 0x99 组成。

如果您检查 维基百科上的 CP-1252 代码页布局< /a>，然后您将看到十六进制字节 E2、80 和 99 代表单个字符 â、<代码>€和<代码>™。


---

我该如何解决这个问题？

使用 UTF-8 而不是 CP-1252 来读取、写入、存储和显示字符。

---

我在 标记和 HTTP 标头中将 Content-Type 设置为 UTF-8：

>

这仅指示客户端使用哪种编码来解释和显示字符。这不会指示您自己的程序使用哪种编码来读取、写入、存储和显示字符。确切的答案取决于所使用的服务器端平台/数据库/编程语言。请注意，HTTP 响应标头中设置的优先级高于 HTML 元标记。 HTML 元标记将仅在通过 file:// URL 从本地磁盘文件系统打开页面而不是通过 从网络打开时使用http(s):// URL。

---

此外，我的浏览器设置为 Unicode (UTF-8)：

这只会强制客户端使用哪种编码来解释和显示字符。但实际的问题是，您已经向客户端发送确切的字符 ’（以 UTF-8 编码），而不是字符 '< /代码>。客户端基本上使用 UTF-8 编码正确显示 ’。如果客户端被错误指示使用 ISO-8859-1 等来显示它们，那么您可能会看到 ââ‚ââ 。

---

我正在使用带有数据库的 ASP.NET 2.0。

这很可能就是您的问题所在。您需要使用独立的数据库工具来验证数据是什么样的。

如果 ' 字符正确，那么您很可能没有从程序正确连接到数据库。您基本上需要重新配置数据库连接器以使用 UTF-8。如何执行此操作取决于所使用的数据库。

或者，如果您的数据库已经包含 ’，那么就是您的数据库搞砸了。这些表很可能未配置为使用 UTF-8。相反，它们使用数据库的默认编码，该编码根据配置而变化。如果这是您的问题，那么通常只需更改表以使用 UTF-8 就足够了。如果您的数据库不支持，则需要重新创建表。最好在创建表时设置表的编码。

您很可能使用 SQL Server，但这里有一些 MySQL 代码（复制自 这篇文章)：

CREATE DATABASE db_name CHARACTER SET utf8;
CREATE TABLE tbl_name (...) CHARACTER SET utf8;

如果您的表已经是 UTF-8，那么您需要后退一步。 谁或什么将数据放在那里。 这就是问题所在。一个例子是 HTML 表单提交的值被错误地编码/解码。

---

这里有一些更多的链接来了解有关该问题的更多信息：

• 每个软件开发人员绝对必须了解的绝对最低限度关于 Unicode 和字符集（没有任何借口！），来自我们自己的 Joel。
• Unicode - 如何获得正确的字符？，信息更加简洁实用，针对Java环境的解决方案。
• 如何设置 PHP 站点以使用 UTF8，针对 PHP 环境。

Answer 2

确保浏览器和编辑器使用 UTF-8 编码而不是 ISO-8859-1/Windows-1252。

或者使用’。

Answer 3

'（Unicode 代码点 U+2019 RIGHT SINGLE QUOTATION MARK）以 UTF-8 编码为字节：

0xE2 0x80 0x99。

’（Unicode 代码点 U+00E2 U+20AC U+2122）以 UTF-8 编码为字节：

0xC3 0xA2 0xE2 0x82 0xAC 0xE2 0x84 0xA2。

这些是您的浏览器实际接收的字节，以便在处理为 UTF-8 时生成 ’。

这意味着您的源数据在发送到浏览器之前会经历两次字符集转换：

1. 源 ' 字符 (U+2019) 首先被编码为 UTF-8 字节：

   0xE2 0x80 0x99

2. 这些单独的字节随后被错误解释并解码为 Unicode 代码点 U+00E2 U+20AC U+2122 Windows-125X 字符集之一（1252、1254、1256 和 1258 均将 0xE2 0x80 0x99 映射到 U+00E2 U+20AC U+2122 code>)，然后这些代码点被编码为 UTF-8 字节：

   0xE2 -> U+00E2 -> 0xC3 0xA2
0x80 -> U+20AC -> 0xE2 0x82 0xAC
0x99 -> U+2122 -> 0xE2 0x84 0xA2

您需要找到执行步骤 2 中的额外转换的位置并将其删除。

Answer 4

我有一些文档，其中 ... 显示为 …，而 ê 显示为 àª。这就是它的实现方式（python 代码）：

# Adam edits original file using windows-1252
windows = '\x85\xea' 
# that is HORIZONTAL ELLIPSIS, LATIN SMALL LETTER E WITH CIRCUMFLEX

# Beth reads it correctly as windows-1252 and writes it as utf-8
utf8 = windows.decode("windows-1252").encode("utf-8")
print(utf8)

# Charlie reads it *incorrectly* as windows-1252 writes a twingled utf-8 version
twingled = utf8.decode("windows-1252").encode("utf-8")
print(twingled)

# detwingle by reading as utf-8 and writing as windows-1252 (it's really utf-8)
detwingled = twingled.decode("utf-8").encode("windows-1252")

assert utf8==detwingled

为了解决这个问题，我使用了这样的 python 代码：（

with open("dirty.html","rb") as f:
    dt = f.read()
ct = dt.decode("utf8").encode("windows-1252")
with open("clean.html","wb") as g:
    g.write(ct)

因为有人将 twingled 版本插入到正确的 UTF-8 文档中，所以我实际上只需要提取 twingled 部分，detwingle并将其插回。我为此使用了 BeautifulSoup。）

您在内容创建方面有查理的可能性比 Web 服务器配置错误的可能性要大得多。您还可以通过为 utf-8 文档选择 windows-1252 编码来强制 Web 浏览器旋转页面。您的网络浏览器无法解开查理保存的文档。

注意：任何其他单字节代码页（例如 latin-1）而不是 windows-1252 都可能发生同样的问题。

Answer 5

当字符串从 Windows-1252 转换为 UTF-8 两次时，有时会发生这种情况。

我们在 Zend/PHP/MySQL 应用程序中遇到了这种情况，其中类似的字符出现在数据库中，可能是由于 MySQL 连接未指定正确的字符集。我们必须：

1. 确保 Zend 和 PHP 与数据库以 UTF-8 进行通信（默认情况下不是）

2. 使用几个像这样的 SQL 查询修复损坏的字符...

   更新 MyTable SET 
   MyField1 = CONVERT(CAST(CONVERT(MyField1 USING latin1) AS BINARY) USING utf8),
   MyField2 = CONVERT(CAST(CONVERT(MyField2 USING latin1) AS BINARY) USING utf8);
   

   根据需要对尽可能多的表/列执行此操作。

如果需要，您还可以在 PHP 中修复其中一些字符串。请注意，因为字符已被编码两次，所以我们实际上需要将从 UTF-8 反向转换回Windows-1252，这一开始让我很困惑。

mb_convert_encoding('’', 'Windows-1252', 'UTF-8');    // returns ’

Answer 6

您的字符编码不匹配；您的字符串以一种编码（UTF-8）进行编码，而解释此页面的任何内容都使用另一种编码（例如 ASCII）。

始终在 http 标头中指定您的编码，并确保这与您的框架的编码定义相匹配。

示例 http 标头：

Content-Type    text/html; charset=utf-8

在 asp.net 中设置编码

<configuration>
  <system.web>
    <globalization
      fileEncoding="utf-8"
      requestEncoding="utf-8"
      responseEncoding="utf-8"
      culture="en-US"
      uiCulture="de-DE"
    />
  </system.web>
</configuration>

在jsp中设置编码

Answer 7

如果您的内容类型已经是 UTF8 ，那么数据可能已经以错误的编码到达。如果要从数据库获取数据，请确保数据库连接使用 UTF-8。

如果这是来自文件的数据，请确保该文件正确编码为 UTF-8。您通常可以在您选择的编辑器的“另存为...”对话框中进行设置。

如果在源文件中查看数据时数据已损坏，则很可能它曾经是 UTF-8 文件，但在途中以错误的编码保存。

Answer 8

如果有人在 WordPress 网站上收到此错误，您需要更改 wp-config db charset:

define('DB_CHARSET', 'utf8mb4_unicode_ci');

而不是：

define('DB_CHARSET', 'utf8mb4');

Answer 9

如果其他答案没有帮助，您可能需要检查您的数据库是否确实存储了 mojibake 字符。我正在查看 utf-8 格式的文本，但我仍然看到 mojibake，结果发现，由于数据库升级，文本已永久“mojibake”。

在这种情况下，一种选择是使用 Python 的 ftfy 包（或 JavaScript 版本）“修复”文本此处）。

Answer 10

您必须从 Word 文档复制/粘贴文本。 Word 文档使用智能引号。您可以用特殊字符 (’) 替换它，或者只需在 HTML 编辑器中键入 (')。

我相信这会解决您的问题。

Answer 11

在 DBeaver（或其他编辑器）中，您正在工作的脚本文件可能会提示另存为 UTF8，这会将 char:

–

更改为

–

或

–

Answer 12

同样的事情也发生在我身上，使用“-”字符（长减号）。
我使用了这个简单的替换，所以解决它：

htmlText = htmlText.Replace('–', '-');