数据库文本中的奇怪字符：Ã、Ã、¢、â‚ €,

Question

我不确定这第一次发生是什么时候。

我有一个新的直运联属网站，并从批发商处收到产品目录的导出副本。我将其格式化并导入 Prestashop 1.4.4。

网站的前端在产品文本中包含奇怪的字符组合： à、 à、 、 等。它们出现在常见字符的位置，例如，-：等。

这些字符出现在大约 40% 的数据库表，而不仅仅是像 ps_product_lang 这样的产品特定表。

另一个网站线程说当数据库连接字符串使用时也会出现同样的问题错误的字符编码类型。

在/config/setting.inc中，没有提到任何字符编码字符串，只是MySQL引擎，它设置为InnoDB，这与我在PHPMyAdmin中看到的相符。

我导出了 ps_product_lang，用正确的字符替换了这些字符的所有实例，以 UTF-8 格式保存了 CSV 文件，然后使用 PHPMyAdmin 重新导入它们，指定 UTF-8 作为语言。

然而，在 PHPMyAdmin 中进行新搜索后，我现在 ps_product_lang 中这些不良字符的实例数量比开始时的数量大约是原来的 10 倍。

如果问题就像在数据库连接字符串中指定正确的语言属性一样简单，那么我应该在哪里/如何设置它，以及做什么？

顺便说一句，我尝试在 此线程，但问题仍然存在：

SET NAMES utf8

更新：PHPMyAdmin 说：

MySQL 字符集：UTF-8 Unicode (utf8)

这与我在上次导入文件中使用的字符集相同，这导致了更多的字符损坏。在导入过程中指定 UTF-8 作为导入文件的字符集。

UPDATE2

这是一个示例：

人们真正过着不受束缚的生活… � 在线购买和租赁电影、下载软件以及 在网络上共享和存储文件。

UPDATE3

显示字符集：

• character_set_client utf8character_set_connection
• utf8character_set_databaselatin1character_set_filesystembinarycharacter_set_resultsutf8character_set_serverlatin1character_set_systemutf8
• 所以
• ）
• ，
• 我
• 在 PHPMyAdmin 中运行了一个 SQL 命令来

也许我的数据库需要转换（或删除并重新创建 为 UTF-8。如果 MySQL 服务器是 latin1，这会造成问题吗？

MySQL 能否处理以 UTF8 提供内容但将其存储为 latin1 的翻译？我认为不可能，因为 UTF8 是 latin1 的超集。我的网络托管支持在 48 小时内尚未回复。对他们来说可能太难了。

Answer 1

如果表的字符集与其内容相同，请尝试使用 mysql_set_charset('UTF8', $link_identifier)。请注意，MySQL 使用 UTF8 来指定 UTF-8 编码，而不是更常见的 UTF-8。

也请查看我对类似问题的其他答案。

Answer 2

这肯定是编码问题。您的数据库和网站中的编码不同，这一事实就是问题的原因。此外，如果您运行该命令，则必须更改表中已有的记录以将这些字符转换为 UTF-8。

更新：根据您上次的评论，问题的核心是您的数据库和数据源（CSV文件）使用不同的编码。因此，您可以将数据库转换为 UTF-8，或者至少，当您获取 CSV 中的数据时，必须将它们从 UTF-8 转换为 latin1。

您可以按照本文进行转换：

• Convert latin1 to UTF8
• http://wordpress.org/support/topic/convert-latin1-to-utf-8

Answer 3

这似乎是 UTF-8 编码问题，可能是由数据库文件内容的双重 UTF8 编码引起的。

这种情况可能是由于诸如选择或未选择的字符集（例如创建数据库备份文件时）以及保存数据库文件的文件格式和编码等因素而发生的。

我在以下场景中看到了这些奇怪的 UTF-8 字符（描述可能不完全准确，因为我无法再访问相关数据库）：

• 据我所知，数据库和表具有“uft8_general_ci”排序规则。
• 备份由数据库组成。
• 备份文件在 Windows 上以 UNIX 文件格式和 ANSI 编码打开。
• 通过将数据库备份文件中的内容复制粘贴到 phpMyAdmin 中，将数据库恢复到新的 MySQL 服务器上。

查看文件内容：

• 在文本编辑器中打开SQL备份文件，发现SQL备份文件中有奇怪的字符，例如“sâ”。另外，如果在另一个编辑器中打开同一文件，您可能会得到不同的结果。我在这里使用 TextPad，但在 SublimeText 中打开同一个文件时显示“s॔，因为 SublimeText 正确地对文件进行了 UTF8 编码——不过，当您开始尝试在 PHP 中解决问题时，这有点令人困惑，因为您看不到首先在 SublimeText 中正确的数据。无论如何，可以通过记下文本编辑器在呈现文件内容时使用的编码来解决这个问题。
• 这些奇怪的字符是双重编码的 UTF-8 字符，因此在我的例子中，第一个“à”部分等于“à”，“॔=“¥”（这是我的第一个“编码”）。 “å”字符等于 UTF-8 字符“å”（这是我的第二个编码）。

因此，问题在于“错误”（UTF8 编码两次）utf-8 需要转换回“正确”utf-8（仅 UTF8 编码一次）。

尝试在 PHP 中修复此问题有点具有挑战性：

utf8_decode() 无法处理字符。

// Fails silently (as in - nothing is output)
$str = "så";

$str = utf8_decode($str);
printf("\n%s", $str);

$str = utf8_decode($str);
printf("\n%s", $str);

iconv() 失败并显示“注意： iconv()：在输入字符串中检测到非法字符”。

echo iconv("UTF-8", "ISO-8859-1", "så");

在这种情况下，另一个 良好且可能的解决方案 也会默默地失败

$str = "så";
echo html_entity_decode(htmlentities($str, ENT_QUOTES, 'UTF-8'), ENT_QUOTES , 'ISO-8859-15');

mb_convert_encoding( ）默默地： #

$str = "så";
echo mb_convert_encoding($str, 'ISO-8859-15', 'UTF-8');
// (No output)

尝试通过以下方式修复 MySQL 中的编码转换 MySQL 数据库字符集和排序到 UTF-8 失败：

ALTER DATABASE myDatabase CHARACTER SET utf8 COLLATE utf8_unicode_ci;
ALTER TABLE myTable CONVERT TO CHARACTER SET utf8 COLLATE utf8_unicode_ci;

我看到有几种方法可以解决此问题。

首先是使用正确的编码进行备份（编码需要与实际的数据库和表编码相匹配）。您只需在文本编辑器中打开生成的 SQL 文件即可验证编码。

另一种是用单UTF8编码字符替换双UTF8编码字符。这可以在文本编辑器中手动完成。为了帮助完成此过程，您可以从尝试 UTF-8 编码调试图表< 中手动选择不正确的字符/a>（可能是替换 5-10 个错误的问题）。

最后，脚本可以协助该过程：

    $str = "så";
    // The two arrays can also be generated by double-encoding values in the first array and single-encoding values in the second array.
    $str = str_replace(["Ã","Â¥"], ["Ã","¥"], $str); 
    $str = utf8_decode($str);
    echo $str;
    // Output: "så" (correct)

Answer 4

我今天遇到了一个非常相似的问题：mysqldump 将我的 utf-8 基本编码 utf-8 变音符号转储为两个 latin1 字符，尽管文件本身是常规 utf8。

例如：“é”被编码为两个字符“é”。这两个字符对应于字母的 utf8 两个字节编码，但应将其解释为单个字符。

为了解决问题并在另一台服务器上正确导入数据库，我必须使用 ftfy（代表“为您修复文本”）转换文件。(https://github.com/LuminosoInsight/python-ftfy) python 库。该库完全符合我的预期：将错误编码的 utf-8 转换为正确编码的utf-8。

é”变成了“é”，

ftfy附带了一个命令行脚本，但它转换了文件，因此无法将其导入回mysql。

例如：这个latin1组合“ 脚本来做到这一点：

#!/usr/bin/python3
# coding: utf-8

import ftfy

# Set input_file
input_file = open('mysql.utf8.bad.dump', 'r', encoding="utf-8")
# Set output file
output_file = open ('mysql.utf8.good.dump', 'w')

# Create fixed output stream
stream = ftfy.fix_file(
    input_file,
    encoding=None,
    fix_entities='auto', 
    remove_terminal_escapes=False, 
    fix_encoding=True, 
    fix_latin_ligatures=False, 
    fix_character_width=False, 
    uncurl_quotes=False, 
    fix_line_breaks=False, 
    fix_surrogates=False, 
    remove_control_chars=False, 
    remove_bom=False, 
    normalization='NFC'
)

# Save stream to output file
stream_iterator = iter(stream)
while stream_iterator:
    try:
        line = next(stream_iterator)
        output_file.write(line)
    except StopIteration:
        break

Answer 5

应用这两件事。

1. 您需要将数据库的字符集设置为utf8。

2. 您需要在与数据库建立连接的文件中调用mysql_set_charset('utf8')，并在选择数据库后立即使用mysql_select_db mysql_set_charset。这将允许您以任何语言正确添加和检索数据。

Answer 6

该错误通常是在创建 CSV 时引入的。尝试使用 Linux 将 CSV 保存为 TextCSV。 Ubuntu 中的 Libre Office 可以强制编码为 UTF-8，对我有用。
我浪费了很多时间在 Mac OS 上尝试这个。 Linux是关键。我在Ubuntu上测试过。

祝你好运