替换mysql中的垃圾字符

Question

我的数据库位于 latin1 中，并且充满了 â" 或 '��"' （取决于我的终端是否是分别设置为 latin1 或 unicode）。从上下文来看，我认为它们应该是破折号。当在 IE 中渲染（或不渲染）时，它们似乎会导致严重的错误。我想找到并替换它们。问题是 â 和 � 字符都不与 replace 匹配。运行查询：

    update TABLE set COLUMN = replace(COLUMN,'��"','---');

执行时没有错误，但不执行任何操作（0 行已更改）。我很清楚，当我在终端中复制它时，“菱形中的问号”字符没有被匹配。有没有办法找到它的代码并通过它或其他东西进行匹配？ mysql 控制台非常接近能够在一行中完成此操作，因此如果可以避免的话，我宁愿不在终端之外编写它的脚本。

该数据库托管在 Amazon RDS 上，因此我无法安装我在其他问题中看到的 regexp udf。从长远来看，我必须将整个数据库正确转换为 utf8，但我需要立即解决此渲染问题。

编辑：

我已经用 hexdump 隔离了坏字符，它是 e2 80 （我不认为这对应于任何 unicode 字符）。我如何将其提供给替换功能？

    update TABLE set COLUMN = replace(COLUMN, char(0xe2,0x80),'---');

不执行任何操作。

Answer 1

我想通了。我使用 mysql 的内置 hex 函数转储一个我知道是错误的条目。

    select hex(column) from table where id=666;

然后挑出单词（那些夹在“20”之间的数字），发现我的违规字节集实际上是 x'C3A2E282AC2671756F743B'。这与我在 PHP 和我的系统中看到的编码方式（如 e2 80）有何对应，我不知道，而且目前我并不关心。

为了验证，在销毁数据之前，将其插回 mysql：

    select x'C3A2E282AC2671756F743B';
    +---------------------------+
    | x'C3A2E282AC2671756F743B' |
    +---------------------------+
    | â€"               |
    +---------------------------+
    1 row in set (0.00 sec)

因此，使用上面的替换查询，我能够立即删除所有坏数据。

郑重声明：

    update TABLE set COLUMN = replace(COLUMN, x'C3A2E282AC2671756F743B','--');

我真的希望这对某人有用。虽然编码混乱在 mysql 中似乎很常见，但我到处搜索，但找不到这个最终相当简单的过程的解释。

Answer 2

有些东西可能已经提交了带有 UTF-8 编码 (E2 80 94) 的长破折号 (U+2014)，您现在尝试将其解释为 latin-1，但这在 latin-1 中无效，因为它排除了范围 80- 9F，因此您可能会看到非法字节的 Unicode 替换字符，从而在显示时导致 �。相比之下，在 Windows-1252 中它将显示为 -。

您可以使用 CHAR(0xE2, 0x80, 0x94) 创建搜索字符串。