如何解决 Mac OS X 上 iconv 的奇怪问题

Question

我使用的是 Mac Os X 10.5（但我在 10.4 上重现了该问题）

我正在尝试使用 iconv 将 UTF-8 文件转换为 ASCII

utf-8 文件包含像 'éàç' 这样的字符，

我希望将重音字符转换为最接近的 ascii 等效字符，

所以

我的命令是这样的：

iconv -f UTF-8 -t ASCII//TRANSLIT//IGNORE myutf8file.txt

在 Linux 机器上运行良好，

但在我的本地 Mac Os X 上我得到这样的示例：

è =>; 'e

à => `a

我真的不明白为什么 iconv 在 mac os x 上返回这个奇怪的输出，但在 linux 上一切都很好，

有什么帮助吗？ 或方向？

提前致谢

Answer 1

问题是 Mac OSX 使用另一个名为 libiconv 的 iconv 实现。 大多数 Linux 发行版都有 iconv 的实现，它是 libc 的一部分。 不幸的是，libiconv 将 ö、è 和 ñ 等字符音译为“o、`e 和 ~n”。解决此问题的唯一方法是下载源代码并修改 lib 目录中的 translit.h 文件。查找如下所示的行：

2，'“'，'o'，

并将它们替换为这样的内容：

1，'o'，

我花了几个小时在谷歌上试图找出这个问题的答案，最后决定下载源代码并破解它。 希望这对某人有帮助！

Answer 2

我找到了一个适合我的需求的解决方法（只是为了澄清：脚本获取一个字符串并将其转换为“永久链接”URL。

我的解决方法包括将 iconv 输出通过管道传输到 sed< /code> 过滤器：

echo á é ç this is a test | iconv -f utf8 -t ascii//TRANSLIT | sed 's/[^a-zA-Z 0-9]//g'

上述内容在 OS X Yosemite 中的结果是：

a e c this is a test

Answer 3

我的猜测是，在你的 Linux 机器上，语言环境设置不同......
据我记得， iconv 使用当前的语言环境来翻译 UTF-X，并且默认情况下，macos 将语言环境设置为“C”，它（显然）不处理重音和语言特定字符...也许尝试这样做运行 iconv 之前：

setLocale( LC_ALL, "en_EN");

|K<

Answer 4

另一种选择是使用由 brew install unac 安装的 unaccent：

$ unaccent utf-8<<<é
e

unaccent 不会转换分解形式的字符（例如 LATIN小写字母 E 后跟 COMBINING ACUTE ACCENT），但您可以使用 uconv 将字符转换为组合形式：

$ unaccent utf-8<<<
 brew install icu4c;ln -s /usr/local/opt/icu4c/bin/uconv /usr/local/bin 安装 uconv。
e\u0301'
é
$ uconv -f utf-8 -t utf-8 -x NFC<<<
 brew install icu4c;ln -s /usr/local/opt/icu4c/bin/uconv /usr/local/bin 安装 uconv。
e\u0301'|unaccent utf-8
e

brew install icu4c;ln -s /usr/local/opt/icu4c/bin/uconv /usr/local/bin 安装 uconv。