当前位置：文江博客话题详情

从命令行将文本转换为 7 位 ASCII

发布于 2024-07-06 16:38:05 字数 200 浏览 15 评论 0原文

我使用的是 OS X 10.5.5（尽管我猜这并不重要）

我有一组带有奇特字符的文本文件，例如双反引号、一个字符中的省略号（“...”）等。

我需要转换这些文件转换为良好的旧式普通 7 位 ASCII，最好不要丢失字符含义（即，将这些省略号转换为三个句点，将反引号转换为通常的“s 等）。

请建议一些智能命令行（bash）工具/脚本去做。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

锦爱 2024-07-13 16:38:05

Elinks 网络浏览器会将 Unicode 实体转换为其 ASCII 等效项，将“--”表示为“—” ”和“...”代表“…”等。有一个 python 模块 python- elinks 使用相同的转换表，将其转换为 shell 过滤器是很简单的，如下所示：

#!/usr/bin/env python
import elinks
import sys
for line in sys.stdin:
    line = line.decode('utf-8')
    sys.stdout.write(line.encode('ASCII', 'elinks'))

The Elinks web browser will convert Unicode entities to their ASCII equivalents, giving things like "--" for "—" and "..." for "…", etc. There is a python module python-elinks which uses the same conversion table, and it would be trivial to turn it into a shell filter, like this:

#!/usr/bin/env python
import elinks
import sys
for line in sys.stdin:
    line = line.decode('utf-8')
    sys.stdout.write(line.encode('ASCII', 'elinks'))

回复收藏 0 原文

挽手叙旧 2024-07-13 16:38:05

据我所知， iconv 应该这样做。不能 100% 确定它如何处理一个输入字符应该/可能成为多个输出字符的转换，例如省略号示例......值得尝试的东西！

更新：我确实尝试过，但似乎不起作用。它失败了，可能是因为它不知道如何以“较小”的编码表达省略号（我使用的测试字符）。从 UTF-8 转换为 UTF-16 进展顺利。 :/ 不过，iconv 可能值得进一步研究。

回复收藏 0 原文

笑咖 2024-07-13 16:38:05

看看音译工具；我喜欢 Unidecode （Perl 语言），并且移植到其他语言并不难。

回复收藏 0 原文

白日梦 2024-07-13 16:38:05

我已经使用 iconv 将由 Windows 中的 TextPad 创建的 UTF-16LE 文件（我通过反复试验发现的小端序）转换为 OSX 上的 ASCII，如下所示：

 cat utf16file.txt |iconv -f UTF-16LE -t ASCII > asciifile.txt

您也可以通过 hexdump 进行管道查看字符并确保您获得正确的输出，终端知道如何解释 UTF-16 并正确显示它，这样您就无法仅在文件上执行“cat”：

cat utf16file.txt | iconv -f UTF-16LE -t ASCII | hexdump -C

这显示了带有十六进制字符代码的布局和右侧的 ASCII 字符，您可以在 -f“from”参数中尝试不同的编码来弄清楚您正在处理的内容。

使用“iconv -l”列出 iconv 可在您的系统上使用的字符集。

I have used iconv to convert a file from UTF-16LE (little-endian as I found out by trial and error) that was created by TextPad in Windows into ASCII on OSX like this:

 cat utf16file.txt |iconv -f UTF-16LE -t ASCII > asciifile.txt

You can pipe through hexdump as well to view the characters and make sure you're getting the right output, the terminal knows how to interpret UTF-16 and displays it properly so you can't tell just but doing 'cat' on the file:

cat utf16file.txt | iconv -f UTF-16LE -t ASCII | hexdump -C

This shows the layout with the hex char codes and the ASCII characters to the right-hand side, and you can try different encodings in the -f "from" parameter to figure out what you're dealing with.

Use 'iconv -l' to list the character sets iconv can use on your system.

回复收藏 0 原文