当前位置：文江博客话题详情

如何使用 GNU diff 比较 utf-16 文件？

发布于 2024-07-18 20:41:00 字数 76 浏览 5 评论 0原文

GNU diff 似乎不够智能，无法检测和处理 UTF-16 文件，这让我感到惊讶。我是否缺少一个明显的命令行选项？有好的选择吗？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

梦途 2024-07-25 20:41:00

vimdiff 非常适合此目的。

我在阅读这个 StackOverflow 答案。

回复收藏 0 原文

清君侧 2024-07-25 20:41:00

来自 GNU diff 文档：

处理多字节和可变宽度
人物
diff、diff3 和 sdiff 处理每一行
作为单字节字符串的输入
人物。这可能会处理不当
在某些情况下是多字节字符。
例如，当被要求忽略时
空格，diff 没有正确忽略
多字节空格字符。
此外，diff 目前假设每个
字节是一列宽，并且这个
某些假设是不正确的
区域设置，例如使用 UTF-8 的区域设置
编码。这会导致以下问题
-y 或 --side-byside 选项
差异。
这些问题需要解决
不过度影响
公用事业的绩效
单字节环境。
IBM GNU/Linux 技术中心
国际化团队提出
一些补丁来支持
国际化差异
http:// /oss.software.ibm.com/developer/opensource/linux/patches/i18n/diffutils-2.7.2-i18n-0.1.patch.gz。
不幸的是，这些补丁是
不完整并且是旧版本
diff，所以需要做更多的工作
在这个领域。

我自己从来没有意识到这一点。

如果非自由、非命令行工具可以完成这项工作，看起来 Guiffy 可以胜任这项工作，但仍在寻找免费软件命令行工具：

http://www.guiffy.com/Diff-Tool.html

回复收藏 0 原文

伴梦长久 2024-07-25 20:41:00

安装支持 UTF-16 的 ripgrep 实用程序，然后运行：

diff <(rg -N . file1.txt) <(rg -N . file2.txt)

ripgrep 支持搜索 UTF-8 以外的文本编码的文件，例如 UTF-16、latin-1、GBK、EUC-JP、Shift_JIS 等。（提供了对自动检测 UTF-16 的一些支持。其他文本编码必须使用 -E/--encoding 标志专门指定。）

Install ripgrep utility which supports UTF-16, then run:

diff <(rg -N . file1.txt) <(rg -N . file2.txt)

ripgrep supports searching files in text encodings other than UTF-8, such as UTF-16, latin-1, GBK, EUC-JP, Shift_JIS and more. (Some support for automatically detecting UTF-16 is provided. Other text encodings must be specifically specified with the -E/--encoding flag.)

回复收藏 0 原文

雪若未夕 2024-07-25 20:41:00

使用重音符号或特殊字符时的格式错误补丁：

 diff --version
 diff (GNU diffutils) 3.6
 diff -Naur old_foo new_foo > foo.patch

正确处理重音符号或特殊字符，无论比较的文件/目录是否位于 git 文件夹中。

 git --version
 git version 2.17.1
 git diff --no-index old_foo new_foo > foo.patch

Malforms patches when accent marks or special characters are used:

 diff --version
 diff (GNU diffutils) 3.6
 diff -Naur old_foo new_foo > foo.patch

Correctly handles accent marks or special characters regardless of whether compared files/dirs are in a git folder.

 git --version
 git version 2.17.1
 git diff --no-index old_foo new_foo > foo.patch

回复收藏 0 原文

紅太極 2024-07-25 20:41:00

您可以使用优秀的 chardet 在 python 中构建一些东西，然后将您的文件转换为 UTF-8 并将其发送到 GNU diff ？

http://chardet.feedparser.org/

回复收藏 0 原文

彼岸花似海 2024-07-25 20:41:00

在 Python 中，您可以使用 difflib.HtmlDiff 创建一个 HTML 表，该表显示两个行序列之间的差异，并且它似乎可以很好地处理 Unicode 字符串（当然，前提是您使用适当的编解码器读取和写入它们）。

>>> hd = difflib.HtmlDiff()
>>> htmldiff = hd.make_file(codecs.open('file1', 'r', 'utf-16').readlines(), codecs.open('file2', 'r', 'utf-16').readlines())
>>> print >> codecs.open('diff.html', 'w', 'utf-16'), htmldiff

In Python, you can use difflib.HtmlDiff to create an HTML table that shows the differences between two sequences of lines, and it seems to work fine with Unicode strings (provided, of course, you read and write them with the appropriate codecs).

>>> hd = difflib.HtmlDiff()
>>> htmldiff = hd.make_file(codecs.open('file1', 'r', 'utf-16').readlines(), codecs.open('file2', 'r', 'utf-16').readlines())
>>> print >> codecs.open('diff.html', 'w', 'utf-16'), htmldiff

回复收藏 0 原文