比较 2 个相似的文件并仅输出差异，保留它们出现的顺序？

Question

希望有人能帮助我解决这个问题

我有 2 个文件，一个是 325 行长，一个是 361 行长。

这些文件大部分内容相同，但第二个文件插入了随机的额外行。我只对额外的行感兴趣，并且需要保留它们在文件中出现的顺序。

这些文件包含大约 31 行的重复段落 - 我知道该段落的第一行和最后一行，并且删除整个段落没有问题，但不知道如何删除。

即 File1

The quick brown
fox jumped 
over the
lazy dog
The quick brown
fox jumped
over the
lazy dog
The quick brown
fox jumped
over the
lazy dog

即 File2

The quick brown
fox jumped
over the
lazy dog
sadhasdgh
qyyutrytkdaslksad
utyiuiytiuyo
The quick brown
fox jumped
over the
lazy dog
djakdjhgmv
asdjkljkgfyiyi
The quick brown
fox jumped
over the
lazy dog
jghytpuptou

我只需要按以下顺序输出额外的行：

sadhasdgh
qyyutrytkdaslksad
utyiuiytiuyo
djakdjhgmv
asdjkljkgfyiyi
jghytpuptou

任何帮助或建议将不胜感激，不幸的是我不是 *nix 人:( 我尝试了一些 diff 表达式和 comm 表达式，但无法得到我需要的东西。

Answer 1

尝试这个神奇的命令：

diff file1.txt file2.txt | sed -n 's/^> \(.*\)/\1/p'

diff file1.txt file2.txt 应该输出类似

2c2
< fox jumped 
---
> fox jumped
4a5,7
> sadhasdgh
> qyyutrytkdaslksad
> utyiuiytiuyo
8a12,13
> djakdjhgmv
> asdjkljkgfyiyi
12a18
> jghytpuptou

sed -n 's/^>; \(.*\)/\1/p' 应该找到以 > 开头的行，并输出不带 > 的行。这不起作用的可能原因是您系统上 diff 的输出不同？

Answer 2

这应该有效 -

awk 'NR==FNR{a[$0]++;next} !($0 in a){print $0}' file1 file2

解释：

NR 和 FNR 是 awk 的内置变量。 NR 注册记录数，并且在处理两个文件时不会重置为 0。 FNR 与 NR 类似，但在文件完全解析后重置为 0。

在此 awk 单行代码中，我们保留条件 NR==FNR，即强制执行操作 {a[$0]++;next} 仅在 file1 上（因为 NR==FNR 仅在我们使用 file1 之前才为真）。此操作将每一行存储在一个数组中。添加 next 以便不会调用第二个操作。一旦此 NR==FNR 变为 untrue，则永远不会调用第一个操作。 awk 转到第二个操作，即检查 file2 相对于数组 的内容（即文件1）。如果file2的内容在array中，我们忽略它。如果数组中不存在，我们将打印它，因为这些行将是额外的行，并且仅在file2中。

测试：

文件1：

[jaypal:~/Temp] cat file1
The quick brown
fox jumped 
over the
lazy dog
The quick brown
fox jumped
over the
lazy dog
The quick brown
fox jumped
over the
lazy dog

文件2：

[jaypal:~/Temp] cat file2
The quick brown
fox jumped
over the
lazy dog
sadhasdgh
qyyutrytkdaslksad
utyiuiytiuyo
The quick brown
fox jumped
over the
lazy dog
djakdjhgmv
asdjkljkgfyiyi
The quick brown
fox jumped
over the
lazy dog
jghytpuptou

执行：

[jaypal:~/Temp] awk 'NR==FNR{a[$0]++;next} !($0 in a){print $0}' file1 file2
sadhasdgh
qyyutrytkdaslksad
utyiuiytiuyo
djakdjhgmv
asdjkljkgfyiyi
jghytpuptou

Answer 3

这可能对你有用（GNU diff）：

diff -bu file1 file2 | sed -n '1,2d;s/^+//p'
sadhasdgh
qyyutrytkdaslksad
utyiuiytiuyo
djakdjhgmv
asdjkljkgfyiyi
jghytpuptou

Answer 4

diff -b sample.log sample.log.1 | awk '/>/ {print $2}'