搜索复制的文件，同时忽略文件名

Question

有时我的学生尝试提交相同的作业文件。如果他们自己做足功课，不可能有任何两个文件完全相同。

我把作业放在这样的文件夹中： /section/id/

这样，课程的每个部分都有自己的文件夹，每个学生都有自己的文件夹，所有文件都在里面最后一个级别。学生文件有多种格式。

• 如何检查任何子文件夹中是否存在完全相同的文件（忽略文件名）？

Answer 1

这可以帮助您使用以下 for 循环 和 awk 单行代码识别学生提供的完全相同的文件：

步骤：1 - 对于路径/到/文件中的 i ；执行 cksum "$i";完成> cksum.txt
步骤：2 - awk 'NR==FNR && a[$1]++ { b[$1]; next } $1 in b' cksum.txt cksum.txt

测试：

一些示例文件，其中学生 2 使用了与学生 1< 相同的文件/code>

[jaypal:~/Temp/homework] ls -lrt
total 32
-rw-r--r--  1 jaypalsingh  staff  10 17 Dec 17:58 student1
-rw-r--r--  1 jaypalsingh  staff  10 17 Dec 17:58 student2
-rw-r--r--  1 jaypalsingh  staff  10 17 Dec 17:58 student3
-rw-r--r--  1 jaypalsingh  staff  10 17 Dec 17:58 student4
[jaypal:~/Temp/homework] cat student1 
homework1
[jaypal:~/Temp/homework] cat student2 
homework1
[jaypal:~/Temp/homework] cat student3 
homework3
[jaypal:~/Temp/homework] cat student4 
homework4

第 1 步：

使用 cksum 实用程序创建 cksum.txt 文件

[jaypal:~/Temp/homework] for i in *; do cksum "$i"; done > cksum.txt
[jaypal:~/Temp/homework] cat cksum.txt 
4294967295 0 cksum.txt
1271506813 10 student1
1271506813 10 student2
1215889011 10 student3
1299429862 10 student4

第 2 步：

使用 awk one -liner 识别所有文件相同

[jaypal:~/Temp/homework] awk 'NR==FNR && a[$1]++ { b[$1]; next } $1 in b' cksum.txt cksum.txt 
1271506813 10 student1
1271506813 10 student2 

测试2：

[jaypal:~/Temp/homework] for i in stu*; do cksum "$i"; done > cksum.txt
[jaypal:~/Temp/homework] awk 'NR==FNR && a[$1]++ { b[$1]; next } $1 in b' cksum.txt cksum.txt 
1271506813 10 student1
1271506813 10 student2
1271506813 10 student5
[jaypal:~/Temp/homework] cat student5
homework1

Answer 2

创建所有文件的 md5 并将它们插入字典中。

Answer 3

列出至少有一个重复项的文件：

md5sum * | sort | uniq -w32 --all-repeat=separate | awk '{print $2}'

当然，这只会查找完全相同的文件。

要处理子文件夹中的内容，您需要修改它以与 find 一起使用。

Answer 4

这是一个完整的研究领域：

• 抄袭检测
• 其他（稍后将搜索）

上述方法的问题是，选项卡大小/设置和类似内容的更改将会产生影响。大多数家庭作业甚至要求学生的名字位于顶部。这将使所有相同的提交内容看起来有所不同。

我建议通过预处理器（一方面，剥离注释）和一些（非常严格的）代码缩进器（astyle、bcpp、cindent...？）运行提交，以消除任何“表面差异”。

如果允许出现一些误报，您甚至可能要考虑忽略大小写。这甚至能够发现喜欢命名约定的抄袭者（将 FindSpork() 重命名为 findSpork()？）。

我可以想到添加一些启发式方法。不过，这应该会让你朝着正确的方向前进。

编辑 PS当然，在完成其他操作之后，您仍然可以通过校验和来运行它。因此，例如，您可以

cat submission.cpp | astyle -bj | cpp - | md5sum

获取对意外/表面更改（例如注释或空格）不太敏感的指纹。

Answer 5

如果您确实对精确副本感兴趣，请按大小对文件进行分组。如果一个组有多个成员，请对文件运行 md5sum，然后 sort | uniq -c 查看是否有重复。

Answer 6

fdupes 在这里可以很好地完成此任务

Answer 7

下面将检测他们是否只是重命名了一堆变量并更改了空格和制表符等内容。

#!/bin/bash
separate=$(for f; do gzip -9 -c < "$f"; done | wc -c)
together=$(cat "$@" | gzip -9 -c | wc -c)
echo "$separate / $together = $((separate*100/together))%"

该技术被称为“基于压缩的相异性”。请参阅使用数据压缩进行文本比较：

相似性检测在垃圾邮件检测、抄袭检测或主题检测领域非常重要。文本文档比较的主要算法基于柯尔莫哥洛夫复杂度，它是计算定义字母表中两个字符串相似度的完美度量之一。不幸的是，这个度量是不可计算的，我们必须定义几个近似值，这些近似值根本不是度量的，但在某些情况下接近这种行为，并且可以在实践中使用。

(PDF) 使用数据压缩进行文本比较。来源：https://www.researchgate.net/publication/289189224_Text_comparison_using_data_compression [9 月 13 日访问2018]。