如何开发抄袭检测器？

Question

我计划制作一个剽窃检测器作为我的计算机科学工程最后一年的项目，为此我想听取您关于如何进行的建议。

如果您能建议我需要关注 CS 的哪些领域以及最适合实现的语言，我将不胜感激。

Answer 1

你最好尝试一下Python，因为使用它开发一个程序很容易..我也在做一个关于抄袭检测器的项目..我建议你先标记字符串..实际上它很复杂，但如果你尝试的话就是这样开发源代码，否则如果您开发文本文件抄袭检测器使用余弦相似度方法、LCS 方法或仅考虑位置..

Answer 2

这是一个简单的代码，用于匹配两个文件之间的相似度百分比

import numpy as np
def levenshtein(seq1, seq2):
    size_x = len(seq1) + 1
    size_y = len(seq2) + 1
    matrix = np.zeros ((size_x, size_y))
    for x in range(size_x):
        matrix [x, 0] = x
    for y in range(size_y):
        matrix [0, y] = y

    for x in range(1, size_x):
        for y in range(1, size_y):
            if seq1[x-1] == seq2[y-1]:
                matrix [x,y] = min(
                    matrix[x-1, y] + 1,
                    matrix[x-1, y-1],
                    matrix[x, y-1] + 1
                )
            else:
                matrix [x,y] = min(
                    matrix[x-1,y] + 1,
                    matrix[x-1,y-1] + 1,
                    matrix[x,y-1] + 1
                )
    #print (matrix)
    return (matrix[size_x - 1, size_y - 1])

with open('original.txt', 'r') as file:
    data = file.read().replace('\n', '')
    str1=data.replace(' ', '')
with open('target.txt', 'r') as file:
    data = file.read().replace('\n', '')
    str2=data.replace(' ', '')
if(len(str1)>len(str2)):
    length=len(str1)
else:
    length=len(str2)
print(100-round((levenshtein(str1,str2)/length)*100,2),'% Similarity')

在内容相同的目录中创建两个文件“original.txt”和“target.txt”。

Answer 3

我正在使用 Python 制作一个抄袭检查器作为一个业余爱好项目。
应遵循以下步骤：

1. 对文档进行标记。

2. 使用NLTK库删除所有停用词。

3. 使用 GenSim 库并逐行查找最相关的单词。 这可以通过创建文档的 LDA 或 LSA 来完成。

4. 使用 Google Search API 搜索这些字词。

笔记：
您可能选择使用 Google API 并立即搜索整个文档。 当您处理少量数据时，这将起作用。 然而，在为网站和网络抓取数据构建抄袭检查器时，我们需要应用 NLTK 算法。

Google 搜索 API 将生成与 Python GenSim 库函数中 LDA 或 LSA 生成的单词相同的热门文章。

希望有帮助。

Answer 4

语言几乎无关紧要。 另一个问题对此进行了更多讨论。 基本上，建议的方法是使用Google。 提取部分目标文本，并在 Google 上搜索它们。