两个大单词列表的交集

Question

我有两个单词列表（180k 和 260k），我想生成第三个文件，它是两个列表中出现的单词集。

最好（最有效）的方法是什么？我读过讨论使用 grep 的论坛，但是我认为单词列表对于这种方法来说太大了。

Answer 1

如果两个文件已排序（或者可以排序），则可以使用 comm -1 -2 file1 file2 打印出交集。

Answer 2

你是对的，grep 是个坏主意。输入“man join”并按照说明进行操作。

如果您的文件只是单列中的单词列表，或者至少，如果重要的单词是每行的第一个单词，那么您需要做的就是：

$ sort -b -o f1 file1
$ sort -b -o f2 file2
$ join f1 f2

否则，您可能需要给 join(1) 命令一些附加说明：

JOIN(1)                   BSD General Commands Manual                  JOIN(1)

NAME
     join -- relational database operator

SYNOPSIS
     join [-a file_number | -v file_number] [-e string] [-o list] [-t char] [-1 field] [-2 field] file1 file2

DESCRIPTION
     The join utility performs an ``equality join'' on the specified files and writes the result to the standard output.  The ``join field'' is the field in each file by which the files are compared.  The
     first field in each line is used by default.  There is one line in the output for each pair of lines in file1 and file2 which have identical join fields.  Each output line consists of the join field,
     the remaining fields from file1 and then the remaining fields from file2.
     . . .
     . . .

Answer 3

假设每行一个单词，我将使用 grep：

grep -xFf seta setb  

• -x 匹配整行（没有部分匹配）
• -F 按字面解释给定的模式（无正则表达式）
• -f seta 指定要搜索的模式
• setb 是搜索 seta 内容的文件

comm< /code> 会做同样的事情，但需要你的集合预先排序：

comm -12 <(sort seta) <(sort setb)

Answer 4

grep -P '[ A-Za-z0-9]*' 文件 1 | xargs -0 -I {} grep {} file2 > file3

我相信这会查找 file1 中的任何内容，然后检查 file1 中的内容是否在 file2 中，并将匹配的任何内容放入 file3 中。

Answer 5

以前我设法找到一个 Perl 脚本，它可以执行类似的操作：

http://www.perlmonks。 org/?node_id=160735