grep -f 替代 sed?awk?

Question

file1 = 95000
file2 = 4500000

我想从 file2 中过滤掉 file1 条目。

egrep -f file1 file2

需要很长时间才能完成。 还有其他选择吗？ sed？ awk？

谢谢

Answer 1

当然，您可以使用 awk。将 file2 条目放入数组中。然后迭代 file1，每次都在数组中查找这些条目。

awk 'FNR==NR{a[$0];next}($0 in a)' file2 file1

尝试这些选项以获得您想要的

awk 'FNR==NR{a[$0];next}(!($0 in a))' file2 file1
awk 'FNR==NR{a[$0];next}(!($0 in a))' file1 file2
awk 'FNR==NR{a[$0];next}($0 in a)' file1 file2

Answer 2

我不认为 grep -f 真的适合使用这种大小的过滤器文件，因此某种数据库支持的解决方案可能是您最好的选择。

您可以将这两个文件逐行加载到 SQLite 数据库中，然后执行一些简单的 SQL 操作，如下所示：

SELECT line FROM file2
EXCEPT
SELECT line FROM file1

然后将它们转储回来。您可以使用 SQLite 直接从命令行完成所有这些操作。