shell 过滤文件中禁止的单词

Question

贝壳爱好者们好！

基本上我有两个文件：

Frequency.txt：（多行，空格分隔的文件，包含单词和频率）

de 1711
a 936
et 762
la 530
les 482
pour 439
le 425
...

，我有一个包含“禁止”单词的文件：

stopwords.txt： （单行，空格分隔的文件），

 au aux avec le ces dans ...

所以我想从 Frequency.txt 中删除包含在 stopwords.txt 上找到的单词的所有行

，我该怎么做？我想这可以用 awk 来完成......类似的东西

awk 'match($0,SOMETHING_MAGICAL_HERE) == 0 {print $0}' frequency.txt > new.txt

，但我不太确定......有什么想法吗？提前谢谢

Answer 1

$ awk 'FNR==NR{for(i=1;i<=NF;i++)w[$i];next}(!($1 in w))' stop.txt freq.txt
de 1711
a 936
et 762
la 530
les 482
pour 439

Answer 2

这将为您做到这一点：

tr ' ' '\n' <stopwords.txt | grep -v -w -F -f - frequency.txt

-v 是反转匹配
-w 仅适用于整个单词匹配
-F 表示模式是一组换行符分隔的固定字符串
-f 从 stopwords.txt 文件中获取模式字符串

如果您遇到问题，因为它是空格分隔的，您可以使用 tr 将空格替换为换行符：

Answer 3

tr ' ' '\n' < stopwords.txt | grep -vwFf - frequency.txt

grep 的 -w 对于避免 stopwords.txt 中的 le 删除包含 le 的单词至关重要，例如 <代码>较少或<代码>很少。

Answer 4

join -v1 <(sort frequency.txt) <(tr ' ' '\n' <stopwords.txt|sort) | sort -k2,2rn