如何在文件中列出的文件中查找来自文件的单词？

Question

在单个文件中搜索单词很容易：

grep stuff file.txt

但是我有很多文件，每个文件都是 files.txt 中的一行，并且我想查找许多单词，每个都是 words 中的一行。 txt.输出应该是一个文件，其中每行 a =>; b，其中 a 是 words.txt 中的行号，b 是 files.txt< 中的行号/代码>。

我需要在 OSX 上运行它，所以最好在 shell 中运行一些简单的东西，但任何其他语言都可以。我自己对 shell 脚本没有太多经验，而且我更习惯于对字符串搜索没有用的语言（即 C - 我猜 Perl 或 Python 可能会有帮助，但我没有使用过它们） ）。

Answer 1

你可能会更快、更 Pythonic、更容易理解：

with open("words.txt") as words:
    wlist=[(ln,word.strip()) for ln,word in enumerate(words,1)]

with open("files.txt") as files:
    flist=[(ln,file.strip()) for ln,file in enumerate(files,1)]

for filenum, filename in flist:
    with open(filename) as fdata:
        for fln,line in enumerate(fdata,1):
            for wln, word in wlist:
                if word in line:
                    print "%d => %d" % (wln, fln)

Answer 2

这是 awk 的两部分：
1.扫描files.txt中的每个文件，将单词编号映射到文件名
2.将文件名映射到files.txt中的行号

awk '
  NR == FNR {word[$1] = NR; next}
  {for (i=1; i<=NF; i++) {if ($i in word) {print word[$i] " => " FILENAME; break}}}
' words.txt $(<files.txt) | 
sort -u |
awk '
  NR == FNR {filenum[$1] = NR; next}
  {$3 = filenum[$3]; print}
' files.txt -

Answer 3

首先，学会指定感兴趣的文件。在一个目录中还是在多个目录中？ Unix find 实用程序可以做到这一点。

在 Bash 提示符处：

$ cd [the root directory where your files are]
$ find . -name "*.txt"

您没有说，但假设这些文件可以用“星点某物”描述，然后 find 会找到这些文件。

接下来，将文件名通过管道传递给您想要对其执行的操作：

$ find . -name "*.txt" -print0 | xargs -0 egrep 'stuff'

这将在每个文件上运行 egrep，搜索模式为 stuff

Google find加上xargs实际上有数千个示例。一旦您可以轻松地找到这些文件，请重新表述您的问题，以便更明显地了解您想要对它们执行的操作。然后我可以用 Perl 帮你做。

Answer 4

下面的 python 脚本可以做到这一点。这是我第一次尝试 python，所以我很感激任何评论

flist = open('files.txt')

filenum = 0
for filename in flist:
    filenum = filenum + 1
    filenamey = filename.strip()
    filedata = open(filenamey)
    for fline in filedata:
        wordnum = 0
        wlist = open('words.txt')
        for word in wlist:
            wordnum = wordnum + 1
            sword = word.strip()
            if sword in fline:
                s = repr(filenum) + ' => ' + repr(wordnum)
                print s

Answer 5

这里的东西可以做你想做的事，但唯一的事情是它不会打印出匹配的单词，而是只打印出匹配的行、文件名和行号。但是，如果您在 grep 上使用 --color=auto ，它将使用您在 ${GREP_COLOR} 中设置的内容突出显示匹配的单词，默认为红色。

cat files.txt | xargs grep -nf words.txt --color=auto

此命令将逐行转储 files.txt 的所有内容，并将文件名通过管道传递给 grep，后者将在文件中搜索 words.txt< 中匹配的每个单词。 /代码>。与 files.txt 类似，words.txt 应该是您想要用换行符分隔的所有搜索词。

如果您的 grep 是使用 perl 正则表达式引擎构建的，那么，如果您将 -P 选项传递给 grep，则可以使用 Perl 正则表达式，如下所示：

grep -Pnf words.txt --color=auto

希望这会有所帮助。

更新：起初，我不太确定@Zeophlite 在问什么，但在他发布示例后，我明白了他想要什么。这是他想要做的事情的 python 实现：

from contextlib import nested


def search_file(line_num, filename):
    with nested(open(filename), open('words.txt')) as managers:
        open_filename, word_file = managers
        for line in open_filename:
            for wordfile_line_number, word in enumerate(word_file, 1):
                if word.strip() in line:
                    print "%s => %s" % (line_num, wordfile_line_number)


with open('files.txt') as filenames_file:
    for filenames_line_number, fname in enumerate(filenames_file, 1):
        search_file(filenames_line_number, fname.strip())

Answer 6

在纯 shell 中执行此操作，我很接近：（

$ grep -n $(tr '\n' '|' < words.txt | sed 's/|$//') $(cat files.txt)

尝试找出如何删除 $(cat files.txt)，但不能）

这会打印出每个文件中的单词，并且打印出它们出现的行，但不会打印出 words.txt 中该单词所在的行。

我可能可以做一些非常丑陋的事情（如果你认为这还不够丑的话），但你真正的答案是使用更高级别的语言。 awk 解决方案是shellish，因为大多数人现在认为 awk 只是 Unix 环境的一部分。但是，如果您使用的是 awk，您也可以使用 perl、python 或 ruby。

awk 的唯一优点是，即使创建发行版的用户没有包含任何开发包，它也会自动包含在 Linux/Unix 发行版中。这种情况很少见，但确实发生了。

Answer 7

来解答您的需求

。

您的代码：

flist = open('files.txt') 

filenum = 0 
for filename in flist: 
    filenum = filenum + 1 
    filenamey = filename.strip() 
    filedata = open(filenamey) 
    for fline in filedata: 
        wordnum = 0 
        wlist = open('words.txt') 
        for word in wlist: 
            wordnum = wordnum + 1 
            sword = word.strip() 
            if sword in fline: 
                s = repr(filenum) + ' => ' + repr(wordnum) 
                print s 

您打开'files.txt'但不关闭它。
with open('files.txt') as flist: 更可取，因为它的文本更干净，并且能够单独关闭。

代替 filenum = filenum + 1 ，使用 enumerate()
从现在开始，您绝对不能忘记enumerate()，因为它是一个非常有用的函数。它的工作速度也非常快。

在我看来，fline 对于行迭代器来说并不是一个好名字； line 不是很好吗？

指令 wlist = open('words.txt') 的位置不太好：它不仅在每个打开的文件中执行，甚至在每次分析一行时执行。
此外，每次迭代 wlist 时，即在每一行，都会执行对 wlist 中列出的名称的处理。您必须将这种处理排除在所有迭代之外。

wordnum只不过是wlist中word的索引。您可以再次使用 enumerate() 或简单地使用索引 i 循环并使用 wlist[i] 而不是 word

每次wlist的剑出现在队伍中时，你

print repr(filenum) + ' => ' + repr(wordnum) 

最好这样做 print repr(filenum) + ' =>; ' + repr(all_wordnum) 其中 all_wordnum 将是在一行中找到的所有sword 的列表

您将单词列表保存在一个文件中。你最好把这个单词的列表连载一下。请参阅模块 pickle 和 pickle

在结果记录方面还有一些需要改进的地方。因为每次都执行指令

print repr(filenum) + ' => ' + repr(wordnum)

并不是一个好的做法。如果要记录在文件中也是一样的：不能重复命令 write() 更好的方法是将所有结果列在一个列表中，并在过程结束时打印或记录，使得 < code>"\n".join(list) 或类似的东西

Answer 8

一个纯粹的 sh 答案，假设单词或文件名不包含任何 shell 元字符，例如空格：

nw=0; while read w; do nw=`expr $nw + 1`; nf=0; { while read f; do nf=`expr $nf + 1`; fgrep -n $w $f | sed 's/:.*//' | while read n; do echo $nw =\> $nf; done; done < /tmp/files.txt;}; done < /tmp/words.txt

但我更喜欢 Perl 来处理这种事情。
Perl 脚本不会像 carrrot-top 的 Python 代码那么短或可读，除非你使用 IO::全部。