从更大的二进制文件中查找大的二进制值

Question

正如标题所示，我想 grep 一个相当大（大约 100MB）的二进制文件，以获取二进制字符串 - 这个二进制字符串不到 5K。

我尝试过使用 -P 选项进行 grep ，但这似乎只在模式只有几个字节时返回匹配项 - 当我达到大约 100 个字节时，它不再找到任何匹配项。

我也尝试过bgrep。这最初工作得很好，但是，当我需要将模式扩展到我现在的长度时，我只是得到“无效/空搜索字符串”错误。

具有讽刺意味的是，在 Windows 中我可以使用 HxD 搜索文件，并在实例中找到它。但我真正需要的是一个 Linux 命令行工具。

谢谢你的帮助，

西蒙

Answer 1

假设我们有几个大的二进制数据文件。对于不应该匹配的大文件，我们创建一个 100MB 的文件，其内容全部为 NUL 字节。

dd ibs=1 count=100M if=/dev/zero of=allzero.dat

对于我们想要匹配的，创建一百个随机兆字节。

#! /usr/bin/env perl

use warnings;

binmode STDOUT or die "$0: binmode: $!";

for (1 .. 100 * 1024 * 1024) {
  print chr rand 256;
}

以 ./mkrand >myfile.dat 的形式执行。

最后，将已知匹配提取到名为 pattern 的文件中。

dd skip=42 count=10 if=myfile.dat of=pattern

我假设您只需要匹配的文件 (-l) 并希望按字面意思处理您的模式 (-F 或 --fixed-strings）。我怀疑您可能遇到了 -P 的长度限制。

您可能想使用 --file=PATTERN-FILE 选项，但 grep 将 PATTERN-FILE 的内容解释为换行符分隔模式，因此在您的 5KB 模式可能包含换行符的情况下，您将遇到编码问题。

因此，希望您的系统的 ARG_MAX 足够大，然后就可以了。请务必引用 pattern 的内容。例如：

$ grep -l --fixed-strings "$(cat pattern)" allzero.dat myfile.dat
myfile.dat

Answer 2

尝试使用 grep -U 来将文件视为二进制文件。

另外，您如何指定搜索模式？它可能只需要转义即可在 shell 参数扩展中生存

Answer 3

由于您正在搜索的字符串相当长。您可以受益于 Boyer-Moore 搜索算法的实现，该算法在搜索字符串很长时非常有效

http://en.wikipedia.org/wiki/Boyer%E2%80%93Moore_string_search_algorithm

该维基也有链接一些示例代码。

Answer 4

您可能想查看一个简单的 Python 脚本。

match= (b"..." 
    b"...."
    b"..." ) # Some byte string literal of immense proportions
with open("some_big_file","rb") as source:
    block= read(len(match))
    while block != match:
        byte= read(1)
        if not byte: break
        block= block[1:]+read(1)

这在 Linux 和 Windows 下都可以可靠地工作。