什么语言之于二进制，就像 Perl 之于文本？

Question

我正在寻找一种脚本（或更高级别的编程）语言（或例如Python或类似语言的模块）来轻松分析和操作文件中的二进制数据（例如核心转储），就像Perl允许非常顺利地操作文本文件一样。

我想做的事情包括以各种形式（二进制、十进制、十六进制）呈现任意数据块，将数据从一种字节顺序转换为另一种字节顺序等。也就是说，您通常会使用 C 或汇编来完成这些操作，但我寻找一种语言，可以快速地为高度特定的一次性目的编写小段代码。

有什么建议么？

Answer 1

看看 python bitstring，它看起来正是你想要的:)

Answer 2

Python bitstring 模块是为此目的而写的。 它允许您获取二进制数据的任意切片，并通过 Python 属性提供多种不同的解释。 它还提供了大量用于构建和修改二进制数据的工具。

例如：

>>> from bitstring import BitArray, ConstBitStream
>>> s = BitArray('0x00cf')                           # 16 bits long
>>> print(s.hex, s.bin, s.int)                       # Some different views
00cf 0000000011001111 207
>>> s[2:5] = '0b001100001'                           # slice assignment
>>> s.replace('0b110', '0x345')                      # find and replace
2                                                    # 2 replacements made
>>> s.prepend([1])                                   # Add 1 bit to the start
>>> s.byteswap()                                     # Byte reversal
>>> ordinary_string = s.bytes                        # Back to Python string

在位串中也有按位读取和导航的函数，就像在文件中一样； 事实上，这可以直接从文件中完成，无需将其读入内存：

>>> s = ConstBitStream(filename='somefile.ext')
>>> hex_code, a, b = s.readlist('hex:32, uint:7, uint:13')
>>> s.find('0x0001')         # Seek to next occurence, if found
True
    

还有具有不同字节序的视图以及交换字节序的能力等等 - 看看 手册。

Answer 3

我一直使用 010 Editor 查看二进制文件。
它特别适合处理二进制文件。

它有一种易于使用的类似 C 的脚本语言来解析二进制文件并以非常可读的方式呈现它们（作为树、按颜色编码的字段等）。
有一些解析 zip 文件和 bmp 文件的示例脚本。

每当我创建二进制文件格式时，我总是为 010 编辑器编写一个小脚本来查看文件。 如果您有一些带有某些结构的头文件，那么为二进制文件创建一个读取器只需几分钟的时间。

Answer 4

任何具有打包/解包功能的高级编程语言都可以。 Perl、Python 和 Ruby 3 个都可以做到。 这是个人喜好的问题。 我在每一个中都编写了一些二进制解析，并认为 Ruby 对于这项任务来说是最简单/最优雅的。

Answer 5

为什么不使用 C 解释器呢？ 我总是使用它们来试验片段，但您可以使用它们来编写您所描述的脚本，而不需要太多麻烦。

我一直喜欢EiC。 它已经死了，但该项目最近又复活了。 EiC 的能力令人惊讶，而且速度相当快。 还有CINT。 两者都可以针对不同的平台进行编译，尽管我认为 CINT 在 Windows 上需要 Cygwin。

Answer 6

Python 的标准库有一些你需要的东西——特别是 array 模块让您轻松读取二进制文件的部分内容、交换字节顺序等； struct 模块允许对二进制字符串进行更细粒度的解释。 但是，两者都没有您所需要的那么丰富：例如，要以字节或半字形式呈现相同的数据，您需要在两个数组之间复制它（numpy第三方插件对于以几种不同的方式解释相同的内存区域来说更加强大），并且，例如，要以十六进制显示一些字节，没有什么太多的“捆绑”超越简单的循环或列表理解，例如 [hex(b) for b in thebytes[start:stop]]。 我怀疑有可重用的第三方模块可以进一步促进此类任务，但我无法向您指出其中一个......

Answer 7

Forth 在这方面也很擅长，但有点神秘。

Answer 8

好吧，如果速度不是考虑因素，并且您需要 Perl，那么将二进制的每一行转换为一行字符 - 0 和 1。 是的，我知道二进制中没有换行:)，但大概你有一些固定的大小——例如按字节或其他单位，用它们你可以分解二进制 blob。

然后只需对该数据使用 perl 字符串处理:)

Answer 9

如果您正在进行二进制级别处理，那么它的级别非常低，并且可能需要非常高效并且具有最少的依赖项/安装要求。

所以我会选择 C ​​- 可以很好地处理字节 - 你可能可以在 google 上搜索一些处理字节的库包。

使用像 Erlang 这样的东西会带来低效率、依赖性和其他你可能不希望使用低级库的包袱。

Answer 10

我想做的事情包括以各种形式（二进制、十进制、十六进制）呈现任意数据块，将数据从一种字节顺序转换为另一种字节顺序等。也就是说，您通常会使用 C 或汇编来完成这些事情，但是我正在寻找一种语言，它允许非常快速地为高度特定的一次性目的编写小段代码。

好吧，虽然这看起来可能违反直觉，但我发现 erlang 非常适合于此，即由于其强大的支持对于模式匹配，甚至对于字节和位（称为“Erlang 位语法")。 这使得创建非常高级的程序来处理字节甚至位级别的数据检查和操作变得非常容易：

自 2001 年以来，函数式语言 Erlang 附带了面向字节的数据类型（称为二进制）以及在二进制上进行模式匹配的结构。

并引用informIT.com：

(Erlang) 模式匹配真的开始变得简单
与二进制文件结合使用很有趣
类型。 考虑一个应用程序
从网络接收数据包并
然后处理它们。 中的四个字节
数据包可能是网络字节顺序
数据包类型标识符。 在 Erlang 中，你
只需要一个 processPacket
可以将其转换为的函数
内部数据结构
加工。 它看起来会有些东西
像这样：

processPacket(<<1:32/big,RestOfPacket>>) ->
    % Process type one packets
    ...
;
processPacket(<<2:32/big,RestOfPacket>>) ->
    % Process type two packets
    ...

因此，erlang 内置了对模式匹配的支持，并且它是一种函数式语言，因此具有很强的表现力，例如，请参阅 erlang 中 ueencode 的实现：

uuencode(BitStr) ->
<< (X+32):8 || <<X:6>> <= BitStr >>.
uudecode(Text) ->
<< (X-32):6 || <<X:8>> <= Text >>.

有关介绍，请参阅 Erlang 中的位级二进制文件和广义推导式。您可能还想查看以下一些指示：

• 用erlang解析二进制文件，里面有lamers
• 使用 Erlang 进行更多文件处理
• 同时学习 Erlang 和 Adob​​e Flash 格式
• 大型二进制数据是（不是）Erlang 的弱点
• 使用二进制文件和位串进行高效编程
• Erlang 位语法和网络编程
• erlang，网络编程语言（1）
• Erlang，网络编程语言问题 2：二进制模式匹配
• < a href="http://jimmenard.blogspot.com/2007/05/erlang-midi-file-readerwriter.html" rel="noreferrer">Erlang MIDI 文件读取器/写入器
• Erlang 位语法
• 理解字节顺序
• 玩转 Erlang
• Erlang：模式匹配声明与 Case 语句/其他
• 使用 Erlang 二进制文件的流库
• Erlang 中的位级二进制文件和广义推导式
• Erlang 中比特流编程的应用、实现和性能评估

Answer 11

Perl 的 pack 和 解压 ?