从 OCaml 获取 C 二进制数据

Question

（为了论证而忽略字节序 - 这只是一个测试用例/概念证明 - 而且我也永远不会在实际代码中使用 strcpy！）

考虑以下简单的 C 代码：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

/* variables of type message_t will be stored contiguously in memory */
typedef struct {
  int message_id;
  char message_text[80];
} message_t;

int main(int argc, char**argv) {
  message_t* m = (message_t*)malloc(sizeof(message_t));
  m->message_id = 1;
  strcpy(m->message_text,"the rain in spain falls mainly on the plain");

  /* write the memory to disk */
  FILE* fp = fopen("data.dat", "wb");
  fwrite((void*)m, sizeof(int) + strlen(m->message_text) + 1, 1, fp);
  fclose(fp);

  exit(EXIT_SUCCESS);
}

它写入的文件可以轻松地从磁盘读回：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

typedef struct {
  int message_id;
  char message_text[80];
} message_t;

int main(int argc, char**argv) {
  message_t* m = (message_t*)malloc(sizeof(message_t));

  FILE* fp = fopen("data.dat", "rb");
  fread((void*)m, sizeof(message_t), 1, fp);
  fclose(fp);

  /* block of memory has structure "overlaid" onto it */
  printf("message_id=%d, message_text='%s'\n", m->message_id, m->message_text);

  exit(EXIT_SUCCESS);
}

例如，

$ ./write 
$ ./read 
message_id=1, message_text='the rain in spain falls mainly on the plain'

我的问题是，在 OCaml 中，如果我所拥有的只是：

type message_t = {message_id:int; message_text:string}

我将如何获取该数据？ Marshal 做不到，input_binary_int 也做不到。我可以调用 C 中的辅助函数，例如“什么是 sizeof(int)”，然后获取 n 个字节并调用 C 函数来“将这些字节转换为 int”，但在这种情况下，我无法添加任何新的 C 代码，“解包”必须在 OCaml 中完成，基于我所知道的“应该”。这只是在 sizeof 块中迭代字符串或查找 '\0' 的问题，还是有一个聪明的方法？谢谢！

Answer 1

对于进行这种低级结构处理，我发现OCaml Bitstring非常方便。如果您将所有 80 个字符写入磁盘，则 message_t 的等效读取器将是这样的：

bitmatch (Bitstring.bitstring_from_file "data.dat") with
  | { message_id : 32;
      message_text : 8 * 80 : string;
    } -> 
      Printf.printf "message_id=%ld, message_text='%s'\n" 
                    message_id message_text
  | { _ } -> failwith "Not a valid message_t"

按原样，您必须修剪 message_text，但也许位字符串就是您想要执行此类任务的内容一般的。

Answer 2

在弄清楚如何在 Ocaml 中进行编码之前，您需要弄清楚数据表示是什么。您的 C 代码在读取器和写入器之间不一致：写入器仅为字符串写入 strlen(m->message_text)+1 字节，而读取器期望完整的最大 80 字节。

我的建议是使用同一种语言（C 或 Ocaml）进行所有编组。我推荐 Ocaml 的编组库，它已经可以工作、跨平台且易于使用。

如果您需要 C 和 Ocaml 编组代码之间的互操作性，那么您需要制定编组格式，并在两种语言中实现相同的规范。在执行此操作之前，请考虑是否可以使用文本表示形式，这种表示形式不易出错，并且更易于使用第三方工具检查和操作，但体积更大。 JSON 是一种轻量级的数据表示格式，或者您也可以转向重量级的 XML。如果您的所有数据确实像整数和字符串一样简单，并且字符串不包含换行符，则可以以十进制形式编写整数，后跟空格（或 : 或 >,) 后跟字符串，后跟换行符。

如果 C 编组格式是预定义的并且您无法更改它，请注意它是依赖于平台的（取决于体系结构和 C 编译器），并且 Ocaml 不允许您访问此类平台详细信息。因此，最好的选择是将 Ocaml 程序与 C 助手链接，确保助手使用与原始应用程序相同的 C 类型表示形式（sizeof(int)、字节顺序、结构填充）。

Answer 3

您依靠在同一平台上使用相同的 C 编译器来避免必须考虑写入和读回数据的格式。不幸的是，如果您尝试在 C 和 OCaml 之间进行互操作，您就没有那么奢侈了。您必须计算结构中的字节数，确定整数是小端还是大端，并在 OCaml 端进行相应的编码。

您必须分别手动解组每种类型，实际上是解析二进制文件。例如，要读取小端 32 位整数，您必须使用：

let input_le_int32 inch =
  let res = ref 0l in
  for i = 0 to 3 do
    let byte = input_byte inch in
    res := Int32.logor !res (Int32.shift_left (Int32.of_int byte) (8*i))
  done;
  !res

并读取以 NUL 结尾的字符串：

let input_c_string inch =
  let res = Buffer.create 256 in
  try while true do
    let byte = input_byte inch in
    if byte = 0 then raise Exit else
    Buffer.add_char res (char_of_int byte)
  done; assert false with Exit ->
  Buffer.contents res

如果一切正常，您可以使用以下命令读回您的结构：

let input_message inch =
  let message_id   = input_le_int32 inch in
  let message_text = input_c_string inch in
  { message_id; message_text; }

注意：这是命令 /em> (!) 对读取进行排序，以避免乱序读取字段。不要使用并行的let 赋值。

Answer 4

谢谢大家的建议；我已经写下了该方法我决定把我的博客。