C——序列化技术

Question

我正在编写一些代码来序列化一些数据以通过网络发送。目前，我使用这个原始过程：

1. 创建一个 void* 缓冲区，
2. 对我想通过网络发送的数据应用任何字节排序操作，例如 hton 系列，
3. 使用 memcpy 将内存复制到缓冲区
4. 通过网络发送内存

问题是，对于各种数据结构（通常包含 void* 数据，因此您不知道是否需要关心字节顺序）由于序列化代码对于每个数据结构都非常特定，并且根本无法重用，因此代码变得非常臃肿。

有哪些好的 C 序列化技术可以使这变得更容易/不那么难看？

-

注意：我受限于特定协议，因此我无法自由选择如何序列化我的数据。

Answer 1

对于每个数据结构，都有一个 serialize_X 函数（其中 X 是结构名称），它接受一个指向 X 的指针和一个指向不透明缓冲区结构的指针，并调用适当的序列化函数。您应该提供一些原语，例如serialize_int，它们写入缓冲区并更新输出索引。
原语必须调用类似 Reserve_space(N) 的函数，其中 N 是写入任何数据之前所需的字节数。 Reserve_space() 将重新分配 void* 缓冲区，使其至少与当前大小加上 N 字节一样大。
为了实现这一点，缓冲区结构需要包含指向实际数据的指针、写入下一个字节的索引（输出索引）以及为数据分配的大小。
有了这个系统，所有的serialize_X函数都应该非常简单，例如：

struct X {
    int n, m;
    char *string;
}

void serialize_X(struct X *x, struct Buffer *output) {
    serialize_int(x->n, output);
    serialize_int(x->m, output);
    serialize_string(x->string, output);
}

框架代码将类似于：

#define INITIAL_SIZE 32

struct Buffer {
    void *data;
    size_t next;
    size_t size;
}

struct Buffer *new_buffer() {
    struct Buffer *b = malloc(sizeof(Buffer));

    b->data = malloc(INITIAL_SIZE);
    b->size = INITIAL_SIZE;
    b->next = 0;
    
    return b;
}

void reserve_space(Buffer *b, size_t bytes) {
    if((b->next + bytes) > b->size) {
        /* double size to enforce O(lg N) reallocs */
        b->data = realloc(b->data, b->size * 2);
        b->size *= 2;
    }
}

由此，实现您需要的所有serialize_()函数应该非常简单。

编辑：
例如：

void serialize_int(int x, Buffer *b) {
    /* assume int == long; how can this be done better? */
    x = htonl(x);

    reserve_space(b, sizeof(int));

    memcpy(((char *)b->data) + b->next, &x, sizeof(int));
    b->next += sizeof(int);
}

编辑：
另请注意，我的代码有一些潜在的错误。没有提供错误处理功能，也没有完成后释放缓冲区的功能，因此您必须自己执行此操作。我只是演示了我将使用的基本架构。

Answer 2

我想说绝对不要尝试自己实现序列化。这已经被完成了无数次，您应该使用现有的解决方案。例如protobufs： https://github.com/protobuf-c/protobuf-c

还具有与许多其他编程语言兼容的优点。

Answer 3

我建议使用图书馆。

由于我对现有的库不满意，我创建了 Binn 库来让我们的生活更轻松。

这是使用它的示例：

  binn *obj;

  // create a new object
  obj = binn_object();

  // add values to it
  binn_object_set_int32(obj, "id", 123);
  binn_object_set_str(obj, "name", "Samsung Galaxy Charger");
  binn_object_set_double(obj, "price", 12.50);
  binn_object_set_blob(obj, "picture", picptr, piclen);

  // send over the network
  send(sock, binn_ptr(obj), binn_size(obj));

  // release the buffer
  binn_free(obj);

Answer 4

如果我们知道协议限制是什么，将会有所帮助，但总的来说，您的选择确实非常有限。如果数据是这样的，您可以为每个结构创建字节数组 sizeof(struct) 的联合，它可能会简化事情，但从您的描述来看，听起来您有一个更重要的问题：如果您正在传输指针（您提到void * data) 那么这些点不太可能在接收机器上有效。为什么数据会恰好出现在内存中的同一位置？

Answer 5

对于“C”程序，没有很多好的“自动”序列化选项。在“放弃”之前，建议查看 SUNRPC 包（rpcgen 和朋友）。它具有：

• 自定义格式，用于描述数据结构的“XDR”语言（基本上是“C”的子集）。
• RPC 生成 - 可以自动生成客户端和服务器端的序列化。
• 运行时库，随（几乎）所有 UNIX 环境一起提供。

协议和代码具有互联网标准。

• https://www.rfc-editor.org/rfc/rfc5531 - RPC
• < a href="https://www.rfc-editor.org/rfc/rfc4506" rel="nofollow noreferrer">https://www.rfc-editor.org/rfc/rfc4506 - XDR

Answer 6

这个图书馆可以帮助你。
https://github.com/souzomain/Packer

使用起来很简单，代码也很干净学习。

使用示例：

PPACKER protocol = packer_init();
packer_add_data(protocol, yourstructure, sizeof(yourstructure));
send(fd, protocol->buffer, protocol->offset, 0);
packer_free(protocol);