Google 协议缓冲区以及对任意二进制数据使用 std::string

Question

相关问题： 向量与二进制数据的字符串。

我的代码使用 vector 来表示任意二进制数据。然而，我的很多代码必须与 Google 的协议缓冲区代码接口。 Protocol buffers 使用 std::string 来存储任意二进制数据。这会导致大量难看的分配/复制/释放周期，只是为了在 Google 协议缓冲区和我的代码之间移动数据。它还导致很多情况下我需要两个构造函数（一个接受向量，一个接受字符串）或两个函数将函数转换为二进制线格式。

该代码在内部大量处理原始结构，因为结构是内容可寻址的（通过哈希存储和检索）、签名的等等。所以这不仅仅是谷歌协议缓冲区接口的问题。代码的其他部分也以原始形式处理对象。

我能做的一件事就是剪切所有代码以使用 std::string 来处理任意二进制数据。我可以做的另一件事是尝试找出更有效的方法来将我的向量存储和检索到 Google 协议缓冲区对象中。我想我的另一个选择是创建标准、简单但缓慢的字符串转换函数并始终使用它们。这将避免大量的代码重复，但从性能的角度来看，这将是最糟糕的。

有什么建议吗？我还缺少更好的选择吗？

这就是我试图避免的：

if(SomeCase)
{
    std::vector<unsigned char> rawObject(objectdata().size());
    memcpy(&rawObject.front(), objectdata().data(), objectdata().size());
    DoSometingWith(rawObject);
}

当原始数据已经存在时，分配、复制、处理、释放是完全没有意义的。

Answer 1

我知道并在使用中看到过两种避免复制的方法。

传统的方法确实是将指针/引用传递给已知实体。虽然这工作得很好并且没有什么大惊小怪，但问题是它将您与给定的表示联系起来，这需要在必要时进行转换（如您所经历的）。

我发现LLVM的另一种方式：

• ArrayRef
• StringRef

这个想法非常简单：两者都持有一个指向开头的 T*由 T 和指示元素数量的 size_t 组成的数组。

神奇的是，它们完全隐藏了实际的存储，无论是字符串、向量、动态或静态分配的 C 数组……都没关系。呈现的界面完全统一，不涉及复制。

唯一需要注意的是，它们不拥有内存的所有权（Ref！），因此如果您不小心，可能会出现微妙的错误。不过，如果您只在瞬态操作中使用它们（例如在函数内）并且不存储它们以供以后使用，通常也没什么问题。

我发现它们在缓冲区操作方面非常方便，特别是由于免费切片操作。范围比成对的迭代器更容易操作。

---

我还经历过第三种方法，但到目前为止从未在严肃的代码中使用过。这个想法是矢量是一种非常低级的表示。通过提升抽象层并使用 Buffer 类，您可以完全封装内存存储的确切方式，这样就您的代码而言，它就不再是问题了。

然后，随意选择一种需要较少转换的内存表示形式。

Answer 2

为了避免此代码（您提供的），

if(SomeCase)
{
    std::vector<unsigned char> rawObject(objectdata().size());
    memcpy(&rawObject.front(), objectdata().data(), objectdata().size());
    DoSometingWith(rawObject);
}

其中大概 objectData 是 std::string，请考虑

typedef unsigned char      Byte;
typedef std::vector<Byte>  ByteVector;

然后例如

if( someCase )
{
    auto const& s = objectData;
    doSomethingWith( ByteVector( s.begin(), s.end() ) );
}