C++ 中的动态缓冲区类型？

Question

我不完全是 C++ 新手，但过去我很少认真接触过它，所以我对其功能的了解相当粗略。

我正在用 C++ 编写一个快速概念验证程序，并且需要一个动态大小的二进制数据缓冲区。也就是说，我将从网络套接字接收数据，但我不知道会有多少数据（尽管不超过几MB）。我可以自己编写这样的缓冲区，但如果标准库可能已经有一些东西，为什么还要麻烦呢？我使用的是 VS2008，所以一些 Microsoft 特定的扩展对我来说就很好。我只需要四个操作：

• 创建缓冲区
• 将数据写入缓冲区（二进制垃圾，不是以零结尾）
• 以字符数组形式获取写入的数据（及其长度）
• 释放缓冲区

类/函数集的名称是什么/无论我需要什么？

添加：有几票投给了std::vector。一切都很好，但我不想逐字节推送几 MB 的数据。套接字将以几 KB 的大块形式向我提供数据，因此我想一次将它们全部写入。另外，最后我需要以简单的 char* 形式获取数据，因为我需要将整个 blob 传递给一些未修改的 Win32 API 函数。

Answer 1

您想要一个 std::vector：

std::vector<char> myData;

vector 会自动为您分配和释放其内存。使用 push_back 添加新数据（vector 将根据需要调整大小），并使用索引运算符 [] 检索数据。

如果您在任何时候都可以猜测需要多少内存，我建议调用 reserve ，这样后续的 push_back 就不必重新分配那么多内存。

如果您想读取一块内存并将其附加到缓冲区中，最简单的可能是这样的：

std::vector<char> myData;
for (;;) {
    const int BufferSize = 1024;
    char rawBuffer[BufferSize];

    const unsigned bytesRead = get_network_data(rawBuffer, sizeof(rawBuffer));
    if (bytesRead <= 0) {
        break;
    }

    myData.insert(myData.end(), rawBuffer, rawBuffer + bytesRead);
}

myData 现在拥有所有读取的数据，逐块读取。但是，我们复制了两次。

相反，我们尝试这样的操作：

std::vector<char> myData;
for (;;) {
    const int BufferSize = 1024;

    const size_t oldSize = myData.size();
    myData.resize(myData.size() + BufferSize);        

    const unsigned bytesRead = get_network_data(&myData[oldSize], BufferSize);
    myData.resize(oldSize + bytesRead);

    if (bytesRead == 0) {
        break;
    }
}

直接读取缓冲区，但代价是偶尔会过度分配。

这可以通过例如将每次调整大小的向量大小加倍来分摊调整大小来变得更智能，就像第一个解决方案隐式所做的那样。当然，如果您事先了解最终缓冲区的可能大小，则可以预先reserve()一个更大的缓冲区，以最大限度地减少大小调整。

两者都留给读者作为练习。 :)

最后，如果您需要将数据视为原始数组：

some_c_function(myData.data(), myData.size());

std::vector 保证是连续的。

Answer 2

std::string 可以用于此：

• 它支持嵌入空值。
• 您可以通过使用指针和长度调用 append() 来向其追加多字节数据块。
• 您可以通过调用 data() 获取其内容（char 数组），并通过调用 size() 或 length() 获取当前长度> 关于它。
• 释放缓冲区由析构函数自动处理，但您也可以对其调用 clear() 以擦除其内容而不破坏它。

Answer 3

std::vector<unsigned char> buffer;

每个push_back都会在末尾添加新的字符（如果需要则重新分配）。如果您大致知道所需的数据量，则可以调用reserve来最小化分配数量。

buffer.reserve(1000000);

如果你有这样的事情：

unsigned char buffer[1000];
std::vector<unsigned char> vec(buffer, buffer + 1000);

Answer 4

又投一票给 std::vector。最少的代码，跳过 GMan 代码的额外副本：

std::vector<char> buffer;
static const size_t MaxBytesPerRecv = 1024;
size_t bytesRead;
do
{
    const size_t oldSize = buffer.size();

    buffer.resize(oldSize + MaxBytesPerRecv);
    bytesRead = receive(&buffer[oldSize], MaxBytesPerRecv); // pseudo, as is the case with winsock recv() functions, they get a buffer and maximum bytes to write to the buffer

    myData.resize(oldSize + bytesRead); // shrink the vector, this is practically no-op - it only modifies the internal size, no data is moved/freed
} while (bytesRead > 0);

至于调用 WinAPI 函数 - 使用 &buffer[0] （是的，这有点笨拙，但就是这样）传递给 char* 参数 buffer. size() 作为长度。

最后一点，您可以使用 std::string 而不是 std::vector，应该没有任何区别（除非您可以编写 buffer.data() 而不是 &buffer[0] 如果缓冲区是字符串）

Answer 5

我会看一下Boost basic_streambuf< /a>，就是为了这种目的而设计的。如果您不能（或不想）使用 Boost，我会考虑使用 std::basic_streambuf，它非常相似，但需要做更多的工作。无论哪种方式，您基本上都是从该基类派生并重载 underflow() 来将数据从套接字读取到缓冲区中。您通常会将 std::istream 附加到缓冲区，以便其他代码从其中读取内容的方式与用户从键盘（或其他方式）输入的方式大致相同。

Answer 6

不是来自STL但可能有用的替代方案 - Boost.Circular buffer

Answer 7

使用std::vector，一个不断增长的数组，保证存储是连续的（你的第三点）。

Answer 8

关于您的评论“我没有看到append()”，在最后插入是同样的事情。

vec.插入（vec.end，

Answer 9

如果您确实使用 std::vector，您只是用它来管理原始内存。
您可以malloc您认为需要的最大缓冲区，并跟踪到目前为止的写入偏移量/读取的总字节数（它们是同一件事）。
如果你到了最后......要么realloc要么选择失败的方式。

我知道，它不是很 C++，但这是一个简单的问题，其他建议似乎是引入不必要的副本的重量级方法。

Answer 10

这里的重点是，你想用缓冲区做什么。
如果要保留带有指针的结构，则必须将缓冲区固定在首先分配的内存地址处。
为了避免这种情况，您必须使用相对指针和修复列表来在最终分配后更新指针。这本身就值得一类。 （没有找到这样的东西）。