通过 Boost TCP 发送大块数据？

Question

我必须通过 TCP 将网格数据从一台计算机发送到另一台计算机...这些网格可能相当大。我很难思考通过 TCP 发送它们的最佳方式是什么，因为我对网络编程了解不多。

这是我的基本类结构，我需要将其放入通过 TCP 发送的缓冲区中：

class PrimitiveCollection
{
    std::vector<Primitive*> primitives;
};

class Primitive 
{
    PRIMTYPES primType; // PRIMTYPES is just an enum with values for fan, strip, etc...
    unsigned int numVertices;
    std::vector<Vertex*> vertices;
};


class Vertex
{
    float X;
    float Y;
    float Z;
    float XNormal;
    float ZNormal;
};

我正在使用 Boost 库及其 TCP 内容...它相当容易使用。您只需填充一个缓冲区并通过 TCP 发送它即可。
然而，当然这个缓冲区只能这么大，我最多只能发送 2 MB 的数据。

那么，将上述类结构放入所需缓冲区并通过网络发送的最佳方法是什么？我还需要在接收端进行反序列化。

任何这方面的指导将不胜感激。

编辑：再次阅读本文后，我意识到这确实是一个更普遍的问题，并不是 Boost 所特有的......它更多的是对数据进行分块并发送的问题。不过，我仍然有兴趣看看 Boost 是否有任何东西可以在某种程度上抽象化这一点。

Answer 1

你试过Boost的TCP吗？我不明白为什么 2MB 会成为传输的问题。我假设我们正在谈论以 100mbps 或 1gbps 运行的 LAN、一台具有充足 RAM 的计算机，并且不必具有 > 20ms 响应时间？如果您的目标是将所有 2MB 从一台计算机传输到另一台计算机，只需发送它，TCP 就会为您处理将其分块。

我有一个用 Boost 编写的 TCP 延迟检查工具，它尝试发送各种大小的缓冲区，我通常检查最多 20MB，这些似乎都没有问题。

我想我想说的是，除非您知道自己有问题，否则不要花时间开发解决方案:-)

--------- 解决方案实施 --------

现在我有几分钟的时间，我浏览并快速实现了您所说的内容： https://github.com/teeks99/data-chunker 共有三大部分：

序列化器/反序列化器，boost 有自己的，但比自己滚动好不了多少，所以我就这么做了。

发送方 - 通过 TCP 连接到接收方并发送数据

接收方 - 等待来自发送方的连接并解包收到的数据。

我已将 .exe 包含在 zip 中，运行 Sender.exe/Receiver.exe --help 以查看选项，或者仅查看 main。

更详细的解释：
打开两个命令提示符，然后转到两个命令提示符中的 DataChunker\Debug。
在其中之一运行 Receiver.exe
在另一台计算机上运行 Sender.exe（可以在另一台计算机上运行，​​在这种情况下，如果您想尝试发送多次，请在可执行文件名称后添加 --remote-host=IP.ADD.RE.SS 和 --num -sends=10 发送十次）。
查看代码，您可以看到发生了什么，在各自的 main() 函数中创建 TCP 套接字的接收方和发送方端。发送者创建一个新的 PrimitiveCollection 并用一些示例数据填充它，然后序列化并发送它...接收者将数据反序列化到一个新的 PrimitiveCollection 中，此时原始集合可以被其他人使用，但我刚刚写了到控制台它已经完成了。

编辑：将示例移至 github。

Answer 2

没有任何花哨的东西，根据我在网络课程中的记忆：

• 向接收者发送一条消息，询问它可以处理多大大小的数据块，
• 取其中的最小值和您自己的发送能力，然后回复说：
  • 您要发送的尺寸、数量
• 得到之后，只需发送每个块。您需要等待“确定”回复，这样您就知道自己不会浪费时间发送给不存在的客户。这也是客户端发送“我正在取消”消息而不是“确定”消息的好时机。
• 发送直到所有数据包都收到“Ok”回复为止
• 数据已传输。

这是可行的，因为 TCP 保证按顺序传送。 UDP 需要数据包编号（用于排序）。

压缩是相同的，只不过您发送的是压缩数据。 （数据就是数据，这完全取决于你如何解释它）。只要确保你传达了数据是如何压缩的:)

至于例子，我能找到的只是 此页面和此老问题。我认为你正在做的事情可以与 Boost.Serialization。

Answer 3

我想添加一点需要考虑 - 设置 TCP 套接字缓冲区大小以在一定程度上提高套接字性能。

有一个实用程序 Iperf 可以测试TCP 套接字上的交换速度。我在 Windows 上的 100 Mbs LAN 中运行了一些测试。使用 8Kb 默认 TCP 窗口大小时，速度为 89 Mbits/sec，使用 64Kb TCP 窗口大小时，速度为 94 Mbits/sec。

Answer 4

除了如何分块和交付数据之外，您应该考虑的另一个问题是平台差异。如果两台计算机具有相同的体系结构，并且双方运行的代码是同一编译器的相同版本，那么您可能应该能够通过网络转储原始内存结构并让它在另一台计算机上工作边。但是，如果一切都不相同，您可能会遇到字节序、结构填充、字段对齐等问题。

一般来说，最好为数据定义一个网络格式，与内存中的表示形式分开。该格式可以是二进制的，在这种情况下，数值应该转换为标准形式（主要是将字节序更改为“网络顺序”，即大字节序），也可以是文本格式。许多网络协议选择文本，因为它消除了很多格式问题，并且使调试更容易。就我个人而言，我非常喜欢 JSON。它并不太冗长，每种编程语言都有很好的库可用，而且对于人类来说真的很容易阅读和理解。

定义网络协议时要考虑的关键问题之一是接收器如何知道何时收到了所有数据。有两种基本方法。首先，您可以在消息的开头发送明确的大小，然后接收者知道要继续读取，直到获得那么多字节。另一种是使用某种消息结束定界符。后者的优点是您不必提前知道要发送多少字节，但缺点是您必须弄清楚如何确保消息结束定界符不会出现在消息中。信息。

一旦您决定了数据在网络上流动时应如何构建，那么您应该找到一种将内部表示转换为该格式的方法，最好是“流”方式，这样您就可以循环遍历数据结构，将内部表示转换为该格式。将其每一部分转换为网络格式并将其写入网络套接字。

在接收端，您只需反转该过程，将网络格式解码为适当的内存格式。

对于您的情况，我的建议是使用 JSON。 2 MB 并不是很多数据，因此生成和解析的开销不会很大，并且您可以轻松地直接用 JSON 表示您的数据结构。生成的文本将是自定界的、人类可读的、易于流式传输并且易于解析回目标端的内存中。