如何缓冲非阻塞 IO？

Question

当我需要在阻塞文件描述符上缓冲 IO 时，我使用 stdio. 但是如果我根据手动将文件描述符转换为非阻塞模式，stdio 缓冲将无法使用。 经过一些研究，我发现 BIO 可用于缓冲非阻塞 IO。

但可能还有其他选择吗？

我需要这个以避免在多连接环境中使用线程。

Answer 1

我认为你正在谈论的是反应堆模式。 这是一种无需线程即可处理大量网络连接的非常标准的方法，并且在多人游戏服务器引擎中非常常见。 另一个实现（在Python中）是扭曲矩阵。

基本算法是：

• 为每个套接字设置一个缓冲区，
• 检查每个套接字的哪些套接字已准备好读取（select()、poll() 或只是迭代）
• ：
  • 调用recv()并将内容累积到套接字缓冲区中，直到recv返回0或出现EWOULDBLOCK错误
  • 使用缓冲区的内容调用套接字的应用程序级数据处理程序
  • 清除套接字的缓冲区

Answer 2

我看到这个问题现在已经被编辑了，至少比以前更容易理解了。

无论如何，这不是一个矛盾吗？

• 您将 I/O 设置为非阻塞，因为您希望能够快速读取少量数据，通常会因延迟而牺牲吞吐量。
• 您对其进行缓冲是因为您不太关心延迟，但希望通过以延迟换取吞吐量来有效利用 I/O 子系统。

同时做这两件事似乎是矛盾的，很难想象。

您追求的语义是什么？ 如果您这样做：

int     fd;
char    buf[1024];
ssize_t got;

fd = setup_non_blocking_io(...);
got = read(fd, buf, sizeof buf);

如果有 3 个字节可用，您期望什么行为？ 阻塞/缓冲 I/O 可能会阻塞，直到能够读取更多内容以满足您的请求，非阻塞 I/O 将立即返回 3 个可用字节。

当然，如果你有一些协议在上面，它定义了某种消息结构，这样你就可以知道“这个I/O不完整，我无法解析它，直到我有更多数据”，你可以自己缓冲它在该级别上，并且在收到完整消息之前不会向上传递数据。

Answer 3

根据协议的不同，您当然可能需要缓冲非阻塞网络节点（客户端或服务器）的读取。

通常，这些缓冲区提供多个索引（偏移量），它们都记录最后处理的字节和读取的最后一个字节的位置（与处理的偏移量相同或大于处理的偏移量）。 而且它们还（应该）提供更丰富的压缩缓冲区语义、透明缓冲区大小管理等。

在 Java 中（至少），非阻塞网络 io (NIO) 包还提供了一组数据结构（ByteBuffer 等）旨在提供通用数据结构。

要么存在这样的 C 数据结构，要么您必须推出自己的数据结构。 一旦你拥有它，然后只需读取尽可能多的可用数据，让缓冲区管理溢出等问题（例如跨消息帧边界读取字节），并使用标记偏移量来标记已处理的字节。

正如 Android 所指出的，您（很可能）需要为每个打开的连接创建匹配的缓冲区。

Answer 4

您可以为每个打开的文件描述符创建一个包含缓冲区的结构，然后累积这些缓冲区，直到 recv() 返回 0 或者您的缓冲区中有足够的数据可以处理。

如果我正确理解你的问题，你不能缓冲，因为在非阻塞的情况下，你正在使用多个连接（如果是全局的）写入同一个缓冲区，或者只是写入小块数据（如果是本地的）。

无论如何，您的程序必须能够识别数据来自何处（可能通过文件描述符）并相应地对其进行缓冲。

线程也是一种选择，它并不像许多人听起来那么可怕。

Answer 5

Ryan Dahl 的 evcom 库 正是您想要的。

我在工作中使用它并且效果很好。 但请注意，它（目前）还没有异步 DNS 解析。 Ryan 建议使用Michael Tokarev 的udns。 我现在正在尝试采用 udns 而不是阻止 getaddrinfo() 。