vmsplice() 和 TCP

Question

在最初的 vmsplice() 实现中，建议如果您有用户态缓冲区是管道中可容纳的最大页面数的 2 倍，缓冲区后半部分成功的 vmsplice() 将保证内核使用缓冲区的前半部分完成。

但事实并非如此，特别是对于 TCP，内核页面将一直保留到收到对方的 ACK 为止。解决这个问题留待以后的工作，因此对于 TCP，内核仍然必须从管道复制页面。

vmsplice() 具有 SPLICE_F_GIFT 选项可以解决这个问题，但问题是这暴露了另外两个问题 - 如何有效地从内核获取新页面，以及如何减少缓存垃圾。第一个问题是 mmap 需要内核清除页面，第二个问题是尽管 mmap 可能使用花哨的 内核中的 kscrubd 功能，可增加进程的工作集（缓存垃圾回收）。

基于此，我有以下问题：

• 通知用户区安全重用页面的当前状态是什么？我对将页面 splice()d 到套接字（TCP）特别感兴趣。过去 5 年里发生过什么事情吗？
• mmap / vmsplice / splice / munmap 是 TCP 服务器中零复制的当前最佳实践吗？今天我们有更好的选择吗？

Answer 1

是的，由于 TCP 套接字在不确定的时间内保留页面，因此您无法使用示例代码中提到的双缓冲方案。另外，在我的用例中，页面来自循环缓冲区，因此我无法将页面赠送给内核并分配新页面。我可以验证收到的数据中是否存在数据损坏。

我采取轮询 TCP 套接字发送队列的级别，直到它耗尽到 0。这修复了数据损坏，但不是最理想的，因为将发送队列耗尽到 0 会影响吞吐量。

n = ::vmsplice(mVmsplicePipe.fd.w, &iov, 1, 0);
while (n) {
    // splice pipe to socket
    m = ::splice(mVmsplicePipe.fd.r, NULL, mFd, NULL, n, 0);
    n -= m;
}

while(1) {
    int outsize=0;
    int result;

    usleep(20000);

    result = ::ioctl(mFd, SIOCOUTQ, &outsize);
    if (result == 0) {
        LOG_NOISE("outsize %d", outsize);
    } else {
        LOG_ERR_PERROR("SIOCOUTQ");
        break;
    }
    //if (outsize <= (bufLen >> 1)) {
    if (outsize == 0) {
        LOG("outsize %d <= %u", outsize, bufLen>>1);
        break;
    }
};