不完全是先进先出

Question

我正在绞尽脑汁，但找不到解决方案。请考虑这种情况：

我有编写器想要写入非阻塞“队列”到本地网络上的另一台机器，并且有一个读取器将读取数据（如果没有编写器则为阻塞模式）并执行一些作业 A，然后一个小时后返回并获取下一个数据。

所以场景是这样的：

• Writer 写入
• Writer 写入
• Writer 写入
• Writer 写入
• Writer 写入

• Reader 读取并执行工作

  在读者忙碌的同时：

• 作家写作
• 作家写作
• 作家写作
• 作家写作
• 作家写作
• 等等...

我想我可以做到这一点使用 tcp 守护进程作为读取器，但这意味着它将与 fork 同时运行，并且我希望读取器一次处理一个，因为它将执行一项占用 cpu 的工作。

我考虑过让 tcp 服务器获取请求，然后向 FIFO 发出信号，并让另一个守护进程从 FIFO 读取数据，但它具有相同的限制。

我的意思是当写入器写入时 FIFO 必须读取，并且我希望写入器的写入速度比读取器快很多倍。

数据库解决方案就可以了，但是a）它不是很快，b）读者没有锁定。我不想用 sleep(x) 来实现它，这似乎不是一个好的编程技术。

有什么解决办法吗？

Answer 1

这听起来好像您遇到了生产者-消费者问题。查看维基百科文章中的各种实现，看看其中之一是否满足您的需求。

Answer 2

多线程似乎是一条可行的道路。创建一个线程来启动读取或写入部分，并在其他任务上使用另一个线程。如果需要将数据从读取器传递到写入器，则需要在线程之间提供一些线程安全通信。您还可以考虑使用多个线程进行写入，具体取决于应用程序的上下文。

对于 POSIX 系统上的普通 C，pthreads 是最佳选择。

Answer 3

一种选择是拥有一个服务器（编写器）和一个客户端节点。
这概述了一般方法：

服务器生成作业并将其推送到本地队列中：

// server thread
while(true)
{
     job = generate();
     jobs_queue.push(job); // push job to a local queue on the server
}

当客户端连接到服务器时，服务器上的线程读取队列中的所有内容并将其推送到客户端。当没有连接的客户端时，队列需要保存作业。可能与您的情况无关。

// server acceptor
while(true)
{
     c = wait_for_connection();
     while(connected(c))
     {
          while(queue.size() >  0)
              c.write(queue.pop()); // send a job to the client

          // block till queue is not empty. can be achieved with sleep or by using a mutex.
     }
}

客户端节点将位于 TCP 套接字上，读取作业并将其放入本地队列（在客户端上）。
有一个客户端线程的工作方式如下：

// client thread that poll from server
while(true)
{
    job = readNextJob(); // tcp, blocks if there is nothing to read
    queue.push(job);
}

// client thread that spawn jobs from queue
while(true)
{
    job = queue.pop(); // blocks if queue empty
    job.execute();
    job.waitForCompletion();
}