当前位置：文江博客话题详情

如何在内存中缓冲 stdout 并从专用线程写入它

发布于 2024-07-23 10:44:46 字数 319 浏览 12 评论 0原文

我有一个带有许多工作线程的 C 应用程序。重要的是，这些不会阻塞，因此当工作线程需要写入磁盘上的文件时，我让它们写入内存中的循环缓冲区，然后有一个专用线程将该缓冲区写入磁盘。

工作线程不再阻塞。专用线程在写入磁盘时可以安全地阻塞，而不会影响工作线程（写入磁盘时它不持有锁）。我的内存缓冲区已调整为足够大，以便编写器线程可以跟上。

这一切都很好。我的问题是，如何为标准输出实现类似的东西？

我可以宏 printf() 写入内存缓冲区，但我无法控制可能写入标准输出的所有代码（其中一些位于第三方库中）。

想法？尼克B

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

白首有我共你 2024-07-30 10:44:46

我喜欢使用 freopen 的想法。您还可以使用 dup< 将 stdout 重定向到管道/a> 和 dup2，然后使用 read从管道中获取数据。

像这样：

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

#define MAX_LEN 40

int main( int argc, char *argv[] ) {
  char buffer[MAX_LEN+1] = {0};
  int out_pipe[2];
  int saved_stdout;

  saved_stdout = dup(STDOUT_FILENO);  /* save stdout for display later */

  if( pipe(out_pipe) != 0 ) {          /* make a pipe */
    exit(1);
  }

  dup2(out_pipe[1], STDOUT_FILENO);   /* redirect stdout to the pipe */
  close(out_pipe[1]);

  /* anything sent to printf should now go down the pipe */
  printf("ceci n'est pas une pipe");
  fflush(stdout);

  read(out_pipe[0], buffer, MAX_LEN); /* read from pipe into buffer */

  dup2(saved_stdout, STDOUT_FILENO);  /* reconnect stdout for testing */
  printf("read: %s\n", buffer);

  return 0;
}

I like the idea of using freopen. You might also be able to redirect stdout to a pipe using dup and dup2, and then use read to grab data from the pipe.

Something like so:

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>

#define MAX_LEN 40

int main( int argc, char *argv[] ) {
  char buffer[MAX_LEN+1] = {0};
  int out_pipe[2];
  int saved_stdout;

  saved_stdout = dup(STDOUT_FILENO);  /* save stdout for display later */

  if( pipe(out_pipe) != 0 ) {          /* make a pipe */
    exit(1);
  }

  dup2(out_pipe[1], STDOUT_FILENO);   /* redirect stdout to the pipe */
  close(out_pipe[1]);

  /* anything sent to printf should now go down the pipe */
  printf("ceci n'est pas une pipe");
  fflush(stdout);

  read(out_pipe[0], buffer, MAX_LEN); /* read from pipe into buffer */

  dup2(saved_stdout, STDOUT_FILENO);  /* reconnect stdout for testing */
  printf("read: %s\n", buffer);

  return 0;
}

回复收藏 0 原文

鸩远一方 2024-07-30 10:44:46

如果您使用 GNU libc，则可以使用 ~~内存流~~ 字符串流。

回复收藏 0 原文

只为守护你 2024-07-30 10:44:46

您可以使用 freopen() 将 stdout“重定向”到文件中。

man freopen 说：

freopen()函数打开文件
谁的名字是指向的字符串
按路径并关联流
通过流来指向它。这
原始流（如果存在）是
关闭。使用模式参数
就像 fopen() 函数中一样。
freopen() 的主要用途
功能是改变文件
与标准文本相关联
流（stderr、stdin 或 stdout）。

该文件很可能是一个管道 - 工作线程将写入该管道，而写入线程将侦听。

回复收藏 0 原文

白昼 2024-07-30 10:44:46

为什么不将整个应用程序包装在另一个应用程序中呢？基本上，您想要的是一个智能cat，它将标准输入复制到标准输出，并根据需要进行缓冲。然后使用标准 stdin/stdout 重定向。这可以在根本不修改当前应用程序的情况下完成。

~MSalters/# YourCurrentApp | bufcat

Why don't you wrap your entire application in another? Basically, what you want is a smart cat that copies stdin to stdout, buffering as necessary. Then use standard stdin/stdout redirection. This can be done without modifying your current application at all.

~MSalters/# YourCurrentApp | bufcat

回复收藏 0 原文

友谊不毕业 2024-07-30 10:44:46

您可以使用 setvbuf() 或 setbuf() 更改缓冲的工作方式。这里有一个描述： http://publications.gbdirect.co.uk/c_book /chapter9/input_and_output.html。

[编辑]

stdout 实际上是一个 FILE*。如果现有代码可以与 FILE* 一起使用，我看不出是什么阻止它与 stdout 一起使用。

回复收藏 0 原文

山田美奈子 2024-07-30 10:44:46

一种解决方案（对于您所做的这两件事）是通过 writev 使用聚集写入。

例如，每个线程可以将 sprintf 放入 iovec 缓冲区，然后将 iovec 指针传递给编写器线程，并让它简单地使用 stdout 调用 writev。

这是使用 writev 的示例，来自高级 Unix 编程

在 Windows 下，您将使用WSAsend 具有类似的功能。

回复收藏 0 原文

旧时浪漫 2024-07-30 10:44:46

使用 4096 bigbuf 的方法只能起到一定的作用。我已经尝试过这段代码，虽然它确实成功地将标准输出捕获到缓冲区中，但它在现实情况下无法使用。您无法知道捕获的输出有多长，因此无法知道何时终止字符串 '\0'。如果您尝试使用缓冲区，并且已成功捕获 96 个字符的 stdout 输出，则会输出 4000 个垃圾字符。

在我的应用程序中，我在 C 程序中使用 perl 解释器。我不知道在 C 程序中抛出的任何文档会产生多少输出，因此上面的代码永远不允许我在任何地方干净地打印该输出。

回复收藏 0 原文

~没有更多了~