限制 xargs 读取 stdin 到缓冲区

发布于 2024-10-18 07:14:03 字数 640 浏览 5 评论 0原文

看起来 xargs 从 stdin 读取输入行，即使它已经运行了它可以运行的最大进程数。

这是一个例子：

#!/bin/bash
function xTrigger()
{
   for ii in `seq 1 100`; do echo $ii; sleep 2; done
}
function xRunner()
{
   sleep 10;
   echo $1;
}
export -f xTrigger
export -f xRunner
bash -c "xTrigger" | xargs -n 1 -P 1 -i bash -c "xRunner {}"

在开始上述过程20秒后，我killall xTrigger，所以但是xargs已经缓冲了xTrigger打印的所有内容，所以xRunner继续打印1..10。我想要的是它只打印 1,2

无论如何，我们可以改变这种行为并让 xargs 仅在它想要启动新命令时从 stdin 读取，以便 xTrigger 会在 echo 语句处等待，直到 xargs从中读取？我的标准输入具有非常动态的内容，因此这将非常有用。

尝试坚持使用 xargs 只是因为它稳定且优雅。仅当没有简单的方法使用 xargs 时才需要编写额外的代码。

感谢您的帮助！

原文

It looks like xargs reads input lines from stdin, even when it is already running maximum number of process that it can run.

Here is an example:

#!/bin/bash
function xTrigger()
{
   for ii in `seq 1 100`; do echo $ii; sleep 2; done
}
function xRunner()
{
   sleep 10;
   echo $1;
}
export -f xTrigger
export -f xRunner
bash -c "xTrigger" | xargs -n 1 -P 1 -i bash -c "xRunner {}"

20 seconds after starting above process, I killall xTrigger, so but xargs has buffered everything xTrigger printed, so xRunner continued to print 1..10. What I want is for it to print only 1,2

Is there anyway by which we can change this behaviour and get xargs to read from stdin only when it wants to start a new command, so that xTrigger would wait at the echo statement until xargs reads from it? My stdin has very dynamic content so this would be very useful.

Trying to stick to xargs just because it would be stable and elegent. Want to write extra code only if there is no easy way of doing it with xargs.

Thanks for all your help!

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

忆悲凉 2024-10-25 07:14:03

难道你不需要杀死xTrigger()的Bash PID吗？

bash -c "echo $; xTrigger" | xargs -n 1 -P 1 bash -c 'xRunner "$@"' _
kill -HUP <PID>

Don't you have to kill the Bash PID of xTrigger()?

bash -c "echo $; xTrigger" | xargs -n 1 -P 1 bash -c 'xRunner "$@"' _
kill -HUP <PID>

回复收藏 0 原文

⒈起吃苦の倖褔 2024-10-25 07:14:03

在我的系统上，如果 xargs 正在运行的作业之一以非零返回代码退出，则默认情况下 xargs 将停止。因此，您应该将信号发送到正在运行 XRunner 的 bash pid。

回复收藏 0 原文

如痴如狂 2024-10-25 07:14:03

仅当没有“bash -c xRunner”作业运行时，xTrigger 才会生成下一个触发器。现在效果很好：

#!/bin/bash
function xTrigger()
{
   for ii in `seq 1 100`; do 
      echo $ii; 
      while [[ $(psgrep xRunner|grep -v xargs|wc -l) -ge 1 ]]; do
         sleep 2; 
      done
   done
}
function xRunner()
{
   sleep 10;
   echo $1;
}
export -f xTrigger
export -f xRunner
bash -c "xTrigger" | xargs -n 1 -P 1 -i bash -c "xRunner {}"

Got xTrigger to to generate next trigger only when there are no 'bash -c xRunner' jobs running. Works great now:

#!/bin/bash
function xTrigger()
{
   for ii in `seq 1 100`; do 
      echo $ii; 
      while [[ $(psgrep xRunner|grep -v xargs|wc -l) -ge 1 ]]; do
         sleep 2; 
      done
   done
}
function xRunner()
{
   sleep 10;
   echo $1;
}
export -f xTrigger
export -f xRunner
bash -c "xTrigger" | xargs -n 1 -P 1 -i bash -c "xRunner {}"

回复收藏 0 原文

~没有更多了~