将多个标准输出重定向到单个文件

Question

我有一个程序在多台带有 NFS 的机器上运行，我想将它们的所有输出记录到一个文件中。我可以运行 ./my_program >>每台机器上的 filename 或者是否存在我应该注意的并发问题？因为我只是追加，所以我认为不会有问题，但我只是想确定一下。

Answer 1

这可能可行，但是，是的，您将遇到并发问题，并且日志文件基本上无法辨认。

我建议每台机器都有一个日志文件，然后定期（比如每晚）将文件与机器名称连接在一起作为文件名：

for i in "/path/to/logfiles/*"; do
    echo "Machine: $i";
    cat $i;
done > filename.log

我认为这应该会给您一些想法。

Answer 2

NFS 协议不支持原子附加写入，因此附加写入在任何平台的 NFS 上都不是原子的。如果您尝试，文件最终会损坏。

当从多个线程或进程追加到文件时，在文件以追加模式打开、写入的字符串不超过文件系统块大小并且文件系统是本地的条件下，对该文件的 fwrite 是原子的。但在 NFS 中并非如此。

有一个解决方法，尽管我不知道如何从 shellscript 中做到这一点。该技术称为接近开放的缓存一致性