无法从 STDIN 正确读取

Question

我在 python 脚本中从 STDIN 读取时遇到一个奇怪的问题。

这是我的用例。我为 rsyslog 配置了输出模块，以便 rsyslog 可以通过管道将日志消息传输到我的 Python 脚本。

我的 Python 脚本非常简单：

#! /usr/bin/env python
# -*- coding: utf-8 -*-
import sys

fd = open('/tmp/testrsyslogomoutput.txt', 'a')
fd.write("Receiving log message : \n%s\n" % ('-'.join(sys.stdin.readlines())))
fd.close()

如果我运行 echo "foo" | mypythonscript.py 我可以在目标文件 /tmp/testrsyslogomoutput.txt 中获取“foo”。但是，当我在 rsyslog 中运行它时，似乎仅当我停止/重新启动 rsyslog 时才会发送消息（我相信某些缓冲区在某个时刻被刷新）。

我一开始以为是Rsyslog的问题。所以我用 shell 程序替换了我的 python 程序，没有对 rsyslog 配置进行任何更改。 shell 脚本与 rsyslog 完美配合，正如您在下面的代码中看到的，该脚本非常简单：

#! /bin/sh
cat /dev/stdin >> /tmp/testrsyslogomoutput.txt

由于我的 shell 脚本可以工作，但我的 Python 脚本不能，我相信我在 Python 代码中的某个地方犯了错误，但我不能找到哪里。如果您能指出我的错误，那就太好了。

提前致谢 ：）

Answer 1

readlines 在完成读取文件之前不会返回。由于输入 stdin 的管道永远不会完成，因此 readlines 也永远不会完成。停止 rsyslog 会关闭管道并让它完成。

Answer 2

我还怀疑原因是 rsyslog 没有终止。 readlines() 在到达真正的 EOF 之前不应返回。但为什么 shell 脚本会有不同的行为呢？也许使用 /dev/stdin 就是原因。尝试这个版本，看看它是否仍然可以运行而不会挂起：

#!/bin/sh
cat >> /tmp/testrsyslogomoutput.txt

如果这有影响，您还可以修复：从 python 打开并读取 /dev/stdin，而不是 sys.stdin。

编辑：所以 cat 以某种方式读取在 stdin 处等待的内容并返回，但 python 会阻塞并等待，直到 stdin 耗尽。奇怪的。您还可以尝试将 readlines() 替换为单个 read() 后跟 split("\n")，但此时我怀疑这会有帮助。

所以，忘记诊断，让我们尝试一个解决方法：强制 stdin 执行非阻塞 I/O。以下内容应该可以做到这一点：

import fcntl, os

# Add O_NONBLOCK to the stdin descriptor flags 
flags = fcntl.fcntl(0, fcntl.F_GETFL)
fcntl.fcntl(0, fcntl.F_SETFL, fl | os.O_NONBLOCK)

message = sys.stdin.read().split("\n")  # Read what's waiting, in one go
fd = open('/tmp/testrsyslogomoutput.txt', 'a')
fd.write("Receiving log message : \n%s\n" % ('-'.join(message)))
fd.close()

您可能希望将其与 python -u 结合使用。希望它有效！

Answer 3

如果您使用 readline() 代替，它将返回 \n，尽管这只会写入一行然后退出。

如果您想继续编写行，只要它们在那里，您可以使用简单的 for：

for line in fd:
  fd.write("Receiving log message : \n%s\n" % (line)
fd.close()