Python子进程；无法读取标准输出

Question

我有大约 500,000 多个 txt 文件，总共大约 7 GB 的数据。我正在使用 python 将它们放入 sqlite 数据库中。我正在创建 2 个表，1. 是 pK 和文件的超链接。 对于另一个表，我使用的是同事用 Perl 开发的实体提取器。

为了实现这一点，我使用 subprocess.Popen()。在使用此方法之前，我在循环的每次迭代中都打开 perl，但它的使用成本太高了。

我需要 Perl 是动态的，我需要能够从它发送回来和第四个数据，并且进程不会终止，直到我告诉它这样做。 Perl 已被修改，因此 Perl 接受文件的完整字符串作为标准输入，并在获得 \n 时给我一个标准输出。但我在读取数据时遇到问题...

如果我使用通信，在循环的下一次迭代中，我的子进程将终止，我会收到 I/O 错误。如果我尝试使用 readline() 或 read()，它会锁定。以下是我所经历的不同行为的一些示例。

这使我的系统陷入僵局，我需要强制关闭 python 才能继续。

numberExtractor = subprocess.Popen(["C:\\Perl\\bin\\perl5.10.0.exe","D:\\MyDataExtractor\\extractSerialNumbers.pl"], stdout=subprocess.PIPE, stdin= subprocess.PIPE)
for infile in glob.glob(self.dirfilename + '\\*\\*.txt'):
   f = open(infile)
   reportString = f.read()
   f.close()

   reportString = reportString.replace('\n',' ')
   reportString = reportString.replace('\r',' ')
   reportString = reportString +'\n'

   numberExtractor.stdin.write(reportString)
   x = numberExtractor.stdout.read()        #I can not see the STDOUT, python freezes and does not run past here.

   print x

这会取消子进程，并且在循环的下一次迭代中出现 I/O 错误。

numberExtractor = subprocess.Popen(["C:\\Perl\\bin\\perl5.10.0.exe","D:\\MyDataExtractor\\extractSerialNumbers.pl"], stdout=subprocess.PIPE, stdin= subprocess.PIPE)
for infile in glob.glob(self.dirfilename + '\\*\\*.txt'):

   f = open(infile)
   reportString = f.read()
   f.close()

   reportString = reportString.replace('\n',' ')
   reportString = reportString.replace('\r',' ')
   reportString = reportString +'\n'
   numberExtractor.stdin.write(reportString)
   x = numberExtractor.communicate()   #Works good, I can see my STDOUT from perl but the process terminates and will not run on the next iteration

   print x

如果我像这样运行它，它就会很好地运行所有代码。打印行是 ', mode 'rb' at 0x015dbf08>对于我的文件夹中的每个项目。

numberExtractor = subprocess.Popen(["C:\\Perl\\bin\\perl5.10.0.exe","D:\\MyDataExtractor\\extractSerialNumbers.pl"], stdout=subprocess.PIPE, stdin= subprocess.PIPE)
for infile in glob.glob(self.dirfilename + '\\*\\*.txt'):
   f = open(infile)
   reportString = f.read()
   f.close()

   reportString = reportString.replace('\n',' ')
   reportString = reportString.replace('\r',' ')
   reportString = reportString +'\n'

   numberExtractor.stdin.write(reportString)
   x = numberExtractor.stdout                #I can not get the value of the object, but it runs through all my files fine.

   print x

希望我犯了一个简单的错误，但是有什么方法可以将文件发送到我的 perll （标准输入），获取标准输出，然后重复，而不必为循环中的每个文件重新打开我的子进程？

Answer 1

考虑使用外壳。生活更简单了。

perl extractSerialNumbers.pl *.txt | python load_database.py

不要乱搞让 Python 启动 perl 之类的事情。只需从 Perl 读取结果并在 Python 中处理这些结果即可。

由于两个进程同时运行，因此速度往往相当快，并且会使用大量 CPU 资源，而无需您进行太多编程。

在Python程序（load_database.py）中，您可以简单地使用fileinput模块来读取stdin上提供的整个文件。

import fileinput
for line in fileinput.input():
    load the row into the database

如果让 shell 完成设置管道的脏活，这就是 Python 程序中所需的全部内容。