使用 python 中的多进程模块运行多个 Gearman 进程

Question

我想使用 python 的多处理模块运行多个 gearman 工作进程，但该进程似乎是以顺序模式执行的。如果我在多个终端中运行单独的worker.py 程序，那么它工作正常。但我想减轻在如此多的终端中手动指定worker.py 的负担。有什么替代方案吗？

import sys , os , simplejson
from fabric import *
from fabric.api import *
import gearman
from gearman import GearmanWorker
from multiprocessing import Pool


##--Global Variables--##
#Spawing minimun 5 worker threads for Gearman



#executing the Job. gmJob consist of dict[host , cmd , pass] 
def exe_job(gmWorker , gmJob ):
 print " the worker process is " , os.getpid()
 d = simplejson.loads(gmJob.data)
 env.host_string = d['host'] 
 env.password = d['pass']  #will store the password .
 cmds = d['cmd']
 print cmds
 for i in cmds:
  sudo (i )  # using fabric functions to ssh into system  
 return "job sucessfull"

def start_exe():
 #woker node id to be specified in here
 gm_worker = gearman.GearmanWorker(['localhost:4730'])
 #gm_worker.set_client_id('client1')
 gm_worker.register_task('exe_job',exe_job)
 gm_worker.work()


if __name__ == '__main__':
 p = Pool(5)
 result = p.apply_async(start_exe)
 print result.get()

Answer 1

我也找不到这个问题的答案，所以我深入研究并发现你基本上必须使用队列来跟踪你打开的进程和关闭的进程（对于 gearman 工作人员来说是一个错误） 。无论如何，我将它构建成一个模块并将其发布到 pypi 上。这仍然是一项正在进行的工作，但我将尝试在第二天左右添加文档和示例：

• http://pypi.python.org/pypi/gmtasks
• https://github.com/ex-nerd/gmtasks

我还包括通过 json 进行通信的客户端和工作人员类（我提到这一点是因为您的示例似乎使用 json）。

让我知道你的想法。我绝对可以多看几眼来发现错误，或者告诉我我在代码中做了什么完全疯狂的事情。