Python:带有 init 的多处理池映射(将处理程序传递给映射函数)和 uninit

发布于 2024-12-11 01:19:55 字数 517 浏览 0 评论 0原文

我想使用池做这样的事情:

  1. 对于池中的每个进程,初始化一个处理程序(数据库处理程序、http 处理程序等)。
  2. 使用步骤 1 中初始化的处理程序调用映射函数。
  3. 使用步骤 1 中初始化的处理程序调用 uninitialize 函数。

使用 Pool 和 map 可以做到这一点吗?或者我还有其他更好/更简单的选择吗?我应该编写自己的 multiprocessing.pool.worker() 吗?

这基本上就是我想做的:

# per worker lifetime 
conn = httplib.HTTPConnection("localhost",8080)
# to be mapped, with conn from worker as a arg
conn.request("GET", "/some/url")
r1 = conn.getresponse()
r1.status 
# per worker lifetime
conn.close()

I want to do something like this using Pool:

  1. For each process in the Pool, initialize a handler (database handler, http handler, whatever).
  2. Call the mapped function with the handler initialized in step 1.
  3. Call an uninitialize function with the handler initialized in step 1.

Is that possible with Pool and map, or do I have other better/simpler choices? Should I just write my own multiprocessing.pool.worker()?

here is basically what I want to do:

# per worker lifetime 
conn = httplib.HTTPConnection("localhost",8080)
# to be mapped, with conn from worker as a arg
conn.request("GET", "/some/url")
r1 = conn.getresponse()
r1.status 
# per worker lifetime
conn.close()

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文