multiprocessing

multiprocessing

文章 35 浏览 400

Python 多处理队列

我正在用一组我想要并行运行的作业填充队列,并使用 python 的多处理模块来执行此操作。下面的代码片段: import multiprocessing from multiprocessi…

箹锭⒈辈孓 2024-10-28 06:30:37 1 0

Python 多处理:远程连接到管理器时套接字错误超时

新人,第一次提问。 我正在使用 Python 的多处理模块,该模块当前正在我的本地主机上创建一个管理器和几个(45)个进程。 我的管理器设置如下: manag…

べ繥欢鉨o。 2024-10-28 00:45:02 1 0

并行化我的 python 程序

我有一个 python 程序,它从输入文件中读取一行,进行一些操作并将其写入输出文件。我有一台四核机器,我想充分利用它们。我认为有两种选择可以做到这…

七度光 2024-10-27 15:18:11 2 0

Python 中通过 stdin/stdout/pipes 进行通信的预定义协议?

我有一个进程创建了几个需要在 Python 2.5 中进行通信的子进程。我使用 subprocess 模块来启动进程,将 stdin 和 stdout 设置为 subprocess.PIPE。到…

守护在此方 2024-10-26 04:56:38 0 0

如何使用带有多个参数的 multiprocessing pool.map

在Python multiprocessing 库中,是否有一个变体支持多个参数的 pool.map ? import multiprocessing text = "test" def harvester(text, case): X = …

漆黑的白昼 2024-10-26 04:28:24 3 0

多个进程从Python中央源读取的快速方法?

我正在寻找一种快速的方法让多个进程(在 multiprocessing.Pool() 中)从中央数据源读取数据。目前我有一个文件被读入队列(使用 multiprocessing.Man…

深海蓝天 2024-10-25 07:55:01 1 0

如果任务失败,如何将任务放回到队列中?

我有一个看起来像这样的脚本: #!/usr/bin/env python # encoding: utf-8 import time, random, os, multiprocessing def main(): NPROCESSES = 5 poo…

暖风昔人 2024-10-24 08:31:09 1 0

Python 2.6:使用 multiprocessing.Pool 时处理本地存储

我正在尝试构建一个 python 脚本,该脚本具有跨大量数据的工作进程池(使用 mutiprocessing.Pool)。 我希望每个进程都有一个唯一的对象,可以在该进…

王权女流氓 2024-10-24 03:17:21 3 0

Python Multiprocessing.Pool 惰性迭代

我想知道 python 的 Multiprocessing.Pool 类与 map、imap 和 map_async 一起使用的方式。我的具体问题是,我想映射一个创建内存密集型对象的迭代器,…

过去的过去 2024-10-23 11:11:53 1 0

numpy 和多处理队列的组合扰乱了队列的顺序

我正在使用以下模式进行多重处理: for item in data: inQ.put(item) for i in xrange(nProcesses): inQ.put('STOP') multiprocessing.Process(target…

ゝ杯具 2024-10-22 11:27:31 3 0

如何退出Python多处理循环?

我有一个多处理代码,用于搜索数据库记录以获得特定条件,当它到达数据库末尾时,循环必须停止,我该怎么做?这是代码: import psycopg2 from multip…

雪花飘飘的天空 2024-10-22 06:10:55 1 0

如何使用远程管理器传递 python 对象?

我正在用 python 开发一个简单的客户端-服务器应用程序。我正在使用管理器来设置共享队列,但我不知道如何将任意对象从服务器传递到客户端。我怀疑它…

番薯 2024-10-22 02:49:14 1 0

iPad 2 多重处理?

iPad 2 是否允许多线程应用程序在 2 个处理器内核上同时运行 2 个线程? 如果是这样,除了排队无锁后台任务或 GCD 块之外,是否还需要什么才能获得多…

最初的梦 2024-10-22 01:04:12 1 0

我怎样才能将这个Python代码更改为多进程而不是多线程?

下面的 Python 代码连接到许多服务器,从每台服务器获取一些信息并返回结果。目前它为每个连接启动一个单独的线程。我想了解为每个连接使用单独的进程…

べ繥欢鉨o。 2024-10-21 00:29:44 2 0

Python加入进程而不阻塞父进程

我正在编写一个程序,它将监视特定目录中包含下载 URL 的新文件。一旦检测到新文件,它将创建一个新进程来执行实际下载,同时父进程继续监视目录。我…

冰火雁神 2024-10-20 13:22:03 1 0
更多

推荐作者

烙印

文章 0 评论 0

singlesman

文章 0 评论 0

独孤求败

文章 0 评论 0

晨钟暮鼓

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文