为什么我的 Python 程序每个进程的 CPU 平均利用率只有 33%？如何让 Python 使用所有可用的 CPU？

发布于 2024-08-10 23:33:57 字数 336 浏览 4 评论 0原文

我使用Python 2.5.4。我的电脑：CPU AMD Phenom X3 720BE，主板 780G，4GB RAM，Windows 7 32 位。

我使用Python线程但不能让每个python.exe进程消耗100% CPU。为什么他们平均只使用 33-34% 左右？

我希望将所有可用的计算机资源用于这些大型计算，以便尽快完成它们。

编辑：谢谢大家。现在我正在使用并行Python，一切都运行良好。我的CPU现在总是100%。谢谢大家！

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

坏尐絯 2024-08-17 23:33:57

看来你有一个 3 核的 CPU。如果您想在本机 Python 代码中使用多个 CPU 核心，则必须生成多个进程。（两个或多个Python线程不能在不同的CPU上同时运行）

作为R。 Pate 说，Python 的 multiprocessing 模块是一种方法。不过，我建议您查看 Parallel Python。它负责分配任务和消息传递。您甚至可以在许多单独的计算机上运行任务，而无需对代码进行少量更改。

使用它非常简单：

import pp

def parallel_function(arg):
    return arg

job_server = pp.Server() 

# Define your jobs
job1 = job_server.submit(parallel_function, ("foo",))
job2 = job_server.submit(parallel_function, ("bar",))

# Compute and retrieve answers for the jobs.
print job1()
print job2()

It appears that you have a 3-core CPU. If you want to use more than one CPU core in native Python code, you have to spawn multiple processes. (Two or more Python threads cannot run concurrently on different CPUs)

As R. Pate said, Python's multiprocessing module is one way. However, I would suggest looking at Parallel Python instead. It takes care of distributing tasks and message-passing. You can even run tasks on many separate computers with little change to your code.

Using it is quite simple:

import pp

def parallel_function(arg):
    return arg

job_server = pp.Server() 

# Define your jobs
job1 = job_server.submit(parallel_function, ("foo",))
job2 = job_server.submit(parallel_function, ("bar",))

# Compute and retrieve answers for the jobs.
print job1()
print job2()

回复收藏 0 原文

恍梦境° 2024-08-17 23:33:57

尝试使用 multiprocessing 模块，因为 Python 虽然具有真实的本机线程，但会限制其持有 GIL 时并发使用。另一种选择是编写 C 扩展模块并从 Python 调用其中的函数，如果您需要真正的速度，您应该考虑一下。您可以在这些 C 函数中释放 GIL。

另请参阅 David Beazley 的 令人兴奋的 GIL。

回复收藏 0 原文

魔 2024-08-17 23:33:57

全局解释器锁

采用这种锁的原因包括：
* 提高了单线程程序的速度（无需获取或释放锁
  分别针对所有数据结构）
* 轻松集成通常不是线程安全的 C 库。
用以下语言编写的应用程序
GIL 必须使用单独的进程
（即口译员）实现全面
并发性，每个解释器都有
它自己的 GIL。

Global Interpreter Lock

The reasons of employing such a lock include:
* increased speed of single-threaded programs (no necessity to acquire or release locks
  on all data structures separately)
* easy integration of C libraries that usually are not thread-safe.
Applications written in languages with
a GIL have to use separate processes
(i.e. interpreters) to achieve full
concurrency, as each interpreter has
its own GIL.

回复收藏 0 原文