python 的作业队列实现
你知道/使用Python的分布式作业队列吗？可以分享一下链接或者工具吗
Do you know/use any distributed job queue for python? Can you share links or tools
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
你知道/使用Python的分布式作业队列吗？可以分享一下链接或者工具吗
Do you know/use any distributed job queue for python? Can you share links or tools
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论（9）
Pyres 是一个用 python 构建的 resque 克隆。 Github 使用 Resque 作为他们的消息队列。两者都使用 Redis 作为队列后端，并提供基于 Web 的监控应用程序。
http://binarydud.github.com/pyres/intro.html
Pyres is a resque clone built in python. Resque is used by Github as their message queue. Both use Redis as the queue backend and provide a web-based monitoring application.
http://binarydud.github.com/pyres/intro.html
除了多处理之外，如果您使用的是 Django，还有 Celery 项目。
In addition to multiprocessing there's also the Celery project, if you're using Django.
您还可以在这里找到 Sylvain Hellegouarch 的“bucker”：
它是这样描述自己的：
There's also "bucker" by Sylvain Hellegouarch which you can find here:
It describes itself like this:
看看 beanstalkd
Look at beanstalkd
红队列？
它是在 python+tornado 框架中实现的，使用 memcached 协议，并且可以选择持久化到日志文件中。
目前它也能够像 beanstalkd 一样运行，即 memcache 协议中的保留/删除方式。
REDQUEUE
redqueue?
It's implemented in python+tornado framework, speaks memcached protocol and is optionally persistent into log files.
Currently it is also able to behave like beanstalkd, the reserve/delete way in memcache protocol as well.
REDQUEUE
如果您认为 Celery 太重，无法满足您的需求，那么您可能需要查看简单的分布式任务队列：
If you think that Celery is too heavy for your needs then you might want to look at the simple distributed task queue:
晚了一年或者什么的，但这是我拼凑在一起的东西，使进程队列一次只执行 X 个数字。 http://github.com/goosemo/job_queue
It's a year late or whatever, but this is something I've hacked together to make a queue of Processes executing them only X number at a time. http://github.com/goosemo/job_queue
您可能想查看多处理的队列。包含在 Python 2.6 中，可以在 PyPI 上获取早期版本的 Python。
标准库文档：http://docs.python.org/library/multiprocessing.html
在 PyPI 上： http://pypi.python.org/pypi/multiprocessing
You probably want to look at multiprocessing's Queue. Included in Python 2.6, get it on PyPI for earlier versions of Python.
Standard library documentation: http://docs.python.org/library/multiprocessing.html
On PyPI: http://pypi.python.org/pypi/multiprocessing
还有 Unix 'at'
了解更多信息：
人在
Also there is Unix 'at'
For more info:
man at