使用 memcached 设置/获取对象

Question

在 Django Python 应用程序中，我使用 Celery（任务管理器）启动作业。当每个作业启动时，它们都会返回一个对象（我们将其称为 X 类的实例），让您可以检查作业并检索返回值或引发的错误。

几个人（我希望有一天）能够同时使用这个网络界面；因此，X 类的多个实例可能同时存在，每个实例对应一个排队或并行运行的作业。很难想出一种方法来保留这些 X 对象，因为 我无法使用全局变量（允许我从键查找每个 X 对象的字典）；这是因为 Celery 使用不同的进程，而不仅仅是不同的线程，因此每个进程都会修改自己的全局表副本，从而造成混乱。

随后，我收到了使用 memcached 在任务之间共享内存的好建议。我让它正常工作，并且能够在进程之间设置和获取整数和字符串值。

问题是这样的：经过今天大量的调试，我了解到 memcached 的 set 和 get 似乎不适用于类。这是我最好的猜测：也许在底层 memcached 将对象序列化到共享内存；类 X （可以理解）无法序列化，因为它指向实时数据（作业的状态），因此串行版本可能已过时（即它可能指向错误的位置）它被再次加载。

使用 SQLite 数据库的尝试同样没有结果。我不仅无法弄清楚如何将对象序列化为数据库字段（使用我的 Django models.py 文件），而且还会遇到同样的问题：已启动作业的句柄需要以某种方式保留在 RAM 中（或者使用一些奇特的方法）下面的操作系统技巧），以便它们在作业完成或失败时更新。

我最好的猜测是（尽管谢天谢地让我走到这一步的建议）我应该启动每项工作在某些外部队列中（例如 Sun/Oracle Grid Engine）。但是，如果不使用系统调用，我无法想出一种好方法来做到这一点，我认为这可能是不好的风格（并且可能不安全）。

如何跟踪在 Django 或 Django Celery 中启动的作业？您是否通过简单地将作业参数放入数据库中来启动它们，然后让另一个作业轮询数据库并运行作业？

非常感谢你的帮助，我很迷失。

Answer 1

我认为 django-celery 可以为你完成这项工作。你看过 django-celery 制作的表格吗？即 djcelery_taskstate 保存给定任务的所有数据，例如 state、worker_id 等。对于周期性任务，有一个名为 djcelery_periodictask 的表。

在 Django 视图中，您可以访问 TaskMeta 对象：

from djcelery.models import TaskMeta
task = TaskMeta.objects.get(task_id=task_id)
print task.status