我可以让一些代码像守护进程一样在 Django 中不断运行吗

Question

我正在使用 mod_wsgi 通过 Apache 为 django 站点提供服务。我还有一些作为后台进程运行的 Python 代码（dameon？）。它不断轮询服务器并将数据插入到 Django 模型之一。这工作正常，但是我可以让这段代码成为我的 Django 应用程序的一部分，并且能够在后台持续运行吗？它本身不需要是一个过程，而是持续活跃的 Django 站点的艺术。如果是这样，您能给我提供一个示例或一些文档来帮助我完成此任务吗？

谢谢。

Answer 1

您可以设置一个 cron 作业来运行您定义的某些功能，或者 - 更高级且可能推荐的方法，集成 celery 在你的项目中（实际上这很简单）。

Answer 2

您可以在首次导入 WSGI 脚本时创建一个后台线程。

import threading
import time

def do_stuff():
    time.sleep(60)
    ... do periodic job

_thread = threading.Thread(target=do_stuff)
_thread.setDaemon(True)
_thread.start()

为此，您必须仅使用一个守护进程，否则每个进程都会执行您可能不希望的相同操作。

如果您在守护进程进程组中使用多个进程，另一种方法是创建一个特殊的守护进程进程组，其唯一目的是运行此后台线程。换句话说，该进程实际上并没有收到任何请求。

您可以通过以下方式做到这一点：

WSGIDaemonProcess django-jobs processes=1 threads=1
WSGIImportScript /usr/local/django/mysite/apache/django.wsgi \
    process-group=django-jobs application-group=%{GLOBAL}

WSGIImportScript 指令表示加载该脚本并在启动时在进程组“django-jobs”的上下文中运行它。

为了避免使用多个脚本，我将其指向用于 WSGIScriptAlias 的原始 WSGI 脚本文件。不过，我们不希望它在由该指令加载时运行，所以我们这样做：

import mod_wsgi

if mod_wsgi.process_group == 'django-jobs':
    _thread = threading.Thread(target=do_stuff)
    _thread.setDaemon(True)
    _thread.start()

这里它查看守护进程进程组的名称，并且仅在使用单个进程设置的特殊守护进程进程组中启动时运行为了这。

总的来说，您只是将 Apache 用作一个伟大的进程管理器，尽管它已经被认为是强大的。这有点矫枉过正，因为这个过程除了接受和处理请求之外还会消耗额外的内存，但根据您正在执行的操作的复杂性，它仍然很有用。

这样做的一个可爱的方面是，由于它仍然是一个完整的 Django 应用程序，因此您可以将特定的 URL 映射到此进程，从而提供一个远程 API 来管理或监视后台任务及其正在执行的操作。

WSGIDaemonProcess django-jobs processes=1 threads=1
WSGIImportScript /usr/local/django/mysite/apache/django.wsgi \
    process-group=django-jobs application-group=%{GLOBAL}

WSGIDaemonProcess django-site processes=4 threads=5
WSGIScriptAlias / /usr/local/django/mysite/apache/django.wsgi

WSGIProcessGroup django-site
WSGIApplicationGroup %{GLOBAL}

<Location /admin>
WSGIProcessGroup django-jobs
</Location>

在这里，除了 /admin 下的内容之外的所有 URL 都在“django-site”中运行，而 /admin 在“django-jobs”中运行。

无论如何，这解决了根据要求在 Apache mod_wsgi 守护进程进程中执行此操作的具体问题。

正如所指出的，另一种方法是使用命令行脚本来设置和加载 Django，并完成工作并从 cron 作业执行该工作。命令行脚本意味着偶尔会使用短暂的内存，但作业的启动成本较高，因为每次都需要加载所有内容。

Answer 3

我以前使用过 cron 作业，但我告诉你，一段时间后你会切换到 celery。

芹菜是必经之路。另外，您可以分配较长的异步流程任务，以便加快请求/响应时间。