轻量级通知技术

Question

我需要在 django 中开发实时的近期活动提要（使用 AJAX 长轮询），我想知道服务器端的最佳策略是什么。

伪代码：

def recent_activity_post_save():
    notify_view()

[in the view]
while not new_activity():
    sleep(1)
return HttpResponse(new_activity())

首先想到的是每秒查询数据库。不可行。其他选项：

1. 使用专门的工具（例如 Celery）将缓存用作通知服务
2. （我不想这样做，因为它看起来有点过分）

这里最好的方法是什么？

Answer 1

我建议保持简单...

创建一个数据库表来存储您的事件，在适当的时候插入到该表中，然后只需实现一个简单的 ajax 轮询技术即可在客户端上每隔 x 秒访问服务器边。

我对考虑使用推送通知方法或使用 noSql 数据存储的其他解决方案感到担忧。它比使用 Django 框架内置工具的传统拉取通知系统复杂得多，并且除了极少数例外之外，都是矫枉过正的。除非你特别要求严格的实时解决方案，否则保持简单并使用框架中已经存在的工具，而对于基于数据库或网络性能提出异议的人，我要说的是，过早优化是根源一切邪恶。

构建一个包含特定于您的应用程序的最新活动数据的模型，然后，每当您的应用程序执行应记录新活动的操作时，您都可以将其插入到此表中。

您的视图将与任何其他视图一样，从该 RecentActivity 表中提取前 x 行（可选地基于查询参数等）。

然后，在客户端，您只需有一个简单的 ajax 轮询器每隔 x 秒访问您的视图。您可以使用的复杂插件和技术并不缺乏，但编写自己的插件和技术也不是那么复杂：

function simplePoll() {
  $.get("your-url", {query-parameters}, function(data){
    //do stuff with the data, replacing a div or updating json or whatever
    setTimeout(simplePoll, delay);
  });
}

我的观点是，性能问题并不是真正的问题，除非您的网站足够成功，以至于它们成为一个问题。传统的关系数据库可以很好地扩展，直到您开始达到像 Twitter、Google 等那样的成功水平。我们大多数人都没有达到那个水平:)

Answer 2

您考虑过使用信号吗？您可以在recent_activity_post_save()中发送信号，并且可能有一个侦听器将信息存储在缓存中。

该视图只会引用缓存来查看是否有新的通知。当然，您不需要信号，但恕我直言，这样会更干净一些，因为您可以添加更多“通知处理程序”。

这似乎是最佳选择，因为您不需要轮询数据库（人工加载），通知几乎立即“可见”（仅在处理信号和与缓存交互所需的时间之后）。

所以伪代码看起来像这样：

# model
def recent_activity_post_save():
    post_save_signal.send()

# listener
def my_handler( ... ):
    cache.set( 'notification', .... )

post_save_signal.connect( my_handler )

# view
def my_view( request ):
    new_notification = None
    while not new_notification:
        sleep(1)
        new_notification = cache.get( 'notification' )
    return HttpResponse(...)

Answer 3

您可以使用彗星解决方案，例如 Ape 项目。此类项目旨在将实时数据发送到浏览器，并且可以利用现代浏览器的Web套接字功能。

Answer 4

您可以使用触发器（每当发布新帖子时触发）。例如，此触发器可以在轮询目录中写入一个新文件，其中包含必要的数据（例如主键）。然后，您的 python 可以只监视该文件夹中的新文件创建，而无需接触数据库，直到出现新文件。

Answer 5

如果您正在寻找彗星解决方案，那么你可以使用轨道。但我要警告您，因为这是一个相当小众的解决方案，所以很难找到有关如何在生产环境中部署和使用 Orbited 的良好文档。

Answer 6

这是一个类似的讨论，从服务器端的角度回答： Making moves w /websockets 和 python/django (/twisted?)
，最重要的答案是这个 。

还有这个答案，指向与 Django 尝试相比，看起来非常可靠。

如果您确实希望从现有的 Django 应用程序提供此服务，请不要在服务器端执行此操作。将 HTTP 套接字劫持到单个浏览器的连接是破坏应用程序的快速方法。两种合理的替代方案是：探索各种 Web 套接字选项（如上面使用 Pyramid 托管服务的选项），或者考虑让浏览器定期向服务器发送轮询请求以查找更新。

Answer 7

您应该决定是否愿意使用“拉”或“推”架构来传递消息，请参阅此 在 quora 上发帖！如果您想寻求一种将通知“推送”到接收者的解决方案，那么基于缓存/nosql 的系统是首选，因为它们不会为大量写入操作产生如此高的负载。

例如，Redis 及其排序集/列表数据结构为您提供了很多实例。参见例如。 这篇文章（虽然它不是Python ）来获得一个想法。您还可以研究“真正的”消息队列，例如 RabbitMQ！

对于客户端连接，这里的其他帖子应该已经为您提供了一些关于如何使用扭曲和类似框架的想法。

Celery 始终是一个很好的工具，例如。将所有对用户活动流的写入都放在异步作业中！

Answer 8

如果不是真的有必要，我认为没有必要限制自己使用长轮询。有些库是为了利用可能的最佳选项而编写的（如果前面的选项都不可用，可能是短轮询、长轮询、Websockets 甚至是小型闪存插件）。 Node.js 拥有适合此类工作的最佳库之一，称为 Socket.IO，但幸运的是，还有两个可用的 Python 实现，gevent-socketio 和 tornadio，但后来建立在之上龙卷风框架，所以可能不可能。

如果这适合您，您可以将它们与一些 NoSQL（文档）数据库结合起来，事实证明，它比关系数据库更快、更轻量。有很多很多选择，包括 CouchDB、MongoDB、Redis……Socket.IO 和基于文档的 DB 的结合已被证明是快速、轻量级和可靠的。

尽管我在评论中看到您已经考虑过 NoSQL，但我个人的观点是，如果您需要一个快速且简单的解决方案，并且上述选项适合您，那么这是您可能采取的最佳机会。