如何限制网络请求期间的数据库查询时间？

Question

我们有一个在 postgresql 9.0 上运行的非常典型的 django 应用程序。我们最近发现一些数据库查询由于管理界面中的搜索效率低下而运行了超过 4 小时。虽然我们计划修复这些查询，但作为一种保护措施，我们希望人为地将数据库查询时间限制为 15 秒——但仅限于 Web 请求的上下文中；批处理作业和 celery 任务不应受此约束的限制。

我们怎样才能做到这一点？或者这是一个糟糕的主意？

Answer 1

执行此操作的最佳方法是设置仅用于运行 Web 请求的角色/用户，然后在该角色上设置 statements_timeout。

ALTER ROLE role_name SET statement_timeout = 15000

所有其他角色将使用statement_timeout 的全局设置（在库存安装中禁用）。

Answer 2

您需要手动处理这个问题。即检查 15 秒规则并终止违反该规则的查询。

查询 pg_stat_activity 并找到违规者并调用 pg_terminate_backend(procpid) 来杀死违规者。

循环中是这样的：

SELECT pg_terminate_backend(pg_stat_activity.procpid)
FROM pg_stat_activity
WHERE pg_stat_activity.datname = 'TARGET_DB'
  AND usename = 'WEBUSERNAME'
  AND (now()-query_start) > '00:00:15';

Answer 3

就计时而言，您可以通过一个类传递所有查询，该类在实例化时会生成两个线程：一个用于查询，另一个用于计时器。如果计时器达到 15 秒，则终止带有查询的线程。

至于确定查询是否是从 Web 请求实例化的，我对 Django 的了解还不够，无法帮助您。简单地说，在处理数据库调用的类中，构造函数的可选参数可以是类似于 context 的内容，如果发生以下情况，则可以是 http Web 请求和 "" 用于其他任何内容。