Django：如何阻止长查询杀死数据库？

Question

我将 Django 1.1 与 Mysql 5.* 和 MyISAM 表一起使用。

我的一些查询可能会花费大量时间来查找数据集中的异常值。这些会锁定桌子并关闭网站。其他时候，似乎有些用户在请求完成之前取消了请求，并且某些查询将陷入“准备”阶段，锁定所有其他查询。

我将尝试找出所有的极端情况，但最好有一个安全网，这样网站就不会崩溃。

我该如何避免这种情况？我可以设置最大查询次数吗？

Answer 1

不幸的是，MySQL 不允许您通过简单的方法来避免这种情况。一种常见的方法基本上是编写一个脚本，每隔 X 秒检查一次所有正在运行的进程（基于您认为的“长”），并杀死它认为运行时间过长的进程。不过，您至少可以通过在 MySQL 中设置 log_slow_queries 来获得一些基本的诊断，这会将所有耗时超过 10 秒的查询写入日志。如果这对于您认为“慢”的目标来说太长，您可以将 long_query_time 设置为 10 以外的值来更改阈值。

Answer 2

我正在做一个 Django 数据库复制应用程序，并且遇到同样的困境，如果网络延迟增加，跨 WAN 的查询有时似乎会挂起。

来自 http://code.activestate.com/recipes/576780/

秘诀 576780：超时为（几乎）任何可调用对象

创建任何可调用对象的时间限制版本。

例如，要将函数 f 限制为 t 秒，
首先创建一个限时版本的f。

from timelimited import *

f_t = TimeLimited(f, t)

然后，不要调用 f(...)，而是使用 f_t，例如

try:
    r = f_t(...)
except TimeLimitExpired:
    r = ...  # timed out

按以下方式使用它：

def _run_timed_query(cursor, log_msg, timeout, query_string, *query_args):
    """Run a timed query, do error handling and logging"""
    import sys
    import traceback
    from timelimited import *

    try:
        return TimeLimited(cursor.execute, timeout)(query_string, *query_args)
    except TimeLimitExpired:
        logger_ec.error('%s; Timeout error.' % log_msg)
        raise TimeLimitExpired
    except:
        (exc_type, exc_info, tb) = sys.exc_info()
        logger_ec.error('%s; %s.' % (log_msg, traceback.format_exception(exc_type, exc_info, None)[0]))
        raise exc_type

Answer 3

似乎中止查询的唯一可靠方法是 kill 命令< /a>.一种不太激烈的措施是关闭连接（并重新打开一个新连接）；一旦查询尝试发送一些输出到客户。

Answer 4

你知道查询的内容是什么吗？也许您可以优化 SQL 或在表上放置一些索引？

Answer 5

使用 InnoDB 表，它们会行锁定 而不是表锁定。

Answer 6

您不应该编写这样的查询，至少不应该针对实时数据库运行。 Mysql 有一个“慢查询”参数，你可以用它来识别那些让你丧命的查询。大多数时候，这些缓慢的查询要么是有问题的，要么可以通过定义一个或两个新索引来加速。