Django：为什么 Foo.objects.extra(...) 比 Foo.objects.raw 快得多？

Question

所以我试图优化一个相当奇怪的查询，但这是一个遗留数据库，所以我用我所拥有的来凑合。这些是我正在尝试的查询。此时它们提供相同的输出。 w 是我的查询集。

def future_schedule(request):

    past = datetime.date.today()-datetime.timedelta(days=730)

    extra_select = {
        'addlcomplete': 'SELECT Complete FROM tblAdditionalDates WHERE Checkin.ShortSampleID = tblAdditionalDates.ShortSampleID',
        'addldate': 'SELECT AddlDate FROM tblAdditionalDates WHERE Checkin.ShortSampleID = tblAdditionalDates.ShortSampleID'
    }
    extra_where = ['''(Checkin.Description <> "Sterilization Permit" AND Checkin.Description <> "Registration State" AND Checkin.Description <> "Miscellaneous" AND Checkin.Description <> "Equipment Purchase" AND Checkin.DateArrived > %s AND Checkin.DateCompleted IS NULL AND Checkin.Canceled = 0) OR (Checkin.Description <> "Sterilization Permit" AND Checkin.Description <> "Registration State" AND Checkin.Description <> "Miscellaneous" AND Checkin.Description <> "Equipment Purchase" AND Checkin.DateArrived > %s AND Checkin.DateCompleted IS NOT NULL AND Checkin.DateFinalCompleted IS NULL AND Checkin.DateFinalExpected IS NOT NULL AND Checkin.Canceled = 0) '''
    ]
    extra_params = [past, past]

    w = Checkin.objects.extra(select=extra_select, where=extra_where, params=extra_params)

# OR This one

    w = Checkin.objects.raw('''SELECT Checkin.SampleID, Checkin.ShortSampleID, Checkin.Company, A.Complete, Checkin.HasDates, A.AddlDate FROM Checkin LEFT JOIN (SELECT ShortSampleID, Complete, AddlDate FROM tblAdditionalDates) A ON A.ShortSampleID = Checkin.ShortSampleID WHERE (Checkin.Description <> "Sterilization Permit" AND Checkin.Description <> "Registration State" AND Checkin.Description <> "Miscellaneous" AND Checkin.Description <> "Equipment Purchase" AND Checkin.DateArrived > "2009-01-01" AND Checkin.DateCompleted IS NULL AND Checkin.Canceled = 0) OR (Checkin.Description <> "Sterilization Permit" AND Checkin.Description <> "Registration State" AND Checkin.Description <> "Miscellaneous" AND Checkin.Description <> "Equipment Purchase" AND Checkin.DateArrived > "2009-01-01" AND Checkin.DateCompleted IS NOT NULL AND Checkin.DateFinalCompleted IS NULL AND Checkin.DateFinalExpected IS NOT NULL AND Checkin.Canceled = 0)''')

这两者都返回相同数量的记录 (322)。 .extra 在渲染 HTML 方面比 .raw 查询快大约 10 秒，并且对于所有密集目的，.raw 查询甚至稍微简单一些。有谁知道这可能是为什么？根据我的结构，.raw 可能是我获取所需数据的唯一方法（我需要 extra_select 字典中的 addlcomplete 和 addldate 并在having子句中使用它们来进一步过滤查询集），但我当然不喜欢如何这需要很长时间。是模板层慢还是实际查询层慢？我怎样才能最好地调试这个？

感谢您在糟糕的数据结构中寻求优化的帮助。

更新 1：2011-10-03

所以我安装了 django-debugtoolbar 来窥探一下，我启用了 MySQL 常规日志记录并提出了以下内容：

使用 .filter() 或 .extra() 总查询计数为 2。使用 .raw() 总查询计数为 1984！！！ （不忽略幽灵般的文学参考）

我的模板使用重新组合，然后循环该重新组合。没有遵循任何关系，没有使用除内置函数之外的模板标签。 Select_lated 没有被使用，我仍然只收到 2 个查询。查看mysql日志，果然——1984条查询。

当查看执行的查询时，基本上看起来每个 {{ Modelinstance.field }} django 都在执行 SELECT pk, field FROM Model WHERE Model.pk = Modelinstance.pk如果你问我的话，这似乎是完全错误的。我在这里遗漏了一些东西还是 django 真的在查询中疯狂运行吗？

结束更新 1

更新 2 请参阅下面的答案

格雷格

Answer 1

好的。这是我的最终结论。虽然 Furbeenator 关于 Django 内部优化的说法是正确的，但事实证明，存在一个更大的用户错误，导致了速度减慢和上述数千个查询。

原始查询集文档 当您推迟字段（即不使用 SELECT * FROM ...）并仅专门选择某些字段时（SELECT Checkin.Sampleid, ... 这些字段您不选择仍然可以访问，但是因此，如果您在原始查询中选择字段的子集，并且忘记了在模板中使用的查询中的字段，Django 会执行数据库查找来查找您在模板中引用的字段。比抱怨它不存在或其他什么所以，假设您从查询中遗漏了 5 个字段（这就是我所做的），您最终在模板中引用了这些字段，并且您有 300 条记录需要循环。 1500 次额外的数据库点击才能获取每条记录的这 5 个字段，

因此，请注意隐藏的引用并感谢上帝 Django 调试工具栏

Answer 2

从优化部分：数据库访问优化，他们提出了优化方法，其中之一是 extra() 方法。然后他们提到了.raw()。我的假设是他们使 raw() 更加健壮和强大，因此它在优化方面提供了最大的灵活性。 执行原始 SQL 查询 可以让你做的不仅仅是额外的( ）。我的直觉是，它只是更注重灵活性而不是性能，并且在可能的情况下应该使用 extra() 而不是 raw() 。