如何在 Django 中组合多个 QuerySet？

Question

我正在尝试为我正在构建的 Django 网站构建搜索，在该搜索中，我正在三个不同的模型中进行搜索。 为了在搜索结果列表上进行分页，我想使用通用的 object_list 视图来显示结果。 但要做到这一点，我必须将三个查询集合并为一个。

我怎样才能做到这一点？ 我已经尝试过：

result_list = []
page_list = Page.objects.filter(
    Q(title__icontains=cleaned_search_term) |
    Q(body__icontains=cleaned_search_term))
article_list = Article.objects.filter(
    Q(title__icontains=cleaned_search_term) |
    Q(body__icontains=cleaned_search_term) |
    Q(tags__icontains=cleaned_search_term))
post_list = Post.objects.filter(
    Q(title__icontains=cleaned_search_term) |
    Q(body__icontains=cleaned_search_term) |
    Q(tags__icontains=cleaned_search_term))

for x in page_list:
    result_list.append(x)
for x in article_list:
    result_list.append(x)
for x in post_list:
    result_list.append(x)

return object_list(
    request,
    queryset=result_list,
    template_object_name='result',
    paginate_by=10,
    extra_context={
        'search_term': search_term},
    template_name="search/result_list.html")

但这不起作用。 当我尝试在通用视图中使用该列表时出现错误。 该列表缺少克隆属性。

如何合并三个列表：page_list、article_list 和 post_list？

Answer 1

将查询集连接到列表中是最简单的方法。 如果数据库将被命中所有查询集（例如，因为结果需要排序），这不会增加进一步的成本。

from itertools import chain
result_list = list(chain(page_list, article_list, post_list))

使用 itertools.chain 比循环每个列表并逐个附加元素更快，因为 itertools 是用 C 实现的。它比将每个查询集转换为列表消耗的内存更少在连接之前。

现在可以对结果列表进行排序，例如按日期（按照 hasen j 对另一个答案的评论中的要求）。 sorted() 函数可以方便地接受生成器并返回一个列表：

from operator import attrgetter
result_list = sorted(
    chain(page_list, article_list, post_list),
    key=attrgetter('date_created')
)

您可以反转排序顺序：

result_list = sorted(
    chain(page_list, article_list, post_list),
    key=attrgetter('date_created'),
    reverse=True,
)

attrgetter 相当于以下 lambda (这是 Python 2.4 之前必须采用的方式）：

result_list = sorted(
    chain(page_list, article_list, post_list),
    key=lambda instance: instance.date_created,
)

Answer 2

试试这个：

matches = pages | articles | posts

它保留了查询集的所有功能，如果您想要 order_by 或类似的功能，这会很好。

请注意：这不适用于来自两个不同模型的查询集。

Answer 3

相关，用于混合来自同一模型的查询集，或来自几个模型的类似字段，从Django 1.11开始 a QuerySet.union() 方法 是也提供：

union()

union(*other_qs, all=False) 
  

Django 1.11 中的新增功能。 使用 SQL 的 UNION 运算符组合两个或多个 QuerySet 的结果。 例如：

<前><代码>>>> qs1.union(qs2, qs3)

默认情况下，UNION 运算符仅选择不同的值。 要允许重复值，请使用 all=True
论证。

union()、intersection() 和 Difference() 返回以下模型实例
第一个 QuerySet 的类型，即使参数是 QuerySets
其他型号。 只要 SELECT 就可以传递不同的模型
所有查询集中的列表都是相同的（至少类型、名称不一样）
只要类型顺序相同即可）。

此外，只有LIMIT、OFFSET和ORDER BY（即切片和
order_by()) 允许在结果查询集中使用。 此外，数据库
对组合中允许的操作进行限制
例如，大多数数据库不允许 LIMIT 或 OFFSET
组合查询。

Answer 4

您可以使用下面的QuerySetChain 类。 当它与 Django 的分页器一起使用时，它应该只对所有查询集使用 COUNT(*) 查询来访问数据库，并且只对那些记录显示在的查询集使用 SELECT() 查询来访问数据库。当前页面。

请注意，如果将 QuerySetChain 与通用视图一起使用，您需要指定 template_name=，即使链接的查询集都使用相同的模型。

from itertools import islice, chain

class QuerySetChain(object):
    """
    Chains multiple subquerysets (possibly of different models) and behaves as
    one queryset.  Supports minimal methods needed for use with
    django.core.paginator.
    """

    def __init__(self, *subquerysets):
        self.querysets = subquerysets

    def count(self):
        """
        Performs a .count() for all subquerysets and returns the number of
        records as an integer.
        """
        return sum(qs.count() for qs in self.querysets)

    def _clone(self):
        "Returns a clone of this queryset chain"
        return self.__class__(*self.querysets)

    def _all(self):
        "Iterates records in all subquerysets"
        return chain(*self.querysets)

    def __getitem__(self, ndx):
        """
        Retrieves an item or slice from the chained set of results from all
        subquerysets.
        """
        if type(ndx) is slice:
            return list(islice(self._all(), ndx.start, ndx.stop, ndx.step or 1))
        else:
            return islice(self._all(), ndx, ndx+1).next()

在您的示例中，用法是：

pages = Page.objects.filter(Q(title__icontains=cleaned_search_term) |
                            Q(body__icontains=cleaned_search_term))
articles = Article.objects.filter(Q(title__icontains=cleaned_search_term) |
                                  Q(body__icontains=cleaned_search_term) |
                                  Q(tags__icontains=cleaned_search_term))
posts = Post.objects.filter(Q(title__icontains=cleaned_search_term) |
                            Q(body__icontains=cleaned_search_term) | 
                            Q(tags__icontains=cleaned_search_term))
matches = QuerySetChain(pages, articles, posts)

然后将 matches 与分页器一起使用，就像您在示例中使用 result_list 一样。

itertools 模块是在 Python 2.3 中引入的，因此它应该在 Django 运行的所有 Python 版本中可用。

Answer 5

如果您想链接大量查询集，请尝试以下操作：

from itertools import chain
result = list(chain(*docs))

其中：docs 是查询集列表

Answer 6

当前方法的一大缺点是它在处理大型搜索结果集时效率低下，因为您每次都必须从数据库中提取整个结果集，即使您只想显示一页结果。

为了仅从数据库中提取您实际需要的对象，您必须在查询集（而不是列表）上使用分页。 如果这样做，Django 实际上会在执行查询之前对 QuerySet 进行切片，因此 SQL 查询将使用 OFFSET 和 LIMIT 来仅获取您将实际显示的记录。 但除非您能以某种方式将搜索塞入单个查询中，否则您无法做到这一点。

鉴于所有三个模型都有标题和正文字段，为什么不使用 模型继承？ 只需让所有三个模型继承具有标题和正文的共同祖先，并在祖先模型上将搜索作为单个查询执行即可。

Answer 7

这也可以通过两种方式来实现。

第一种方法

使用 QuerySet | 的联合运算符来合并两个查询集。 如果两个 QuerySet 属于同一模型/单个模型，则可以使用 union 运算符组合 QuerySet。

举个例子

pagelist1 = Page.objects.filter(
    Q(title__icontains=cleaned_search_term) | 
    Q(body__icontains=cleaned_search_term))
pagelist2 = Page.objects.filter(
    Q(title__icontains=cleaned_search_term) | 
    Q(body__icontains=cleaned_search_term))
combined_list = pagelist1 | pagelist2 # this would take union of two querysets

第二种方法

实现两个查询集之间的组合操作的另一种方法是使用itertools链函数。

from itertools import chain
combined_results = list(chain(pagelist1, pagelist2))

Answer 8

您可以使用Union：

qs = qs1.union(qs2, qs3)

但是如果您想应用< code>order_by 在组合查询集的外部模型上......那么你需要 以这种方式预先选择它们...否则它将不起作用。

示例

qs = qs1.union(qs2.select_related("foreignModel"), qs3.select_related("foreignModel"))
qs.order_by("foreignModel__prop1")

，其中 prop1 是外部模型中的属性。

Answer 9

DATE_FIELD_MAPPING = {
    Model1: 'date',
    Model2: 'pubdate',
}

def my_key_func(obj):
    return getattr(obj, DATE_FIELD_MAPPING[type(obj)])

And then sorted(chain(Model1.objects.all(), Model2.objects.all()), key=my_key_func)

引用自 https://groups.google.com/forum/#!topic/django-users/ 6wUNuJa4jVw。 请参阅亚历克斯·盖纳

Answer 10

要求：
Django==2.0.2、django-querysetsequence==0.8

如果您想组合 querysets 并且仍然得到 QuerySet，您可能需要查看 django-queryset-sequence。

但有一点需要注意。 它只需要两个查询集作为参数。 但使用 python reduce，您始终可以将其应用于多个 queryset。

from functools import reduce
from queryset_sequence import QuerySetSequence

combined_queryset = reduce(QuerySetSequence, list_of_queryset)

就是这样。 下面是我遇到的情况以及我如何使用列表理解、reduce和django-queryset-sequence

from functools import reduce
from django.shortcuts import render    
from queryset_sequence import QuerySetSequence

class People(models.Model):
    user = models.OneToOneField(User, on_delete=models.CASCADE)
    mentor = models.ForeignKey('self', null=True, on_delete=models.SET_NULL, related_name='my_mentees')

class Book(models.Model):
    name = models.CharField(max_length=20)
    owner = models.ForeignKey(Student, on_delete=models.CASCADE)

# as a mentor, I want to see all the books owned by all my mentees in one view.
def mentee_books(request):
    template = "my_mentee_books.html"
    mentor = People.objects.get(user=request.user)
    my_mentees = mentor.my_mentees.all() # returns QuerySet of all my mentees
    mentee_books = reduce(QuerySetSequence, [each.book_set.all() for each in my_mentees])

    return render(request, template, {'mentee_books' : mentee_books})

Answer 11

这里有一个想法...只需从这三个结果中的每一个中提取一整页结果，然后扔掉 20 个最无用的结果...这消除了大型查询集，这样您只牺牲了一点性能，而不是牺牲了很多。

Answer 12

最好的选择是使用 Django 内置方法：

# Union method
result_list = page_list.union(article_list, post_list)

这将返回这些查询集中所有对象的并集。

如果您只想获取三个查询集中的对象，您会喜欢查询集的内置方法，intersection。

# intersection method
result_list = page_list.intersection(article_list, post_list)

Answer 13

这将在不使用任何其他库的情况下完成工作：

result_list = page_list | article_list | post_list

Answer 14

您可以使用 "|"(按位或) 组合相同的查询集模型如下：

# "store/views.py"

from .models import Food
from django.http import HttpResponse
                                                
def test(request):
                                             # ↓ Bitwise or
    result = Food.objects.filter(name='Apple') | Food.objects.filter(name='Orange')
    print(result)
    return HttpResponse("Test")

控制台输出：

<QuerySet [<Food: Apple>, <Food: Orange>]>
[22/Jan/2023 12:51:44] "GET /store/test/ HTTP/1.1" 200 9

并且，您可以使用 |= 添加相同模型的查询集，如下所示：

# "store/views.py"

from .models import Food
from django.http import HttpResponse
                                                
def test(request):
    result = Food.objects.filter(name='Apple')
         # ↓↓ Here
    result |= Food.objects.filter(name='Orange')
    print(result)
    return HttpResponse("Test")

控制台输出：

<QuerySet [<Food: Apple>, <Food: Orange>]>
[22/Jan/2023 12:51:44] "GET /store/test/ HTTP/1.1" 200 9

如果添加不同模型的查询集，请小心如下所示：

# "store/views.py"

from .models import Food, Drink
from django.http import HttpResponse
                                                
def test(request):
          # "Food" model                      # "Drink" model
    result = Food.objects.filter(name='Apple') | Drink.objects.filter(name='Milk')
    print(result)
    return HttpResponse("Test")

下面有一个错误：

AssertionError: Cannot combine queries on two different base models.
[22/Jan/2023 13:40:54] "GET /store/test/ HTTP/1.1" 500 96025

但是，如果添加不同模型的空查询集，如下所示：

# "store/views.py"

from .models import Food, Drink
from django.http import HttpResponse
                                                
def test(request):
          # "Food" model                       # Empty queryset of "Drink" model 
    result = Food.objects.filter(name='Apple') | Drink.objects.none()
    print(result)
    return HttpResponse("Test")

下面没有错误：

<QuerySet [<Food: Apple>]>
[22/Jan/2023 13:51:09] "GET /store/test/ HTTP/1.1" 200 9

再次小心，如果通过 get() 如下所示：

# "store/views.py"

from .models import Food
from django.http import HttpResponse
                                                
def test(request):
    result = Food.objects.filter(name='Apple')
                         # ↓↓ Object
    result |= Food.objects.get(name='Orange')
    print(result)
    return HttpResponse("Test")

有错误以下：

AttributeError: 'Food' object has no attribute '_known_related_objects'
[22/Jan/2023 13:55:57] "GET /store/test/ HTTP/1.1" 500 95748

Answer 15

要获取两个查询集的交集：

result = first_queryset.intersection(second_queryset)

Answer 16

此递归函数将一组查询集连接成一个查询集。

def merge_query(ar):
    if len(ar) ==0:
        return [ar]
    while len(ar)>1:
        tmp=ar[0] | ar[1]
        ar[0]=tmp
        ar.pop(1)
        return ar