mongoid 中的 N+1 问题

Question

我正在使用 Mongoid 在 Rails 中使用 MongoDB。

我正在寻找类似活动记录 include 的内容。目前我在 mongoid orm 中找不到这样的方法。

任何人都知道如何在 mongoid 或 mongmapper 中解决这个问题，这被认为是另一个不错的选择。

Answer 1

现在一段时间过去了，Mongoid 确实增加了对此的支持。请参阅此处的“预加载”部分：
http://docs.mongodb.org/ecosystem/tutorial /ruby-mongoid-tutorial/#eager-loading

Band.includes(:albums).each do |band|
  p band.albums.first.name # Does not hit the database again.
end

我想指出：

1. Rails 的 :include 不执行连接
2. SQL 和 Mongo 都需要急切加载。
3. N+1 问题发生在这种类型的场景中（循环内生成的查询）：

。

<% @posts.each do |post| %>
  <% post.comments.each do |comment| %>
    <%= comment.title %>
  <% end %>
<% end %>

看起来 @amrnt 发布的链接已合并到 Mongoid 中。

Answer 2

更新：自从我发布这个答案以来已经两年了，事情已经发生了变化。有关详细信息，请参阅 tybro0103 的回答。

---

旧答案

根据两个驱动程序的文档，它们都不支持您正在寻找的内容。可能是因为它不能解决任何问题。

ActiveRecord 的 :include 功能解决了 SQL 数据库 的 N+1 问题。通过告诉 ActiveRecord 要包含哪些相关表，它可以使用 JOIN 语句构建单个 SQL 查询。无论您要查询的表数量如何，这都将导致一次数据库调用。

MongoDB 只允许您一次查询一个集合。它不支持诸如JOIN之类的东西。因此，即使您可以告诉 Mongoid 它必须包含哪些其他集合，它仍然必须为每个附加集合执行单独的查询。

Answer 3

尽管其他答案是正确的，但在当前版本的 Mongoid 中，includes 方法是实现所需结果的最佳方法。在以前的版本中，包含不可用，我找到了一种摆脱 n+1 问题的方法，并认为值得一提。

就我而言，这是一个 n+2 问题。

class Judge
  include Mongoid::Document

  belongs_to :user
  belongs_to :photo

  def as_json(options={})
    {
      id: _id,
      photo: photo,
      user: user
    }
  end
end

class User
  include Mongoid::Document

  has_one :judge
end

class Photo
  include Mongoid::Document

  has_one :judge
end

控制器操作：

def index
  @judges = Judge.where(:user_id.exists => true)
  respond_with @judges
end

此 as_json 响应会导致 Judge 记录出现 n+2 查询问题。在我的例子中，给开发服务器的响应时间为：

在 816 毫秒内完成 200 OK（视图：785.2 毫秒）

解决此问题的关键是在单个查询中加载用户和照片，而不是每位法官 1 比 1。

您可以利用 Mongoid IdentityMap Mongoid 2 和 Mongoid 3 支持此功能。

首先在 mongoid.yml 配置文件中打开身份映射：

development:
  host: localhost
  database: awesome_app
  identity_map_enabled: true

现在更改控制器操作以手动加载用户和照片。注意：Mongoid::Relation 记录将延迟评估查询，因此您必须调用 to_a 来实际查询记录并将它们存储在 IdentityMap 中。

def index
  @judges ||= Awards::Api::Judge.where(:user_id.exists => true)
  @users = User.where(:_id.in => @judges.map(&:user_id)).to_a
  @photos = Awards::Api::Judges::Photo.where(:_id.in => @judges.map(&:photo_id)).to_a
  respond_with @judges
end

这导致总共只有 3 个查询。 1 名评委，1 名用户，1 名照片。

在 559 毫秒内完成 200 OK（观看次数：87.7 毫秒）

这是如何工作的？什么是 IdentityMap？

IdentityMap 有助于跟踪已加载的对象或记录。因此，如果您获取第一个用户记录，IdentityMap 将存储它。然后，如果您尝试再次获取同一用户，Mongoid 会在再次查询数据库之前查询该用户的 IdentityMap。这将在数​​据库上节省 1 个查询。

因此，通过加载所有用户和照片，我们知道在手动查询中需要法官 json，我们将数据一次性预加载到 IdentityMap 中。然后，当法官需要用户和照片时，它会检查 IdentityMap，而不需要查询数据库。

Answer 4

ActiveRecord :include 通常不会执行完全连接来填充 Ruby 对象。它执行两次调用。首先获取父对象（例如帖子），然后第二次调用以拉取相关对象（属于帖子的评论）。

Mongoid 对于引用关联的工作方式本质上是相同的。

def Post
    references_many :comments
end

def Comment
    referenced_in :post
end

在控制器中，您获得帖子：

@post = Post.find(params[:id])

在您的视图中，您迭代评论：

<%- @post.comments.each do |comment| -%>
    VIEW CODE
<%- end -%>

Mongoid 将在集合中找到该帖子。当您点击评论迭代器时，它会执行单个查询来获取评论。 Mongoid 将查询包装在游标中，因此它是一个真正的迭代器，并且不会使内存过载。

Mongoid 延迟加载所有查询以默认允许此行为。 :include 标签是不必要的。

Answer 5

这可能会有所帮助 https://github.com/flyerhzm/mongoid-eager-loading

Answer 6

你需要更新你的模式来避免这种 N+1，MongoDB 中没有解决方案来进行一些联合操作。

Answer 7

将详细记录/文档嵌入主记录/文档中。

Answer 8

就我而言，我没有整个集合，但有一个导致 n+1 的对象（项目符号是这么说的）。

没有在下面写导致 n+1 的内容，而是

quote.providers.officialname

因此，我

Quote.includes(:provider).find(quote._id).provider.officialname

写了这并没有造成问题，但让我思考是否重复自己或检查 n+1 对于 mongoid 来说是不必要的。