数据库分片和 Rails

发布于 2024-07-04 22:39:47 字数 81 浏览 7 评论 0原文

在 Rails 中处理分片数据库的最佳方法是什么？分片应该在应用层、活动记录层、数据库驱动层、代理层还是其他层处理？各自的优点和缺点是什么？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

聽兲甴掵 2024-07-11 22:39:49

我假设对于分片，我们谈论的是水平分区而不是垂直分区（以下是维基百科上的差异）。

首先，在考虑水平分区之前，尽可能拉伸垂直分区。在 Rails 中很容易让不同的模型指向不同的机器，对于大多数 Rails 站点来说，这已经足够了。

对于水平分区，在理想情况下，这将在 Rails 的应用程序层处处理。虽然这并不难，但在 Rails 中也并非微不足道，而且当您需要它时，通常您的应用程序已经超出了可行的范围，因为 ActiveRecord 调用遍布各处。而且，无论是开发人员还是管理人员，没有人喜欢在您需要之前就对其进行处理，因为每个人都宁愿处理用户现在将使用的功能，而不是进行分区，而分区可能在流量爆炸后几年内不会发挥作用。

ActiveRecord 层...从我看来并不容易。需要对 Rails 内部进行大量的猴子修补。

在 Spock，我们最终使用自定义 MySQL 代理来处理此问题并将其开源在 SourceForge 上作为 Spock 代理。 ActiveRecord 认为它正在与一台 MySQL 数据库计算机通信，而实际上它正在与代理通信，然后代理与一个或多个 MySQL 数据库通信，对结果进行合并/排序，然后将其返回给 ActiveRecord。只需要对 Rails 代码进行一些更改。请查看 Spock Proxy SourceForge 页面，了解更多详细信息以及我们选择此路线的原因。

回复收藏 0 原文

多谢你的绝情让我学会死心 2024-07-11 22:39:49

对于像我这样没有听说过分片的人：

http://highscalability .com/unorthodox-approach-database-design-coming-shard

回复收藏 0 原文

无言温柔 2024-07-11 22:39:49

Rails 6.1 提供了切换每个数据库连接的能力，因此我们可以进行水平分区。

分片在三层配置中声明如下：

production:
  primary:
    database: my_primary_database
    adapter: mysql2
  primary_replica:
    database: my_primary_database
    adapter: mysql2
    replica: true
  primary_shard_one:
    database: my_primary_shard_one
    adapter: mysql2
  primary_shard_one_replica:
    database: my_primary_shard_one
    adapter: mysql2
    replica: true

然后模型通过分片键与connected_to API 连接

class ApplicationRecord < ActiveRecord::Base
  self.abstract_class = true

  connects_to shards: {
    default: { writing: :primary, reading: :primary_replica },
    shard_one: { writing: :primary_shard_one, reading: :primary_shard_one_replica }
  }
end

然后模型可以通过connected_to API 手动交换连接。如果使用分片，则必须传递角色和分片：

ActiveRecord::Base.connected_to(role: :writing, shard: :shard_one) do
  @id = Person.create! # Creates a record in shard one
end

ActiveRecord::Base.connected_to(role: :writing, shard: :shard_one) do
  Person.find(@id) # Can't find record, doesn't exist because it was created
                   # in the default shard
end

参考：

rails 6.1 provides ability to switch connection per database thus we can do the horizontal partitioning.

Shards are declared in the three-tier config like this:

production:
  primary:
    database: my_primary_database
    adapter: mysql2
  primary_replica:
    database: my_primary_database
    adapter: mysql2
    replica: true
  primary_shard_one:
    database: my_primary_shard_one
    adapter: mysql2
  primary_shard_one_replica:
    database: my_primary_shard_one
    adapter: mysql2
    replica: true

Models are then connected with the connects_to API via the shards key

class ApplicationRecord < ActiveRecord::Base
  self.abstract_class = true

  connects_to shards: {
    default: { writing: :primary, reading: :primary_replica },
    shard_one: { writing: :primary_shard_one, reading: :primary_shard_one_replica }
  }
end

Then models can swap connections manually via the connected_to API. If using sharding, both a role and a shard must be passed:

ActiveRecord::Base.connected_to(role: :writing, shard: :shard_one) do
  @id = Person.create! # Creates a record in shard one
end

ActiveRecord::Base.connected_to(role: :writing, shard: :shard_one) do
  Person.find(@id) # Can't find record, doesn't exist because it was created
                   # in the default shard
end