在 Rails 中处理大型记录集
我正在尝试对比正常数据集更大的数据集（200 万条以上记录）执行日常操作。然而，Rails 似乎需要很长时间才能对这样的数据集执行操作。像这样的操作
Dataset.all.each do |data|
...
end
需要很长时间才能完成（我认为这是因为它无法一次将所有项目装入内存，对吧？）。
有人对我如何处理这种情况有任何策略吗？我知道 SQL 可能会加快该过程，但我希望使用 Rails 环境，因为我可以对数据执行比仅使用 SQL 语句更复杂的操作。
I'm trying to perform a daily operation on a larger than normal dataset (2m+ records). However, Rails seems to take a very long time performing operations on such a dataset. Operations like
Dataset.all.each do |data|
...
end
take a very long time to complete (I assume this is because it can't fit all the items into memory at once, right?).
Does anyone have any strategies on how I could handle this situation? I know SQL would probably speed up the process, but I'm looking to use the Rails environment as I can do many more complicated things to the data than I can with just SQL statements.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
您想要使用 ActiveRecord 的
find_each 为此。You want to use ActiveRecord's
find_eachfor this.当处理大量行时，数据库非常快速且高效，这正是它们的设计目的。如果您想要最大性能，我建议尝试在 SQL 中完成所有这些处理。如果您更喜欢使用 Rails，或者不可能在 SQL 中完成您想要的所有操作，您可能会尝试在 SQL 中进行一些预处理，而其余部分则在 Rails 中进行。除此之外，2m+ 行的循环量就很大，即使每行只需要几分之一秒，加起来也会很长一段时间。
When processing a large set of rows, a database is very fast and efficient, it what they were designed for. I would recommend attempting to do all this processing in SQL if you want max performance. If you prefer to use Rails, or it is impossible to do everything you want in SQL, you might attempt to do some pre-processing in SQL and the remainder in Rails. Short of that, 2m+ rows is a lot to loop over, even if each only takes a fraction of a second it add up to a long time.