使用 Ruby on Rails 批量更新插入

发布于 2024-12-10 08:43:37 字数 288 浏览 0 评论 0原文

我有一个 Rails 3 应用程序，需要将外部系统提供的 XML 文件提取到 Postgres 数据库中。我想使用类似 ActiveRecord-Import 的东西，但这似乎无法处理 Postgres 的 upsert 功能，并且我将摄取的一些记录已经存在，但需要更新。

我读到的大部分内容都建议即时编写 SQL，但这似乎是一个可能已经解决的问题。我就是找不到它。

谢谢。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

避讳 2024-12-17 08:43:37

您可以使用 upsert 在 MySQL 和 PostgreSQL 上进行更新插入。

如果您正在寻找原始速度，您可以使用 nokogiri 和 upsert。

使用 data_miner 导入数据可能会更容易，它在内部使用 nokogiri 和 upsert 。

回复收藏 0 原文

断爱 2024-12-17 08:43:37

如果您使用的是 PostgreSQL 9.1，则应该使用可写公用表表达式。类似于：

WITH updates (id) AS (
     UPDATE mytable SET .....
      WHERE ....
     RETURNING id
)
INSERT INTO mytable (....)
SELECT ... 
  FROM mytemptable
 WHERE id NOT IN (select id from updates);

在这种情况下，您首先在临时表中批量处理细化，然后它将尝试根据您的逻辑更新临时表中的记录，并插入其余部分。

If you are on PostgreSQL 9.1 you should use writeable common table expressions. Something like:

WITH updates (id) AS (
     UPDATE mytable SET .....
      WHERE ....
     RETURNING id
)
INSERT INTO mytable (....)
SELECT ... 
  FROM mytemptable
 WHERE id NOT IN (select id from updates);

In this case you bulk process thins in a temp table first, then it will try to update the records from the temptable according to your logic, and insert the rest.

回复收藏 0 原文

爱的十字路口 2024-12-17 08:43:37

这是一个两步的事情。首先，您需要获取 XML 文件。如果它是由用户通过表单提供的，那么你很幸运，否则你需要使用 ruby 的标准 HTTP 库或其他像 mechanize 这样的 gem（实际上非常棒）来获取它

。第二件事非常简单。您将所有 XML 读取到一个字符串中，然后您可以使用这段代码将其转换为哈希：

Hash.from_xml(xml_string)

然后您可以解析并使用数据...

Its a two step thing. First you need to fetch the XML File. If its provided by a user via a form that luck for you otherwise you need to fetch it using the standard HTTP lib of ruby or otherwise some gem like mechanize (which is actually really great)

The second thing is really easy. You read all the XML into a string and then you can convert it into a hash with this pice of code: