节省 1000+ 一次记录到数据库

Question

我目前正在使用 NHibernate。 我遇到一种情况，我需要将一堆记录保存到数据库中，如下所示：

var relatedTopics = GetRelatedTopics(topic);
foreach (var relatedTopic in relatedTopics /* could be anywhere from 10 - 1000+ */)
{
    var newRelatedTopic = new RelatedTopic { RelatedTopicUrl = relatedTopic, TopicUrl = topic.Name };
    _repository.Save(newRelatedTopic);
}

当有大量记录需要保存时，这显然是非常费力的，必须多次访问数据库。 什么是更好的方法？ 我可以做某种批量更新吗？ 我使用数据集更好吗？

谢谢

Answer 1

设置 adonet.batch_size 可以改善这种情况。

为此，您必须

• 在 NH 配置中设置 adonet.batch_size

示例：

    m_sessionFactory = Fluently
         .Configure()
         .Database(MsSqlConfiguration
             .MsSql2005
             .ConnectionString(c => c.FromConnectionStringWithKey("testme"))
             )
         .Mappings(m => m.FluentMappings
             .AddFromAssemblyOf<TestImpl>())
         .ExposeConfiguration(config =>
         {
             config.SetProperty("adonet.batch_size", "1");
             m_configuration = config;
         })
         .BuildSessionFactory();

• 在保存之前在会话上设置批处理大小

  using (ISession session = m_nhibernateSessionFactory.GetSession()) 
    使用 (var tx = session.BeginTransaction()) 
    {     
       会话.SetBatchSize(1000);      
       foreach（serverz 中的 var 服务器） 
       { 
          会话.SaveOrUpdate(服务器); 
       } 
       tx.Commit(); 
    } 
    

Answer 2

我相信这就是您正在寻找的：

使用 NHibernate 的无状态会话进行批量数据操作

本质上，您不是打开 ISession，而是打开 IStatelessSession，并且在 hibernate.cfg.xml 中您可以设置：

 <property name="adonet.batch_size">100</property>

Answer 3

我认为根据您的情况，您有多种选择。

如果您可以使用 NHibernate 2.1 alpha，您可以尝试使用可用的新可执行 HQL。

http://nhibernate.info/blog/2009/ 05/05/nh2-1-executable-hql.html

托比亚斯的答案也有效。 只需设置批量大小即可显着提高性能。

如果您想使用 ADO.Net...

可以通过使用 Sql Bulk Copy 在 Sql Server 中进行批量插入。

示例如下： http://dotnetslackers.com/articles/ado_net/SqlBulkCopy_in_ADO_NET_2_0.aspx

对我来说，您似乎正在基于数据库中的另一个实体创建一个新实体。 对我来说，这似乎是使用存储过程的理想场景。

Answer 4

数据集？ 不。
批量插入？ 是的。

如果您要插入那么多记录并且插入非常简单，那么您应该考虑进行批量插入并提取 ORM。

Answer 5

插入记录的最快方法是生成文本文件并使用 LOAD FILE 语法。 大多数数据库都可以非常快速地将数据文件导入数据库。 对于 MySQL，请参见以下内容：

http://dev.mysql。 com/doc/refman/5.1/en/load-data.html

对于其他数据库，请参阅相应的手册。 如果您经常插入一百万条记录或数千条记录，这非常有用。 否则，您能做的最好的事情就是创建一个包含 1000 条插入的大型 SQL，并直接在数据库连接上执行它，跳过 ORM 及其相关验证。