使用 LINQ to SQL 批量插入和重复记录

Question

是否有处理批量插入（通过 LINQ）但丢弃表中可能已存在的记录的“最佳实践”方法？或者我必须要么批量插入导入表然后删除重复项，要么一次插入一条记录？

---

2010 年 8 月 26 日 - 编辑#1：
我现在正在研究 Intersect 和 except 方法。我正在从不同的来源收集数据，转换为列表，想要与目标数据库“比较”，然后仅插入新记录。

List<DTO.GatherACH> allACHes = new List<DTO.GatherACH>();
State.IState myState = null;
State.Factory factory = State.Factory.Instance;
foreach (DTO.Rule rule in Helpers.Config.Rules)
{
    myState = factory.CreateState(rule.StateName);
    List<DTO.GatherACH> stateACHes = myState.GatherACH();
    allACHes.AddRange(stateACHes);
}

List<Model.ACH> newRecords = new List<Model.ACH>();  // Create a disconnected "record set"...
foreach (DTO.GatherACH record in allACHes)
{
        var storeInfo = dbZach.StoreInfoes.Where(a => a.StoreCode == record.StoreCode && (a.TypeID == 2 || a.TypeID == 4)).FirstOrDefault();

        Model.ACH insertACH = new Model.ACH
        {
            StoreInfoID = storeInfo.ID,
            SourceDatabaseID = (byte)sourceDB.ID,
            LoanID = (long)record.LoanID,
            PaymentID = (long)record.PaymentID,
            LastName = record.LastName,
            FirstName = record.FirstName,
            MICR = record.MICR,
            Amount = (decimal)record.Amount,
            CheckDate = record.CheckDate
        };
        newRecords.Add(insertACH);
}

上面的代码构建了 newRecords 列表。现在，我试图通过比较 3 个字段唯一索引来从此列表中获取不在数据库中的记录：

AchExceptComparer myComparer = new AchExceptComparer();
var validRecords = dbZach.ACHes.Intersect(newRecords, myComparer).ToList();

比较器如下所示：

class AchExceptComparer : IEqualityComparer<Model.ACH>
{
    public bool Equals(Model.ACH x, Model.ACH y)
    {
        return (x.LoanID == y.LoanID && x.PaymentID == y.PaymentID && x.SourceDatabaseID == y.SourceDatabaseID);
    }

    public int GetHashCode(Model.ACH obj)
    {
        return base.GetHashCode();
    }
}

但是，我收到此错误：

<块引用>

LINQ to Entities 无法识别方法“System.Linq.IQueryable1[MisterMoney.LARS.ZACH.Model.ACH] Intersect[ACH](System.Linq.IQueryable1[MisterMoney. LARS.ZACH.Model.ACH]、System.Collections.Generic.IEnumerable1[MisterMoney.LARS.ZACH.Model.ACH]、System.Collections.Generic.IEqualityComparer1[MisterMoney.LARS.ZACH .Model.ACH])' 方法，并且该方法无法转换为存储表达式。

有什么想法吗？是的，这与原来的问题完全一致。 :)

Answer 1

您无法使用 LINQ to SQL 进行批量插入（我猜当您说“LINQ”时指的是 LINQ to SQL）。但是，根据您所描述的内容，我建议您查看新的 SQL Server 2008 的 MERGE 运算符。
使用 MERGE 插入、更新和删除数据

这里是另一个示例。

Answer 2

我建议你自己编写 SQL 来进行插入，我发现它要快得多，而且你可以让它完全按照你想要的方式工作。当我做类似的事情（只是一个一次性程序）时，我只是使用字典来保存我已经插入的 ID，以避免重复。

我发现 LINQ to SQL 对于在 LINQ to SQL 中完成其整个生命周期的一条记录或一小组记录很有用。

或者您可以尝试使用 SQL Server 2008 的批量插入 。

Answer 3

需要注意的一件事是，如果您在没有调用 SubmitChanges() 的情况下对超过 2000 条左右的记录进行排队 - TSQL 对每次执行的语句数量有限制，因此您不能简单地对每个记录进行排队，然后像这样调用 SubmitChanges()会抛出SqlException，需要定期清理队列来避免这种情况。