LINQ to DataSet 中的 GroupBy

Question

背景：

我正在将数据从 MySQL 数据库导入到 SQL-Server 数据库（用于报告，随后用于 SSAS-Cube）。我想同时对数据进行标准化。我想将重复的 Ticket_IDs 与其他有用信息一起分组到表 Contact 中的一条记录，并将原始数据保留在子表 ContactDetail 中（使用联系人的外键）。因此，Contact 中的每条记录都有一个唯一的 Ticket_ID。

我决定使用强类型数据集进行导入。现在我想知道检测我是否已添加 Ticket_ID 的最佳方法是什么。我可以在每个循环中检查它（~100000 条记录），但我假设有更好/更快的方法。

简化的示例数据：

Ticket_ID    ID     fiContact
89442226     1      1
89442226     2      1
89442226     3      1
89442261     4      2
89442261     5      2
89442354     6      3
89442359     7      4
89442359     8      4
89442367     9      5
89442504     10     6

这应该是 Contact-table

Ticket_ID    idContact
89442226     1
89442261     2
89442354     3
89442359     4
89442367     5
89442504     6

问题：

是否可以使用 LINQ/LINQ-to-DataSet 按 Ticket_ID 进行分组并获取 ContactDetailRows 列表每个联系人行？我知道有一个 GroupBy-扩展，但我不确定如何使用以及它是否满足我的需要（保留 ContactDetail-Rows，就像以 Ticket_ID 作为键和 List（of EmailRow） 作为字典 价值）。

这就是我所拥有的（简化的）：

    For Each srcEmail In src.email 'i want to group src.email by Ticket_ID'
        'so far i check for existence in every loop'
        Dim res = From c In dest.Contact
               Where c.Ticket_ID = srcEmail.ticket_id
        If Not res.Any Then
            'create new Contact
            Dim newContact = Me.dest.Contact.NewContactRow
            newContact.Ticket_ID = srcEmail.ticket_id
            ' ..... '
            dest.Contact.AddContactRow(newContact)
        End If
        'TODO: create ContactDetail row and add it to the DataTable '
    Next

• src: typed DataSet(MySQL)
• src.email: typed DataTable =>进入 ContactDetail
• dest：类型化 DataSet(SQL-Server)
• dest.Contact 类型化 DataTable
• dest.ContactDetail 类型化 DataTable fk to Contact

我更喜欢 VB.NET，因为我对 LINQ 还不太熟悉，而且 C# 中的语法有很大不同。

编辑：

感谢@Magnus，我按照以下方式进行：

Dim emailsPerTicketID = src.email.ToLookup(Function(email) email.ticket_id)
For Each ticket In emailsPerTicketID
    'create new Contact
    Dim newContact = Me.dest.Contact.NewContactRow
    newContact.Ticket_ID = ticket.Key
    newContact.CreatedAt = ticket.First().modified_time
    ' ...... '
    dest.Contact.AddContactRow(newContact)
    'TODO: add now all EmailRows'
    For Each emailRow In ticket
       Dim newContactDetail = dest.ContactDetail.NewContactDetailRow
       newContactDetail.ContactRow = newContact
       newContactDetail.Interaction = emailRow.interaction
       ' .... '
       dest.ContactDetail.AddContactDetailRow(newContactDetail)
    Next
Next

我将看看这是否比使用 HashSet 检测联系人是否已创建的迭代方法更快。

Answer 1

我认为使用 Lookup （类似于字典，但用 key/Collection 代替）对你来说是一个很好的解决方案。像这样：

var lookup = ds.Tables["src"].AsEnumerable().ToLookup(x => x.Field<int>("Ticket_ID"));
foreach (var row in ds.Tables["dest"].AsEnumerable())
{
    if(!lookup.Contains(row.Field<int>("Ticket_ID ")))
    {
        //create new Contact
    }
    else
    {
        //do other struff
    }
}

如果您需要任何帮助将任何语法翻译为 VB，请评论我。

Answer 2

我的 VB 已经生锈了，但这里有一个尝试：

Dim ticketGroups = From c in dest.Contact
                    Group c By Ticket_ID = c.Ticket_ID 
                    Into Tickets = Group

For Each ticketGroup In ticketGroups
    For Each ticket in ticketGroup.Tickets
        ' Create the row, add it, etc.
        Dim newContact = Me.dest.Contact.NewContactRow
        newContact.Ticket_ID = ticketGroup.Ticket_ID
        ' .... '
        dest.Contact.AddContactRow(newContact)
    Next
Next

或者，如果您想每次通过循环检查它，您可以使用 HashSet，每次只需将票证 ID 添加到哈希集中，然后通过 Contains 方法检查其是否存在。这会比你正在做的更快，但我怀疑 LINQ 分组会比 HashSet 更快。