如何使用ThreadPool并行化数据库查询？

Question

我正在修复别人的代码，需要很长时间才能在以下代码中返回完整的数据集：

DataTable dt = someLib.GetDataTable("EXEC [dbo].[CMS_Content_GetAllContents]");

// Copy the DataTable data to list.
foreach (DataRow dr in dt.Rows)
{
    ContentInfo aContentDetail = new ContentInfo(
            (int)dr["ID"],
            (string)dr["ContentName"],
            getCategories((int)dr["ID"]),
            null,
            (string)dr["Publisher"],
            (string)dr["Price"],
            false);

    contentInfoList.Add(aContentDetail); ;
}

private string getCategories(int ContentID)
{
    String categories = String.Empty;
    String query = String.Format("EXEC [dbo].[CMS_Content_GetContentCategories] @ID = {0}", ContentID);

    DataTable dt = clsGlobal.GetDataTable(query);

    foreach (DataRow dr in dt.Rows)
    {
        categories = String.Concat((string)dr["ShortDescription"] + ", ");                
    }

    if (categories.EndsWith(", "))
        categories = categories.TrimEnd(new char[] { ',', ' ' });

    return categories;
}

这很可悲，因为 DataTable dt 有超过 1,000 行，我无法从存储过程级别处理它！

我只是想知道是否可以将调用 getCategories(int) 捆绑到 Threadpool.QueueUserWorkItem() 中，以便它可以并行，但不知道如何将字符串返回到来电者？

或者，使用线程池是一个坏主意，因为我听说线程池的工作线程不是为长时间运行的查询（例如数据库调用）而设计的，因为 IOCompletion 端口线程可能无法及时返回，因此工作线程可能会因此而被阻塞？

任何帮助表示赞赏。

Answer 1

恐怕线程在这种情况下不是答案（在线程池上或线程池外）。修复了对数据库的 1000 次调用。您可能会优化少数用户的响应速度，但响应时间仍然会非常令人痛苦，并且您的应用程序将在非常低的负载下崩溃。

我不知道您对数据库有多少控制权，因此这里有一些跨越几个层的想法：

1. 用内容拉动类别。您可以创建一个函数来对它们进行字符串分隔，或者使用在一次调用中返回多个数据集的过程。
2. 立即加载所有类别，并将数据放在内存中。
3. 更改您的 UI，这样您就不会同时使用 1000 个 CMS 项目。寻呼什么的。

祝你好运。

Answer 2

不过，问题已经有了答案。但这只是为了可能有所帮助。

您可以将代码“移动”到工作线程中并让它运行。您还可以创建添加事件，一旦线程完成工作，它就会通知您。这样您就可以继续（或将进度条移到末尾，如果有的话？）完成其余的工作。

1. 这里是如何使用线程。
2. 这是迄今为止我所喜欢的。

作为旁注，我相信这可以在 SP 中完成（如果您可以共享查询）；因此，我将创建一个获取内容详细信息的 SP，并且对于每个 ContentDetailID，我将准备一个逗号分隔的类别列表，然后返回我的结果。

所以，你的电话将是：

DataTable dt = someLib.GetDataTable("EXEC [dbo].[CMS_Content_GetAllContents_Ex]");//Note the _EX in the sp name (0: