以多线程方式处理项目列表的最简单方法

Question

我有一段代码，可以打开数据读取器并为每条记录（包含 url）下载和下载数据。 处理该页面。

使其成为多线程的最简单方法是什么，例如，有 10 个插槽可用于同时下载和处理页面，并且当插槽可用时，正在读取下一行等。

我无法使用 WebClient .DownloadDataAsync

这是我尝试做的事情，但它没有起作用（即“worker”从未运行）：

        using (IDataReader dr = q.ExecuteReader())
        {
            ThreadPool.SetMaxThreads(10, 10);
            int workerThreads = 0;
            int completionPortThreads = 0;
            while (dr.Read())
            {
                do
                {
                    ThreadPool.GetAvailableThreads(out workerThreads, out completionPortThreads);

                    if (workerThreads == 0)
                    {
                        Thread.Sleep(100);
                    }
                } while (workerThreads == 0);

                Database.Log l = new Database.Log();
                l.Load(dr);

                ThreadPool.QueueUserWorkItem(delegate(object threadContext)
                {
                    Database.Log log = threadContext as Database.Log;
                    Scraper scraper = new Scraper();
                    dc.Product p = scraper.GetProduct(log, log.Url, true);
                    ManualResetEvent done = new ManualResetEvent(false);
                    done.Set();
                }, l);
            }
        }

Answer 1

您通常不需要使用最大线程（我相信它默认为每个进程 25 个工作线程，1000 个 IO）。 您可以考虑设置“最小线程数”，以确保始终有足够的可用线程数。

您也不需要调用 GetAvailableThreads。 您可以开始调用 QueueUserWorkItem 并让它完成所有工作。 您可以通过简单地调用 QueueUserWorkItem 来重现您的问题吗？

您还可以查看 并行任务库，它具有辅助方法使此类事情更易于管理和更容易。