运行多个线程，在另一个线程完成时启动新线程

Question

我有一个包含很多案例的应用程序。每个案例都有许多多页 tif 文件。我需要将 tf 文件转换为 pdf 文件。由于文件太多，我想我可以线程化转换过程。我目前将该过程限制为一次十次转换（即十个步骤）。当一个转换完成后，另一个转换应该开始。

这是我当前使用的设置。

private void ConvertFiles()
{
  List<AutoResetEvent> semaphores = new List<AutoResetEvet>();
  foreach(String fileName in filesToConvert)
  {
    String file = fileName;

    if(semaphores.Count >= 10)
    {
      WaitHandle.WaitAny(semaphores.ToArray());
    }


    AutoResetEvent semaphore = new AutoResetEvent(false);
    semaphores.Add(semaphore);

    ThreadPool.QueueUserWorkItem(
      delegate
      { 
        Convert(file);
        semaphore.Set();
        semaphores.Remove(semaphore);
      }, null);
  }

  if(semaphores.Count > 0)
  {
    WaitHandle.WaitAll(semaphores.ToArray());
  }
}

使用此方法有时会导致异常，指出 WaitHandle.WaitAll() 或 WaitHandle.WaitAny() 数组参数的长度不得超过 65。我在这种方法中做错了什么以及如何纠正它？

Answer 1

你写的东西有一些问题。

第一，它不是线程安全的。您有多个线程添加、删除和等待 AutoResetEvents 数组。 List 的各个元素可以在单独的线程上访问，但是添加、删除或检查所有元素的任何操作（如 WaitAny 调用）都需要在锁内执行。

第二，不能保证您的代码一次只能处理 10 个文件。检查列表大小和添加新项目之间的代码是开放的，可供多个线程通过。

第三，QueueUserWorkItem 中启动的线程有可能转换同一文件。如果不在循环内捕获 fileName，转换文件的线程将在执行时使用 fileName 中的任何值，而不是调用 QueueUserWorkItem 时 fileName 中的任何值。

这篇 codeproject 文章应该为您指明要做的事情的正确方向： http: //www.codeproject.com/KB/threads/SchedulingEngine.aspx

编辑：

var semaphores = new List<AutoResetEvent>();
        foreach (String fileName in filesToConvert)
        {
            String file = fileName;
            AutoResetEvent[] array;
            lock (semaphores)
            {
                array = semaphores.ToArray();
            }
            if (array.Count() >= 10)
            {
                WaitHandle.WaitAny(array);
            }

            var semaphore = new AutoResetEvent(false);
            lock (semaphores)
            {
                semaphores.Add(semaphore);
            }
            ThreadPool.QueueUserWorkItem(
              delegate
              {
                  Convert(file);
                  lock (semaphores)
                  {
                      semaphores.Remove(semaphore);
                  }
                  semaphore.Set();
              }, null);
        }

就我个人而言，我不认为我会这样做......但是，使用您拥有的代码，这应该可以工作。

Answer 2

您是否使用真正的信号量（System.Threading ）？使用信号量时，您通常会分配最大资源，并且它会自动为您阻塞（当您添加和释放时）。您可以采用 WaitAny 方法，但我感觉您选择了更困难的路线。

Answer 3

看起来您需要删除触发 WaitAny 函数的句柄才能继续

if(semaphores.Count >= 10)
{
  int index = WaitHandle.WaitAny(semaphores.ToArray());
  semaphores.RemoveAt(index);
}

删除：调用并使用上面的内容来删除有信号的事件并查看是否有效。

semaphores.Remove(semaphore);

所以基本上我会从线程中

Answer 4

也许您不应该创建这么多事件？

// input
var filesToConvert = new List<string>();
Action<string> Convert = Console.WriteLine;

// limit
const int MaxThreadsCount = 10;

var fileConverted = new AutoResetEvent(false);
long threadsCount = 0;

// start
foreach (var file in filesToConvert) {
    if (threadsCount++ > MaxThreadsCount) // reached max threads count 
        fileConverted.WaitOne();          // wait for one of started threads

    Interlocked.Increment(ref threadsCount);

    ThreadPool.QueueUserWorkItem(
        delegate {
            Convert(file);

            Interlocked.Decrement(ref threadsCount);
            fileConverted.Set();
        });
}

// wait
while (Interlocked.Read(ref threadsCount) > 0) // paranoia?
    fileConverted.WaitOne();