AutoResetEvent 未正确阻止

Question

我有一个线程，它创建可变数量的工作线程并在它们之间分配任务。这是通过向线程传递一个 TaskQueue 对象来解决的，您将在下面看到其实现。

这些工作线程只是迭代它们所获得的TaskQueue 对象，执行每个任务。

private class TaskQueue : IEnumerable<Task>
{
    public int Count
    {
        get
        {
            lock(this.tasks)
            {
                return this.tasks.Count;
            }
        }
    }

    private readonly Queue<Task> tasks = new Queue<Task>();
    private readonly AutoResetEvent taskWaitHandle = new AutoResetEvent(false);

    private bool isFinishing = false;
    private bool isFinished = false;

    public void Enqueue(Task task)
    {
        Log.Trace("Entering Enqueue, lock...");
        lock(this.tasks)
        {
            Log.Trace("Adding task, current count = {0}...", Count);
            this.tasks.Enqueue(task);

            if (Count == 1)
            {
                Log.Trace("Count = 1, so setting the wait handle...");
                this.taskWaitHandle.Set();
            }
        }
        Log.Trace("Exiting enqueue...");
    }

    public Task Dequeue()
    {
        Log.Trace("Entering Dequeue...");
        if (Count == 0)
        {
            if (this.isFinishing)
            {
                Log.Trace("Finishing (before waiting) - isCompleted set, returning empty task.");
                this.isFinished = true;
                return new Task();
            }

            Log.Trace("Count = 0, lets wait for a task...");
            this.taskWaitHandle.WaitOne();
            Log.Trace("Wait handle let us through, Count = {0}, IsFinishing = {1}, Returned = {2}", Count, this.isFinishing);

            if(this.isFinishing)
            {
                Log.Trace("Finishing - isCompleted set, returning empty task.");
                this.isFinished = true;
                return new Task();
            }
        }

        Log.Trace("Entering task lock...");
        lock(this.tasks)
        {
            Log.Trace("Entered task lock, about to dequeue next item, Count = {0}", Count);
            return this.tasks.Dequeue();
        }
    }

    public void Finish()
    {
        Log.Trace("Setting TaskQueue state to isFinishing = true and setting wait handle...");
        this.isFinishing = true;

        if (Count == 0)
        {
            this.taskWaitHandle.Set();
        }
    }

    public IEnumerator<Task> GetEnumerator()
    {
        while(true)
        {
            Task t = Dequeue();
            if(this.isFinished)
            {
                yield break;
            }

            yield return t;
        }
    }

    IEnumerator IEnumerable.GetEnumerator()
    {
        return GetEnumerator();
    }
}

正如您所看到的，我使用 AutoResetEvent 对象来确保工作线程不会过早退出，即在获取任何任务之前退出。

简而言之：

• 主线程通过将任务放入其任务队列来将任务分配给线程，
• 主线程通过调用任务队列的完成来通知线程没有更多任务要执行() 方法
• 工作线程通过调用任务队列的 Dequeue() 方法来检索分配给它的下一个任务。

问题是 Dequeue() 方法经常 < strong>抛出 InvalidOperationException，表示队列为空。正如您所看到的，我添加了一些日志记录，事实证明，AutoResetEvent 不会阻止Dequeue()，即使没有调用它的 >Set() 方法。

据我了解，调用 AutoResetEvent.Set() 将允许等待线程继续（之前调用 AutoResetEvent.WaitOne()），然后自动调用 AutoResetEvent.Reset()，阻塞下一个等待者。

那么可能有什么问题呢？我是不是搞错了什么？我有什么地方有错误吗？ 我已经在上面坐了三个小时了，但我不知道出了什么问题。 请帮我！

非常感谢！

Answer 1

您的出列代码不正确。你检查了锁上的伯爵，然后摸索着裤子的接缝，然后你期望任务有一些东西。释放锁时不能保留假设:)。您的 Count 检查和tasks.Dequeue 必须在锁定下发生：

bool TryDequeue(out Tasks task)
{
  task = null;
  lock (this.tasks) {
    if (0 < tasks.Count) {
      task = tasks.Dequeue();
    }
  }
  if (null == task) {
    Log.Trace ("Queue was empty");
  }
  return null != task;
 }

您的 Enqueue() 代码同样充满了问题。您的入队/出队不能确保进度（即使队列中有项目，出队线程也会被阻塞等待）。您的 Enqueue() 签名是错误的。总的来说，你的帖子是非常非常糟糕的代码。坦率地说，我认为你在这里试图咀嚼的东西超出了你能咬的范围......哦，还有永远不要在锁定状态下登录。

我强烈建议您使用 ConcurrentQueue。

如果您无法访问 .Net 4.0，这里有一个可以帮助您入门的实现：

public class ConcurrentQueue<T>:IEnumerable<T>
{
    volatile bool fFinished = false;
    ManualResetEvent eventAdded = new ManualResetEvent(false);
    private Queue<T> queue = new Queue<T>();
    private object syncRoot = new object();

    public void SetFinished()
    {
        lock (syncRoot)
        {
            fFinished = true;
            eventAdded.Set();
        }
    }

    public void Enqueue(T t)
    {
        Debug.Assert (false == fFinished);
        lock (syncRoot)
        {
            queue.Enqueue(t);
            eventAdded.Set();
        }
    }

    private bool Dequeue(out T t)
    {
        do
        {
            lock (syncRoot)
            {
                if (0 < queue.Count)
                {
                    t = queue.Dequeue();
                    return true;
                }
                if (false == fFinished)
                {
                    eventAdded.Reset ();
                }
            }
            if (false == fFinished)
            {
                eventAdded.WaitOne();
            }
            else
            {
                break;
            }
        } while (true);
        t = default(T);
        return false;
    }


    public IEnumerator<T> GetEnumerator()
    {
        T t;
        while (Dequeue(out t))
        {
            yield return t;
        }
    }

    System.Collections.IEnumerator System.Collections.IEnumerable.GetEnumerator()
    {
        return GetEnumerator();
    }
}

Answer 2

我正在等待更详细的答复，但我只想指出一些非常重要的事情。

如果您使用的是 .NET 3.5，您可以使用 ConcurrentQueue类。向后移植包含在 Rx 扩展库，适用于 .NET 3.5。

由于您想要阻塞行为，因此需要将 ConcurrentQueue 包装在 BlockingCollection（也可作为 Rx 的一部分）。

Answer 3

看起来您正在尝试复制阻塞队列。 .NET 4.0 BCL 中已存在一个 BlockingCollection。如果 .NET 4.0 不适合您，那么您可以使用此代码。它使用 Monitor.Wait 和 Monitor.Pulse 方法而不是 AutoResetEvent。

public class BlockingCollection<T>
{
    private Queue<T> m_Queue = new Queue<T>();

    public T Take() // Dequeue
    {
        lock (m_Queue)
        {
            while (m_Queue.Count <= 0)
            {
                Monitor.Wait(m_Queue);
            }
            return m_Queue.Dequeue();
        }
    }

    public void Add(T data) // Enqueue
    {
        lock (m_Queue)
        {
            m_Queue.Enqueue(data);
            Monitor.Pulse(m_Queue);
        }
    }
}

更新：

我相当确定如果您希望它是线程安全的，则不可能使用AutoResetEvent实现生产者-消费者队列对于多个生产者和多个消费者（如果有人能想出一个反例，我准备被证明是错误的）。当然，你会在互联网上看到一些例子，但它们都是错误的。事实上，微软的一次此类尝试是缺陷在于队列可能会实时锁定。