.NET 3.5 上的并行 - 线程未完成嵌套 For 中的任务

Question

我不久前在 DevLabs 上下载了 Parallel Extensions for .NET 3.5 SP1 并开始使用它。一切似乎都工作正常，直到我注意到日志中的一些异常，我很难理解它们为什么会发生。

下面是并行任务的一个片段：

Parallel.ForEach(myJobArray, currentJob =>
{
    JobElements myJobElements = GetJobElements(currentJob);

    Parallel.For(0, myJobElements.Length, (currentIndex, loopState) =>
    {
        if (MyFunction(param1, myJobElements[currentIndex]))
        {
            loopState.Stop();
        }
    }
    );
}
);

这是 MyFunction 的伪代码：

private bool MyFunction(MyObject1 param1, MyObject2 param2)
{
    log(string.Format("start SubFunction1() from thread {0}", Thread.CurrentThread.ManagedThreadId));
    SubFunction1(); //which uses System.Diagnostics.Process to start a batch file (.bat) to execute a Perl script. If successful, a file will be generated.
    log(string.Format("end SubFunction1() from thread {0}", Thread.CurrentThread.ManagedThreadId));

    log(string.Format("start SubFunction2() from thread {0}", Thread.CurrentThread.ManagedThreadId));
    SubFunction2(); //which again, uses System.Diagnostics.Process to start another batch file (.bat) to execute a Perl script which transforms the file from step #1 to a new file.
    log(string.Format("end SubFunction2() from thread {0}", Thread.CurrentThread.ManagedThreadId));

}

日志显示一个线程启动了 SubFunction1() 但从未完成；即，没有日志条目显示具有相同线程 ID 的“end SubFunction1()”之类的内容。实际上，同一个线程似乎继续执行数组中的下一个作业并再次调用 SubFunction1()。当另一个线程试图代替前一个线程启动 SubFunction2() 并且找不到从 SubFunction1() 生成的文件时，就会发生异常。

我认为每个线程都保证从头到尾完成其任务，但我不明白为什么日志会这样显示。我还应该补充一点，行为并不一致；即，大多数情况下程序运行时没有异常，但有时会由于上述问题而引发异常。

有什么想法吗？

Answer 1

我认为每个线程都保证从头到尾完成其任务，但我不明白为什么日志会这样显示。

如果 SubFunction1() 抛出异常，则不会发生这种情况。

Answer 2

我认为每个线程都保证从开始到完成其任务
完成，我不明白为什么日志显示这样

首先，不能保证，因为您正在使用 loopState.Stop(); 并且从您的代码中不清楚如何、何时以及什么MyFunction() 返回。

然后，执行任务/线程的内容和写入日志（文件）的内容是两个不同的事情，很可能无法相互反映：

• 如果日志写入同一个文件，则日志很可能使用单独的线程用于写作。然后 log(string.Format("end SubFunction1() from thread {0}", Thread.CurrentThread.ManagedThreadId)); 不会显示实际任务的线程 ID（但显示日志的线程）。如果它确实显示实际任务的线程ID，那么不清楚（从您的代码中）为什么您没有通过从多个线程写入日志来获得跨线程异常
• 无论如何，写入同一个文件应该是同步的，否则它毫不奇怪，重复使用同一线程的下一个任务会覆盖上一个任务的输出（缓冲区内容和/或文件内容）

您应该通过以下任一方式同步日志记录：

• 使用数组的输出（这是线程安全的）以及任务完成将
• 日志包装到 TPL 后的日志记录数据流 ActionBlock（或者，使用带有队列的 TP）
• 在 Parallel.For 循环内使用锁，在每个循环结束时刷新输出流以保护对日志的访问