运行多线程 nunit 测试的最佳方法

Question

我目前正在尝试找到一个解决方案，如果测试方法生成的线程中发生异常，如何确保测试失败。

我不想在单元测试中开始讨论多个线程。 => "单元测试".Replace("单元","集成");

我已经在几个论坛上阅读了很多帖子，我知道 CrossThreadTestRunner，但我正在寻找一个集成到 nunit 中的解决方案，并且不需要重写大量测试。

Answer 1

非测试线程（即其他生成的线程）上的异常不会导致测试失败的原因是 NUnit 默认配置为使用 legacyUnhandledExceptionPolicy 这是一个.Net进程级别设置，可以通过app.config应用，即：

<legacyUnhandledExceptionPolicy enabled="1"/>

启用此设置（即将其设置为“1”）会导致异常不会在主线程上发生的情况将被忽略。

我写了一篇文章，更详细地介绍了 ReSharper 测试运行程序的这个问题，但它同样适用于 NUnit 测试运行程序：
https://web.archive.org/web/20101006004301/http://gojisoft.com/blog/2010/05/14/resharper-test-runner-hidden-thread-exceptions/)

ReSharper 测试运行程序 - 隐藏线程异常

作者：蒂姆·劳埃德，2010 年 5 月 14 日下午 4:31

我们在 GojiSoft 使用 ReSharper 测试运行程序来运行 NUnit 测试
从 Visual Studio 中。 这是一个很棒的测试运行程序，但无法运行
与可能发生异常的多线程组件很好地配合
非测试线程。 非测试线程上未处理的异常被隐藏
以及应该失败的测试，而不是通过。

...

问题在于 ReSharper 测试运行程序是
配置为与 .Net 1.0 和 1.1 应用程序的行为方式相同，其中
非主线程上未处理的异常被吞掉。 情况
从 .Net 2.0 进行了改进，其中所有未处理的异常都会使
过程。 然而，微软不得不允许现有的.Net 1.0和1.1
应用程序可以选择在新的 .Net 框架上像以前一样运行。 他们
引入了 app.config 设置：legacyUnhandledExceptionPolicy。

ReSharper 测试运行程序默认配置为使用 .Net 1.0
和1.1策略一样，所以如果存在未处理的非测试线程异常
它不会冒泡并导致测试失败——测试通过，
但我们却得到了误报。

如果非测试线程上未处理的异常导致测试失败，则
必须更新 ReSharper 测试运行程序的 app.config。

...

通过编辑legacyUnhandledExceptionPolicy关闭旧版未处理异常策略：

现在，当多线程测试在非测试线程上引发异常时，它们会按预期失败：

买家要小心……

对此有一个警告。 非测试线程上的异常现在将
扁平化测试运行程序，并且测试套件执行将在以下情况下停止：
它们发生了。 这与失败的正常测试运行形成对比
测试被标记为失败，测试运行程序将继续。 ...

Answer 2

我遇到了同样的问题，我的解决方案是捕获异常并增加异常计数器，因此 Test 方法只需断言异常计数器为 0 即可确认没有线程发生异常。

删除特定环境内容后我的测试代码的摘录：

    const int MaxThreads = 25;
    const int MaxWait = 10;
    const int Iterations = 10;
    private readonly Random random=new Random();
    private static int startedThreads=MaxThreads ;
    private static int exceptions = 0;

...

[Test]
    public void testclass()
    {
        // Create n threads, each of them will be reading configuration while another one cleans up

        Thread thread = new Thread(Method1)
        {
            IsBackground = true,
            Name = "MyThread0"
        };

        thread.Start();
        for (int i = 1; i < MaxThreads; i++)
        {
            thread = new Thread(Method2)
            {
                IsBackground = true,
                Name = string.Format("MyThread{0}", i)
            };

            thread.Start();
        }

        // wait for all of them to finish
        while (startedThreads > 0 && exceptions==0)
        {
            Thread.Sleep(MaxWait);
        }
        Assert.AreEqual(0, exceptions, "Expected no exceptions on threads");
    }

    private void Method1()
    {
        try
        {
            for (int i = 0; i < Iterations; i++)
            {
            // Stuff being tested
                Thread.Sleep(random.Next(MaxWait));
            }
        }
        catch (Exception exception)
        {
            Console.Out.WriteLine("Ërror in Method1 Thread {0}", exception);
            exceptions++;
        }
        finally
        {
            startedThreads--;
        }
    }

    private void Method2()
    {
        try
        {
            for (int i = 0; i < Iterations; i++)
            {
                // Stuff being tested
                Thread.Sleep(random.Next(MaxWait));
            }
        }
        catch (Exception exception)
        {
            Console.Out.WriteLine("Ërror in Method2 Thread {0}", exception);
            exceptions++;
        }
        finally
        {
            startedThreads--;
        }
    }

Answer 3

我通过为 nunit 创建一个插件解决了这个问题，它“安装”了一个 ITestDecorator。