NUnit - 测试失败后的清理

Question

我们有一些访问数据库的 NUnit 测试。 当其中之一失败时，它可能会使数据库处于不一致的状态 - 这不是问题，因为我们为每次测试运行重建数据库 - 但它可能导致其他测试在同一运行中失败。

是否有可能检测到其中一项测试失败并执行某种清理？

我们不想在每个测试中编写清理代码，我们现在已经这样做了。 我想在拆解中执行清理，但前提是测试失败，因为清理可能会很昂贵。

更新：澄清一下 - 我希望测试简单，并且不包含任何清理或错误处理逻辑。 我也不想在每次测试运行时执行数据库重置 - 仅当测试失败时。 这段代码可能应该在 Teardown 方法中执行，但我不知道有什么方法可以获取我们当前正在从失败或成功中拆除的测试的信息。

Update2：

        [Test]
        public void MyFailTest()
        {
            throw new InvalidOperationException();
        }

        [Test]
        public void MySuccessTest()
        {
            Assert.That(true, Is.True);
        }

        [TearDown]
        public void CleanUpOnError()
        {
            if (HasLastTestFailed()) CleanUpDatabase();
        }

我正在寻找 HasLastTestFailed() 的实现

Answer 1

从版本 2.5.7 开始，NUnit 允许 Teardown 检测上次测试是否失败。
新的 TestContext 类允许测试访问有关其自身的信息，包括 TestStauts。

欲了解更多详情，请参阅http://nunit.org/?p=releaseNotes& r=2.5.7

[TearDown]
public void TearDown()
{
    if (TestContext.CurrentContext.Result.Status == TestStatus.Failed)
    {
        PerformCleanUpFromTest();
    }
}

Answer 2

这个想法引起了我的兴趣，所以我做了一些挖掘。 NUnit 不具备这种开箱即用的能力，但 NUnit 提供了一个完整的可扩展性框架。 我发现这篇关于扩展 NUnit 的精彩文章< /a> - 这是一个很好的起点。 经过尝试后，我想出了以下解决方案：如果夹具中的测试之一失败，将调用用自定义 CleanupOnError 属性装饰的方法。

测试如下：

  [TestFixture]
  public class NUnitAddinTest
  {
    [CleanupOnError]
    public static void CleanupOnError()
    {
      Console.WriteLine("There was an error, cleaning up...");
      // perform cleanup logic
    }

    [Test]
    public void Test1_this_test_passes()
    {
      Console.WriteLine("Hello from Test1");
    }

    [Test]
    public void Test2_this_test_fails()
    {
      throw new Exception("Test2 failed");
    }

    [Test]
    public void Test3_this_test_passes()
    {
      Console.WriteLine("Hello from Test3");
    }
  }

属性很简单：

  [AttributeUsage(AttributeTargets.Method, AllowMultiple = false, Inherited = false)]
  public sealed class CleanupOnErrorAttribute : Attribute
  {
  }

下面是它如何从插件执行：

public void RunFinished(TestResult result)
{
  if (result.IsFailure)
  {
    if (_CurrentFixture != null)
    {
      MethodInfo[] methods = Reflect.GetMethodsWithAttribute(_CurrentFixture.FixtureType,
                                                             CleanupAttributeFullName, false);
      if (methods == null || methods.Length == 0)
      {
        return;
      }

      Reflect.InvokeMethod(methods[0], _CurrentFixture);
    }
  }
}

但这里有一个棘手的部分：插件必须放置在 NUnit 运行器旁边的 addins 目录中。 我的放置在 TestDriven.NET 目录中的 NUnit 运行器旁边：

C:\Program Files\TestDriven.NET 2.0\NUnit\addins

（我创建了 addins 目录，它不在那里）

编辑另一个问题是清理方法必须是静态的！

我编写了一个简单的插件，您可以从 下载源代码我的 SkyDrive。 您必须在适当的位置添加对 nunit.framework.dll、nunit.core.dll 和 nunit.core.interfaces.dll 的引用地方。

一些注意事项：属性类可以放置在代码中的任何位置。 我不想将其放置在与插件本身相同的程序集中，因为它引用了两个 Core NUnit 程序集，因此我将其放置在不同的程序集中。 如果您决定将其放在其他地方，请记住更改 CleanAddin.cs 中的行。

希望有帮助。

Answer 3

虽然可以强制 nUnit 执行此操作，但这不是最明智的设计，您始终可以在某处设置一个临时文件，如果该文件存在，则运行清理。

我建议更改您的代码，以便启用数据库事务，并且在测试结束时，只需将数据库恢复到原始状态（例如，丢弃代表单元测试的事务）。

Answer 4

就在这里。 您可以使用Teardown属性 每次测试后都会拆解。 您需要应用您拥有的数据库“重置”脚本，并在每次测试之前和之后进行拆卸和重新设置。

该属性在
TestFixture提供一组通用的
之后执行的函数
运行每个测试方法。

更新：根据评论和问题的更新，我想说你可以使用teardown属性并使用私有变量来指示方法内容是否应该触发。

不过，我也看到您不需要任何复杂的逻辑或错误处理代码。

鉴于此，我认为标准的 Setup/Teardown 最适合您。 是否有错误并不重要，并且您不必有任何错误处理代码。

如果您需要特殊清理，因为下一个测试取决于当前测试的成功完成，我建议重新访问您的测试 - 它们可能不应该相互依赖。

Answer 5

使用 Try-Catch 块重新抛出捕获的异常怎么样？

try
{
//Some assertion
}
catch
{
     CleanUpMethod();
     throw;
}

Answer 6

我现在会像 phsr 建议的那样，当您负担得起时，重构测试，以便它们永远不必依赖另一个测试所需的相同数据，甚至更好地抽象数据访问层并模拟来自该数据库的结果。 听起来您的测试相当昂贵，您应该在数据库上执行所有查询逻辑，并在程序集中执行业务逻辑，您并不真正关心返回的结果是什么。

您还可以更好地测试您的异常处理。

Answer 7

另一种选择是使用一个特殊的函数来抛出异常，该函数在 testfixture 中设置一个开关来表示发生了异常。

public abstract class CleanOnErrorFixture
{
     protected bool threwException = false;

     protected void ThrowException(Exception someException)
     {
         threwException = true;
         throw someException;
     }

     protected bool HasTestFailed()
     {
          if(threwException)
          {
               threwException = false; //So that this is reset after each teardown
               return true;
          }
          return false;
     }
}

然后使用您的示例：

[TestFixture]
public class SomeFixture : CleanOnErrorFixture
{
    [Test]
    public void MyFailTest()
    {
        ThrowException(new InvalidOperationException());
    }

    [Test]
    public void MySuccessTest()
    {
        Assert.That(true, Is.True);
    }

    [TearDown]
    public void CleanUpOnError()
    {
        if (HasLastTestFailed()) CleanUpDatabase();
    }
}

这里唯一的问题是堆栈跟踪将导致 CleanOnErrorFixture

Answer 8

到目前为止没有提到的一个选项是将测试包装在 TransactionScope 对象中，因此发生什么并不重要，因为测试从未向数据库提交任何内容。

以下是有关该技术的一些详细信息。 如果您对单元测试和事务范围进行搜索，您可能会找到更多信息（尽管如果您点击数据库，您实际上是在进行集成测试）。 我过去曾成功地使用过它。

这种方法很简单，不需要任何清理并确保测试是隔离的。

编辑-我刚刚注意到雷·海耶斯的答案也与我的类似。

Answer 9

您可以使用
添加[TearDown]方法
if (TestContext.CurrentContext.Result.Status != TestStatus.Passed)
如果测试失败则执行一些代码。

Answer 10

怎么会失败呢？ 是否可以将其放入 try（进行测试）/catch（修复损坏的数据库）/finally 块中？

或者，您可以在检查失败条件后调用私有方法来修复它。

Answer 11

我并不是说这是一个好主意，但它应该有效。
请记住，断言失败只是例外。 另外不要忘记还有一个 [TestFixtureTearDown] 属性，该属性在夹具中的所有测试运行后仅运行一次。

使用这两个事实，您可以编写一些内容，例如在测试失败时设置一个标志，并在测试夹具拆卸中检查该标志的值。

我不推荐这样做，但它会起作用。 您并没有真正按照预期使用 NUnit，但您可以做到。

[TestFixture]
public class Tests {
     private bool testsFailed = false;

     [Test]
     public void ATest() {
         try {
             DoSomething();
             Assert.AreEqual(....);
         } catch {
            testFailed = true;
         }
     }

     [TestFixtureTearDown]
     public void CleanUp() {
          if (testsFailed) {
              DoCleanup();
          }
     }
}