NUnit：在单个测试中运行多个断言

Question

我被要求编写一个测试应用程序，需要在数据库中的多行上测试新的存储过程，本质上我想做这样的事情：

[Test]
public void TestSelect()
{
    foreach(id in ids)
    {
        DataTable old = Database.call("old_stored_proc",id);
        DataTable new_ = Database.call("new_stored_proc",id);

        Assert.AreEqual(old.Rows[0]["column"],ne_.Rows[0]["column"]);
    }
}

当我运行此测试时，如果 1 行与另一行不匹配，整个测试失败； 相反，我想计算断言通过了多少次以及失败了多少次。 有没有办法用 NUnit 来做到这一点？

我意识到 NUnit 可能有点大材小用，如果没有它，这就是一个简单的任务......我只是想学习它。 ;)

Answer 1

我最近也遇到了同样的问题。 我将计数错误的想法与 Yann Trevin 提到的 Assert.Multiple 结合到了 IEnumberable 的扩展方法中，它可以让我执行以下操作：

[Test]
public void TestEvenNumbers()
{
    int[] numbers = new int[] { 2, 4, 12, 22, 13, 42 };
    numbers.AssertAll((num) => Assert.That((num % 2) == 0, "{0} is an odd number", num));
}

导致 NUnit 输出：

TestEvenNumbers:
  5 of 6 tests passed; 0 inconclusive
FAILED: 13:   13 is an odd number
  Expected: True
  But was:  False

  Expected: 6
  But was:  5

OP 问题的解决方案是：

[Test]
public void TestSelect()
{
    ids.AssertAll(CheckStoredProcedures);
}

private void CheckStoredProcedures(Id id)
{
    DataTable old = Database.call("old_stored_proc",id);
    DataTable new_ = Database.call("new_stored_proc",id);

    Assert.AreEqual(old.Rows[0]["column"], new_.Rows[0]["column"]);
}

这是扩展方法（请注意，为了与 Linq 术语保持一致，我使用“全部”而不是“多个”）：

using System;
using System.Text;
using System.Collections.Generic;
using NUnit.Framework;

public static class NUnitExtensions
{
    public static void AssertAll<T>(this IEnumerable<T> objects, Action<T> test)
    {
        int total = 0;
        int passed = 0;
        int failed = 0;
        int inconclusive = 0;
        var sb = new StringBuilder();
        foreach (var obj in objects)
        {
            total++;
            try
            {
                test(obj);
                passed++;
            }
            catch (InconclusiveException assertion)
            {
                inconclusive++;
                string message = string.Format("INCONCLUSIVE: {0}: {1}", obj.ToString(), assertion.Message);
                Console.WriteLine(message);
                sb.AppendLine(message);
            }
            catch (AssertionException assertion)
            {
                failed++;
                string message = string.Format("FAILED: {0}: {1}", obj.ToString(), assertion.Message);
                Console.WriteLine(message);
                sb.AppendLine(message);
            }
        }

        if (passed != total)
        {
            string details = sb.ToString();
            string message = string.Format("{0} of {1} tests passed; {2} inconclusive\n{3}", passed, total, inconclusive, details);
            if (failed == 0)
            {
                Assert.Inconclusive(message);
            }
            else
            {
                Assert.AreEqual(total, passed, message);
            }
        }
    }
}

Answer 2

我会计算不匹配的行数，然后编写一个断言，将该数字与 0 进行比较，并返回消息中不匹配字符串的数量。

您还可以使用 Assert.Greater 来实现此目的。

PS 原则上，您应该尝试为每个单元测试执行一个断言。 这就是它的要点。

Answer 3

您可以使用 [TestCase()] 属性如果是简单的硬编码 ID 列表。

[Test]
[TestCase(1234)]
[TestCase(5678)]
[TestCase(7654)]
public void TestSelect(int id)
{
    DataTable old = Database.call("old_stored_proc", id);
    DataTable new_ = Database.call("new_stored_proc", id);

    Assert.AreEqual(old.Rows[0]["column"], new_.Rows[0]["column"]);
}

这将为每个 ID 生成三个单独的测试，并且您使用的任何 nunit 测试运行程序都将显示通过/失败计数。

如果需要生成动态 ID 列表，则建议使用 [TestCaseSource()] 属性。

Answer 4

那么，您可以声明一个计数器，然后断言计数器的值来确定通过/失败

此外，您可以在测试设置中完成大部分工作，然后创建多个测试。

我不清楚为什么您需要在同一测试中使用所有断言 stmt。

Answer 5

根据您制定的目标，如果一行与另一行不匹配，则整个测试应该失败。 与将预期结果与实际得到的结果进行比较相比，计算断言通过或失败的次数所提供的信息要少。

Answer 6

我知道这个问题是专门关于 NUnit 的，但有趣的是， Gallio/MbUnit 有一个功能，允许运行和捕获多个立即断言。

[Test]
public void MultipleTest()
{
    Assert.Multiple(() =>
    {
       Assert.IsTrue(blabla);
       Assert.AreEqual(pik, pok);
       // etc.
    }
}

Assert.Multiple 正在捕获所有失败的断言，并将在测试结束时报告它们。

Answer 7

看来你只是在断言错误的事情。 如果您想检查所有值，然后断言没有错误（或显示错误数量），请尝试以下操作：

[Test]
public void TestSelect()
{
    int errors = 0;
    foreach(id in ids)
    {
        DataTable old = Database.call("old_stored_proc",id);
        DataTable new_ = Database.call("new_stored_proc",id);

        if (old.Rows[0]["column"] != new_.Rows[0]["column"])
        {
            errors++;
        }            
    }

    Assert.AreEqual(0, errors, "There were " + errors + " errors.");
}

Answer 8

1) 如果 id 是恒定的并且在测试运行时未查找，则为每个 id 创建一个单独的单元测试装置。 这样您就会知道哪些 id 实际上出现了故障。 请参阅此处有关数据驱动测试问题的文章：
http://googletesting.blogspot.com/2008/09/tott -data-driven-traps.html

2) 如果您需要动态查找 id，从而无法为每个 id 创建固定装置，请使用 akmad 的建议进行一项更改。 保留值不相等的 id 列表，并将该列表添加到错误消息中。 诊断仅指出错误数量的失败测试将非常困难，因为您不知道是什么 id 导致了错误。

3）我不知道在NUnit中做起来有多困难，但是在PyUnit中，当我们需要对动态生成的数据运行测试时，我们动态创建测试装置并将它们附加到TestCase类，这样我们就失败了对每一条不通过的数据进行测试。 不过我想如果没有 python 的动态能力，这会困难得多。