Pex（测试生成）真的有用吗？

Question

是的，可以为“Sum”或“Divide”等函数的边界值生成测试。 Pex 是一个很好的工具。

但更常见的是，我们对业务行为进行测试。让我们考虑经典 Beck 的 tdd 书中的示例：

[Test]
public void ShouldRoundOnCreation()
{
  Money money = new Money(20.678);
  Assert.AreEqual(20.68,money.Amount);
  Assert.AreEqual(2068,money.Cents);
}

可以生成此测试吗？否:) 我的项目中 95% 的测试检查业务逻辑，并且无法生成。

Pex（特别是与 Moles 配合使用）可以提供 100% 的代码覆盖率，但是测试套件的高代码覆盖率并不表明该代码经过了良好的测试 - 它只会给出一切都经过测试的错误信心。这是非常危险的。

那么，问题是 - Pex 真的有用吗？

Answer 1

我认为您错误地使用了 Pex：我们强烈建议用户在参数化单元测试中编写断言。

如果您编写断言，Pex 将尝试系统地使它们无效 - 这就是 Pex 的强大之处：您编写的断言越多，它就越会尝试为您查找错误。

如果您使用 Pex 获得高代码覆盖率测试套件而不编写断言，您只会得到您所要求的：代码覆盖率和有保证的运行时异常。 Pex“仅”尝试覆盖分支（1 个断言 = 1 个分支），如果没有要覆盖的分支（无断言），它不会生成有趣的测试用例。

一般来说，在参数化单元测试中编写断言更难编写，因为……它们更通用。让我们从舍入行为开始：当然存在允许舍入发生的界限，这应该自然地转换为参数化单元测试：

[PexMethod]
public void RoundInBounds(double value) 
{
    var money = new Money(value);
    // distance between value and amount should be at most 0.01/2
    Assert.AreEqual(value, money.Amount, 0.005);
}

还有许多模式可用于编写这些模式。例如，您的“Money”类可能是幂等的：如果您将“Amount”的值反馈到 Money 实例中，您将得到 Amount。这优雅地转化为参数化单元测试：

[PexMethod]
public void RoundIsIdempotent(double value) 
{
     var first = new Money(value).Amount;
     var second = new Money(first).Amount;
     Assert.AreEqual(first, second, 0.0001);
}

另请注意，参数化单元测试绝对属于 TDD 世界。只需先编写参数化单元测试，Pex 就会找到失败的错误，修复错误，Pex 找到下一个失败的错误，等等......

这是否使 Pex 成为一个有用的工具？你来当法官吧。

Answer 2

Pex 有一些有用的东西。

1. 代码覆盖率。让我们先把 Pex 放在一边。一般来说，100% 的代码覆盖率并不一定意味着您具有良好的代码覆盖率。它只是意味着执行了所有路径，但是程序具有数据流，并且测试代码不同的附加输入，即使不是代码覆盖率，也可以为您提供最佳的“测试覆盖率”。在此，我只是重申一下你的观点。 100% 的代码覆盖率不一定好，但可以肯定地说 25% 的代码覆盖率不好，所以这就是代码覆盖率的用处。当代码覆盖率较低时，您肯定知道测试覆盖率较低。

   当您使用 Pex 获得 100% 的代码覆盖率时，它本身并不能真正帮助您获得更好的测试覆盖率，但它的作用是对生产代码的每一段进行一些测试，这可用于调试器。事实上，一次 Pex 会议演示就展示了 Pex 的用途。程序员说：“哎呀，看看 NHibernate 中的这个方法。我想在调试器中单步执行它，看看它做了什么，但是我如何通过正常的“业务入口点”调用该方法？库？如果你对库一无所知，你就不能。所以他运行了 Pex，并且能够使用各种参数来单步执行代码。有趣的是，有用，也许有用，也许没有。

2. 库？对库一无所知 对于自动创建的测试，Pex 对于参数化测试也很有用。为什么要一遍又一遍地使用不同的参数编写相同的代码，并从数据中提供参数。 除了自动创建的测试之外，Pex 对于参数化测试也很有用，

3. Pex 也可用作简单的存根框架。这可能是创建模拟对象最简单的方法，使用新的 lambda 表达式，这比 RhinoMocks 等复杂框架更容易理解。使用 Moles，您不仅可以存根接口，还可以存根类中的具体非虚拟方法。

4. 我也会对“业务逻辑测试”层非常小心。您可以轻松进行行为驱动开发，这不适用于单元测试。在那里，您正在根据规范进行测试。如果这就是您所做的全部，那么您将如何测试自定义数据结构等，这些数据结构没有业务价值，而是在整个应用程序中使用的内部库。