Assert.Inconclusive 和 IgnoreAttribute

Question

在 MS Unit 测试框架中使用 Assert.Inconclusive 和 IgnoreAttribute 的正确方法是什么？

我们使用 Assert.Inconclusive 主要用于以下测试：

• 尚未实现
• 不知何故损坏或不完整 = 需要进一步关注
• 当测试主体因任何原因被注释掉时

我们这样做是因为：

• 不确定的测试可能包含消息
• 我们希望在 TFS 的测试结果中看到此类测试。

我们的问题是，Inconclusive 测试在 TFS 和 Resharper 中都被标记为错误。如果我们使用 IgnoreAttribute 相反，我们将在 Resharper 中看到这些测试，但 MS Test runner 和 TFS 将完全忽略它们。在 TFS 和 MS Test runner 中使用 IgnoreAttribute 与注释整个测试相同，这是无用的。

Answer 1

我还看到当前实施中的困境。

• TRX 报告中包含不确定断言，但 mstest.exe（以及 vstest.console.exe）将返回 1（表示错误）执行后。
• 具有Ignore属性的测试方法不会被报告为错误，但它们在TRX报告中完全隐藏。

我个人的理解如下：

使用[Ignore]属性（暂时）禁用/跳过该方法：

[TestMethod]
[Ignore] // <== disabled through "Ignore" attribute
public void Test001()
{
   //execute some stuff ...
   Assert.IsTrue(...);

   //execute some stuff ...
   Assert.AreEqual(...);
}

不要滥用Inconclusive断言为此：

[TestMethod]
public void Test002()
{
    Assert.Inconclusive(); // <== misuse of "Inconclusive" to skip this test

    //execute some stuff ...
}

相反，应该有条件地使用Inconclusive：只有当我们无法判断要测试的组件是否按预期工作时。
例如，如果我们依赖的外部资源在测试执行时不可用：

[TestMethod]
public void Test003()
{
    //check if the server is running,
    //otherwise can can't test our local client component!
    if (!WebServiceAvailable())
    {
        Assert.Inconclusive(); // <== skip remaining code because the resource is not available
    }

    //execute some stuff ...
    Assert.AreEqual(...);

    //execute some stuff ...
    Assert.AreEqual(...);
}

_ _

结论：
禁用/跳过测试的逻辑方法是使用 [Ignore] 属性。
我清楚地看到 mstest.exe 当前的行为没有将任何被忽略的测试报告为应该修复的bug。

请随意对以下错误报告进行投票：

• https://connect.microsoft。 com/VisualStudio/feedback/details/779743/
• http: //visualstudio.uservoice.com/forums/121579-visual-studio/suggestions/2088845

Answer 2

我喜欢认为您描述的 Inconclusive 是正确的用法。

尽管根据我的经验，“不确定”更像是警告而不是错误。事实上，它们在 TRX 中与错误分开报告：

<TestRun>
   <ResultSummary outcome="Inconclusive">
      <Counters total="1" 
          executed="0" error="0" failed="0" 
          timeout="0" aborted="0" inconclusive="1" 
          passedButRunAborted="0" notRunnable="0" 
          notExecuted="0" disconnected="0" 
          warning="0" passed="0" completed="0" 
          inProgress="0" pending="0" />

我通常从 运行 mstest 可执行文件。我的 msbuild 脚本中的任务，然后查看 TRX 内部以确定它是否应该使构建失败。

Answer 3

传统上，在测试时，单元测试应该非常具体，以便功能和这些功能的测试之间存在（接近）一一对应的关系。

为了测试某些功能，首先需要将被测系统 (SUT) 置于某种状态。一旦达到该状态，测试就可以实际测试其预期的功能。现在，如果设置部分已经失败，那么这样的测试的状态应该是什么。它无法对被测功能的功能做出声明，因为测试从未达到执行该功能所需的状态。

在这种情况下，通常会给出不确定的结果，因为我们根本不知道该功能是否按预期工作，因此我们无法通过或失败。事实上，设置本身没有按预期工作应该通过单独的测试来解决。

所以想象一下，我想测试一个已经被“bar”ed 的“foo”在“qux”ed 时将返回 0。此测试不应测试“foo”是否可以被“禁止”，因此任何“禁止”失败都将返回不确定的结果，而未能响应“qux”将是正确的失败。

Answer 4

我一直在对此进行一些研究，并在家中进行尝试。最终结果是，我相信 MSTest 的 [Ignore] 属性确实完全忽略了测试方法。我尝试查看 Visual Studio 中的设置以查看是否有覆盖，但找不到任何内容。

对此感到羞耻，因为看不到被忽略的测试是很糟糕的，因为您最终可能会认为自己有一套运行良好的 100 个 MSTest 测试，但事实证明，结果中缺少 50 个您从未知道的测试，因为[Ignore] 属性！呃。

Answer 5

根据 MSDN 文档：

1. IgnoreAttribute
   （自 VS 2005 起）意味着“不应运行此测试”
   请参阅 https： //msdn.microsoft.com/en-us/library/microsoft.visualstudio.testtools.unittesting.ignoreattribute(v=vs.80).aspx (存档版本在 WaybackMachine）。

2. Assert.Inconclusive（自 VS 2005 起）意味着“表示无法证明某个断言是真是假。也用于表示尚未实现的断言。”请参阅 https://msdn.microsoft.com/en-us/library/microsoft.visualstudio.testtools.unittesting.assert.inconclusive(v=vs.80).aspx (在 WaybackMachine 上存档)

   
   

我认为当您必须使用哪一个时，这些是非常明确的声明。

Answer 6

我也遇到了同样的问题，VS 将不确定的测试标记为失败。我发现 .runsettings 中有一个设置，您可以设置不将它们标记为失败。只需将设置 MapInconclusiveToFailed 设置为 False。这是示例用法的链接。

https://learn.microsoft.com/en-us/visualstudio/test/configure-unit-tests-by-using-a-dot-runsettings-file ?branch=release-16.4&view=vs-2019#mstest-element