如何让 SpecFlow 预料到异常？

Question

我正在使用 SpecFlow，我想编写如下场景：

Scenario: Pressing add with an empty stack throws an exception
    Given I have entered nothing into the calculator
    When I press add
    Then it should throw an exception

calculator.Add() 会抛出异常，那么如何在标记的方法中处理这个异常[然后]？

Answer 1

很好的问题。我既不是 bdd 也不是 Specflow 专家，但是，我的第一个建议是退后一步并评估您的场景。

您真的想在本规范中使用术语“抛出”和“异常”吗？请记住，bdd 的理念是在业务中使用一种普遍存在的语言。理想情况下，他们应该能够阅读这些场景并解释它们。

考虑更改“then”短语以包含以下内容：

Scenario: Pressing add with an empty stack displays an error
    Given I have entered nothing into the calculator
    When I press add
    Then the user is presented with an error message

异常仍然在后台抛出，但最终结果是一条简单的错误消息。

Scott Bellware 在 Herding Code 播客中触及了这个概念：http://herdingcode.com/?p=176

Answer 2

作为 SpecFlow 的新手，我不会告诉您这是这样做的方法，但一种方法是使用 ScenarioContext 来存储异常在何时抛出；

try
{
    calculator.Add(1,1);
}
catch (Exception e)
{
    ScenarioContext.Current.Add("Exception_CalculatorAdd", e);
}

在 Then 中，您可以检查抛出的异常并对其进行断言；

var exception = ScenarioContext.Current["Exception_CalculatorAdd"];
Assert.That(exception, Is.Not.Null);

话虽如此；我同意 scoarescoare 的观点，他说你应该用更“商业友好”的措辞来表述场景。但是，使用 SpecFlow 驱动域模型的实现、捕获异常并对异常进行断言会派上用场。

顺便说一句：请观看 Rob Conery 在 TekPub 上的截屏视频，了解有关使用 SpecFlow 的一些非常好的技巧：http://tekpub。 com/view/concepts/5

Answer 3

BDD 可以在特征级别行为或/和单元级别行为上进行实践。

SpecFlow 是一个专注于功能级别行为的 BDD 工具。
异常不是您应该在功能级别行为上指定/观察的内容。
应在单元级行为上指定/观察异常情况。

将 SpecFlow 场景视为非技术利益相关者的实时规范。您也不会在规范中写入抛出异常，而是写入系统在这种情况下的行为方式。

如果您没有任何非技术利益相关者，那么 SpecFlow 对您来说是错误的工具！如果没有人有兴趣阅读它们，请不要浪费精力创建业务可读的规范！

有一些 BDD 工具专注于单元级别的行为。在 .NET 中，最流行的是 MSpec (http://github.com/machine/machine.specations）。
单元级别的 BDD 也可以轻松地通过标准单元测试框架进行实践。

也就是说，您仍然可以检查 SpecFlow 中是否存在异常。

以下是关于单元级别的 bdd 与功能级别的 bdd 的更多讨论：
SpecFlow/BDD 与单元测试
用于验收测试的 BDD 与用于单元测试的 BDD（或者：ATDD 与 TDD）

另请参阅这篇博文：
对 BDD 工具进行分类（单元测试驱动与测试驱动）验收测试驱动）和一些 BDD 历史

Answer 4

更改场景以不出现异常可能是使场景更加面向用户的好方法。但是，如果您仍然需要让它工作，请考虑以下事项：

1. 在调用操作并将其传递给场景的步骤中捕获异常（我真的建议捕获特定异常，除非您确实需要捕获所有异常）上下文。

   [当("我按添加")]
   公共无效当IPressAdd（）
   {
      尝试
      {
        _calc.Add();
      }
      捕获（异常错误）
      {
         ScenarioContext.Current[("错误")] = err;
      }
   }
   

2. 验证异常是否存储在场景上下文中

   [Then(@"它应该抛出异常")]
   公共无效ThenItShouldThrowAnException（）
   {
         Assert.IsTrue(ScenarioContext.Current.ContainsKey("错误"));
   }
   

中它非常接近现有答案之一。但是，如果您尝试使用如下语法从 ScenarioContext 获取值：

var err = ScenarioContext.Current["Error"]

如果“Error”键不存在，它将抛出另一个异常（并且这将使所有使用正确参数执行计算的场景失败）。所以 ScenarioContext.Current.ContainsKey 可能更合适

Answer 5

我的解决方案涉及几个要实现的项目，但最终它看起来会更加优雅：

@CatchException
Scenario: Faulty operation throws exception
    Given Some Context
    When Some faulty operation invoked
    Then Exception thrown with type 'ValidationException' and message 'Validation failed'

要使此工作正常进行，请遵循以下 3 个步骤：

第 1 步

使用某些标记标记您期望出现异常的场景，例如@CatchException：

@CatchException
Scenario: ...

Step 2

定义一个AfterStep处理程序以将ScenarioContext.TestStatus更改为OK。您可能只想忽略 When 步骤中的错误，因此您仍然可能在 Then 中验证异常而导致测试失败。必须通过反射来执行此操作，因为 TestStatus 属性是内部的：

[AfterStep("CatchException")]
public void CatchException()
{
    if (ScenarioContext.Current.StepContext.StepInfo.StepDefinitionType == StepDefinitionType.When)
    {
        PropertyInfo testStatusProperty = typeof(ScenarioContext).GetProperty("TestStatus", BindingFlags.NonPublic | BindingFlags.Instance);
        testStatusProperty.SetValue(ScenarioContext.Current, TestStatus.OK);
    }
}

第 3 步

验证 TestError 的方式与验证 ScenarioContext< 中的任何内容相同/代码>。

[Then(@"Exception thrown with type '(.*)' and message '(.*)'")]
public void ThenExceptionThrown(string type, string message)
{
    Assert.AreEqual(type, ScenarioContext.Current.TestError.GetType().Name);
    Assert.AreEqual(message, ScenarioContext.Current.TestError.Message);
}

Answer 6

如果您正在测试用户交互，我只会建议有关关注用户体验的内容：“然后向用户显示一条错误消息”。但是，如果您正在测试 UI 以下的级别，我想分享我的经验：

我正在使用 SpecFlow 开发业务层。就我而言，我并不关心 UI 交互，但我仍然发现 BDD 方法和 SpecFlow 非常有用。

在业务层中，我不希望规范说“然后向用户显示错误消息”，而是实际验证服务是否正确响应错误的输入。我已经做了一段时间了，已经说过在“何时”捕获异常并在“然后”验证它，但我发现这个选项不是最佳的，因为如果您重复使用“何时”步骤，您可能会吞下一个你意想不到的例外。

目前，我使用显式的“Then”子句，有时没有“When”，这样：

Scenario: Adding with an empty stack causes an error
     Given I have entered nothing into the calculator
     Then adding causes an error X

这允许我在一步中专门编码操作和异常检测。我可以重用它来测试尽可能多的错误情况，并且它不会让我将不相关的代码添加到非失败的“何时”步骤中。

Answer 7

ScenarioContext.Current 在最新版本的 SpecFlow 中已被弃用，现在建议将 POCO 添加到构造函数中的步骤测试类中，以存储/检索步骤之间的上下文，即

public class ExceptionContext
{
    public Exception Exception { get; set; }
}

private ExceptionContext _context;

public TestSteps(ExceptionContext context)
{
    _context = context;
}

And 在您的 [When] 绑定中......

try
{
   // do something
}
catch (MyException ex)
{
    _context.Exception = ex;
}

在您的[然后] 绑定，断言 _context.Exception 已设置并且属于您期望的异常类型。