方案大纲：使用白名单＆amp;范围？

Question

我一直在建立一个黄瓜自动化框架，并有许多要测试的组件。我已经使用了方案大纲来捕获各种值及其预期响应。

我认为的问题： 我必须指定每种类型的数据输入和错误消息。从下面的示例场景概述中，您可以看到我有一定的数字，所有这些都希望返回一条消息。如果有什么不等于这些值，返回错误消息：

Scenario Outline: Number is or is not valid
    Given I send an event with the "Number" set to <num>
    Then I will receive the following <message>
    Examples:
        | num    | message           |                                                                                     
        | 0      | "Processed event" |                                                        
        | 1      | "Processed event" |                                                                  
        | 2      | "Processed event" |                                                                 
        | 3      | "Processed event" |                                                                 
        | 4      | "Processed event" |                                                                 
        | 5      | "Processed event" |                                                                                                                                 
        | 6      | "Message failed"  |
        | -1     | "Message failed"  |
        | "One"  | "Message failed"  |

我想做什么： 我基本上希望在方案概述中定义了一个良好数据的“白名单”，如果有其他值输入 - 它返回了预期的错误消息。像以下内容：

Scenario Outline: Number is or is not valid
    Given I send an event with the "Number" set to <num>
    Then I will receive the following <message>
    Examples:
        | num                |  message          |                                                                                     
        | 0-5                | "Processed event" |                                                        
        | Anything else      | "Message failed"  |  

背后的代码是否可以使用？如您所见，它将具有使自动化套件更加简洁和可维护的好处。如果是这样，请告诉我，渴望讨论。

谢谢！

柯斯蒂

Answer 1

cucumber是支持bdd 的工具。这意味着当您必须交流行为时，它的工作原理非常好。但是，这个特殊的问题正在验证事件验证器的属性，即基于属性的测试。因此，相应地分配测试策略可能值得。

看来有一个规则，即处理有效的事件结果并拒绝无效的事件。这是您可以用黄瓜测试的东西。例如：

Feature: Events
    
    This system accepts events. Events are json messages.
    Examples of well known valid and invalid json messages
    can be found in the supplementary documentation.

    Scenario: The system accepts valid events
      When a well known valid event is send
      Then the system accepts the event
      And responds with "Processed event"

    Scenario: The system rejects invalid events
      When a well known invalid event is send
      Then the system rejects the event
      And responds with "Message failed"

看来有一个规则，即有效事件在0-5之间设置了一个字段“编号”。而且由于听起来像是JSON对象，所以我猜想字符串“ 0”，“ 1”，“ 2”，“ 3”，“ 4”，“ 5”也有效。其他任何事情都是无效的。

详尽测试的一种好方法是使用基于属性的测试框架。例如 jqwik 。给定一组有效或无效值的描述，它将随机尝试一些。对于简化的示例：

package my.example.project;

import net.jqwik.api.*;

import static org.assertj.core.api.Assertions.assertThat;

class ValidatorProperties {

    @Provide
    Arbitrary<Object> validValues() {
        Arbitrary<Integer> validNumbers = Arbitraries.integers().between(0, 5);
        Arbitrary<String> validStrings = validNumbers.map(Object::toString);
        return Arbitraries.oneOf(validNumbers, validStrings);
    }

    @Provide
    Arbitrary<Object> invalidValues() {
        Arbitrary<Integer> invalidNumbers = Arbitraries.oneOf(
                Arbitraries.integers().lessOrEqual(-1),
                Arbitraries.integers().greaterOrEqual(6)
        );
        Arbitrary<String> invalidStrings = invalidNumbers.map(Object::toString);
        return Arbitraries.oneOf(
                invalidNumbers, 
                invalidStrings, 
                Arbitraries.just(null)
        );
    }

    @Property
    void accepts0To5(@ForAll("validValues") Object value) {
        Validator validator = new Validator();
        assertThat(validator.isValid(value)).isTrue();
    }

    @Property
    void rejectsAnythingElse(@ForAll("invalidValues") Object value) {
        Validator validator = new Validator();
        assertThat(validator.isValid(value)).isFalse();
    }

    static class Validator {

        boolean isValid(Object event) {
            return event != null && event.toString().matches("^[0-5]$");
        }

    }

}

以这种方式拆分黄瓜测试，描述了系统应如何响应有效和无效的事件。虽然JQWIK测试描述了有效事件的属性是什么。这使得第二次更加清晰，并且在第二个方面具有更大的保真度。