Cucumber-JUnit 使用标签控制并行测试

Question

最近，我使用 Cucumber-JUnit 创建了一个框架，我可以在其中并行执行场景（目前每个功能保留一个场景），没有任何问题。

现在我遇到的情况是某些功能必须并行运行，有些功能必须按顺序运行。

我们是否可以通过标签或任何其他配置进行控制来选择哪些必须并行或顺序运行？

让我概述一下它目前是如何

并行的，以及根据 Cucumber 官方文档控制其线程大小 - Maven Surefire

pom.xml

<plugin>
   <groupId>org.apache.maven.plugins</groupId>
   <artifactId>maven-surefire-plugin</artifactId>
   <version>3.0.0-M5</version>
   <configuration>
       <parallel>methods</parallel>
       <threadCount>${threadSize}</threadCount>
       <perCoreThreadCount>false</perCoreThreadCount>
       </configuration>
</plugin>
        
        
        

CucumberRunner:

@RunWith(Cucumber.class)
@CucumberOptions(
        features = {"src/test/resources/features"},
        glue = {"com.tests.binding.steps"},
        tags = "@regression"
)
public class RunCucumberFeatures {

}

命令用于运行测试

mvn clean test -Dcucumber.filter.tags="${toExecute} and not (@smoke)" -DthreadCount=${ThreadSize} -Dcucumber.execution.dry-run="false"

>toExecute 参数 - 我们传递多个标签，例如 @customerClaim 或 @employeeClaim

现在，在我的例子中，具有标签 @employeeClaim应并行执行，带有 @customerClaim 的标签应按顺序执行。

目前的设计或其他方式是否可行？

Answer 1

有什么方法可以让我们通过标签或任何其他配置进行控制来选择哪个必须并行运行还是顺序运行？

cucumber-junit 和 JUnit 4 则不然。但是，使用 JUnit 5，您可以使用 cucumber-junit-platform-engine 并使用 JUnit 5s 对独占资源的支持。

https://github.com/cucumber/cucumber-jvm/树/主/junit-platform-engine

要同步特定资源上的方案，必须对该方案进行标记，并将该标记映射到特定资源的锁。资源由任意字符串标识，可以使用读写锁或读锁进行锁定。

例如以下标签：

Feature: Exclusive resources

   @reads-and-writes-system-properties
   Scenario: first example
      Given this reads and writes system properties
      When it is executed
      Then it will not be executed concurrently with the second example

   @reads-system-properties
   Scenario: second example
      Given this reads system properties
      When it is executed
      Then it will not be executed concurrently with the first example

使用此配置：

cucumber.execution.exclusive-resources.reads-and-writes-system-properties.read-write=java.lang.System.properties
cucumber.execution.exclusive-resources.reads-system-properties.read=java.lang.System.properties

当执行第一个带有@reads-and-writes-system-properties标签的场景时，会使用读写锁锁定java.lang.System.properties资源，并且不会与锁定java.lang.System.properties资源的第二个场景同时执行具有读锁的相同资源。

注意：标签中的@不包含在属性名称中。注意：有关规范资源名称，请参阅 junit5/Resources.java

因此，通过为 @customerClaim 创建独占资源，您可以防止这些场景并行运行。然而，据我所知，JUnit 5 不保证执行顺序，因此它们仍然应该彼此独立。

Answer 2

如果我们可以仅通过标签选择并行运行哪些测试，那就太好了。我很快就会与微服务作斗争，我希望我的大部分测试能够并行运行以节省时间。到目前为止，我一直在测试一个整体，并且我的框架已经完成了多个 .feature 文件和配置为在不同环境上运行的标签。因此，如果有一种简单的方法来配置哪些测试并行运行，其余的测试使用标签按顺序运行——那么很高兴知道。