有没有一种方法可以“快速失败”？对于带有 Maven Surefire 插件的 junit？

Question

我目前正在使用maven 开发一个java 项目。我们使用 Maven Surefire 插件来运行我们的 junit 套件作为构建过程的一部分。

我们的测试套件在覆盖范围和执行时间方面都在快速增长。当您等待十分钟才发现测试在测试的第一分钟失败时，执行时间非常令人沮丧且耗时。

我想找到一种方法，使构建过程在测试套件中出现第一个错误/失败时失败。我知道这对于其他构建工具是可能的，但我一直无法找到使用 Maven Surefire 来做到这一点的方法。

我知道在 Surefire jira 中有 此问题的未解决票证Surefire jira 中的功能，但我希望有一个现有的解决方案。

Answer 1

截至 2015 年 9 月 6 日 似乎有，-Dsurefire.skipAfterFailureCount=1。

截至 2015 年 10 月 19 日 2.19版本已发布。

Answer 2

可能有合适的解决方法，但这取决于您的要求，并且您需要使用可以处理 jvm 进程返回代码的 CI 服务器。

基本思想是完全停止 Maven 的 JVM 进程，并让操作系统知道该进程已意外停止。然后，像 Jenkins/Hudson 这样的持续集成服务器应该能够检查非零退出代码并让您知道测试失败了。

第一步是确保 Surefire 在第一次测试失败时退出 JVM。您可以使用 JUnit 4.7 或更高版本，通过使用自定义 RunListener （将其放入 src/test/java 中）来实现此目的：

package org.example
import org.junit.runner.notification.Failure;
import org.junit.runner.notification.RunListener;
public class FailFastListener extends RunListener {
        public void testFailure(Failure failure) throws Exception {
                System.err.println("FAILURE: " + failure);
                System.exit(-1);
        }
}

然后，您需要配置该类，以便 Surefire 将其注册到 JUnit 4 Runner 。编辑 pom.xml 并将 listener 配置属性添加到 maven-surefire-plugin。您还需要将surefire 配置为不派生新的JVM 进程来执行测试。否则，它将继续进行下一个测试用例。

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-surefire-plugin</artifactId>
    <version>2.10</version>
    <configuration>
        <forkMode>never</forkMode>
        <properties>
            <property>
                <name>listener</name>
                <value>org.example.FailFastListener</value>
            </property>
        </properties>
    </configuration>
</plugin>

如果这没有帮助，我会尝试分叉 Maven Surefire junit 提供程序插件。

顺便说一句，根据定义，单元测试的运行速度应该快于 0.1 秒。如果您的构建由于单元测试而确实花费了很长时间，那么您将来必须让它们运行得更快。

Answer 3

据我所知，不，这确实需要解决

Answer 4

您可以使用 --fail-fast 选项运行 maven：

-ff 选项对于运行交互式的开发人员非常有用
希望在开发周期中获得快速反馈的构建者。

例如：

mvn clean test -ff

http://books.sonatype.com/mvnref-book/reference/running-sect-options.html

Answer 5

这不是问题的直接答案，但通过 grep 提供 Maven 的输出也很有用，可以去掉大部分内容并帮助您查看测试失败的位置。

像这样：

mvn test | grep -w 'Running\|Tests'

产生这样的输出（对于我的代码）：

Running scot.mygov.pp.test.dashboard.DashboardJsonSerDesCRUDTest
Tests run: 26, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.029 sec
Running scot.mygov.pp.test.dashboard.DashboardBaselineCRUDTest
Tests run: 26, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.026 sec
Running scot.mygov.pp.test.dashboard.DashboardDatabaseValidationTest
Tests run: 7, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 2.264 sec
Running scot.mygov.pp.test.dashboard.DashboardServiceWebServiceIsolationCRUDTest
Tests run: 26, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 0.032 sec

更容易看到第一个失败错误在哪里。

Answer 6

对于 Junit 5，您可以使用以下要点快速失败：

https://gist.github.com/alexec/ 7e065b4049a8787fa9ac3f2ca522acf3

您使用 @ExtendWith(FailFast.class) 注释了您的测试类，然后是您的测试。仅当任何 @Order(1) 成功时，才会运行带有 @Order(2) 注释的测试。

Answer 7

如果不完全符合您的需要，可以采用几种加快速度的方法：

• 如果是多模块构建，请添加
  --fail-fast 到命令行以在第一个模块之后退出。

• 研究故障保护以长期发展
  运行集成测试
  生命周期的不同阶段。

• 研究基于配置文件的快速和慢速测试解决方案 -
  有办法吗告诉 Surefire 跳过某个包中的测试？。

Answer 8

这并不能完全解决问题，但我的工作场所最终提出的解决方案是使用 Atlassian 的 Clover 运行与更改的代码相关的测试的专门构建。

我们有一个 Clover 构建，可以运行更改后的代码的测试，然后启动完整的测试构建。

事实证明这是一个令人满意的解决方案。