如何使 JUnit 测试按随机顺序运行？

Question

我有经典的测试结构，我有一个由不同套件组成的测试套件，例如 DatabaseTests、UnitTests 等。有时这些套件包含其他套件，例如 SlowDatabaseTests、FastDatabaseTests 等。

我想要的是随机化测试的运行顺序，这样我将确保他们并不相互依赖。随机化应该在每个级别上进行，就像套件应该打乱测试类顺序一样，测试类应该打乱测试方法顺序。

如果可以在 Eclipse 中做到这一点那就最好了。

Answer 1

你确实有一个 Sortable 但我可以'不知道你会如何使用它。

您可以扩展 BlockJUnit4ClassRunner 并拥有 computeTestMethods() 返回 super.computeTestMethods( 的随机副本）。然后使用 @RunWith 将其设置为运行程序使用。

例如

package com.stackoverflow.mlk;

import java.util.Collections;

import org.junit.runners.BlockJUnit4ClassRunner;
import org.junit.runners.model.InitializationError;

public class RandomBlockJUnit4ClassRunner extends BlockJUnit4ClassRunner {

    public RandomBlockJUnit4ClassRunner(Class<?> klass)
            throws InitializationError {
        super(klass);
    }

    protected java.util.List<org.junit.runners.model.FrameworkMethod> computeTestMethods() {
        java.util.List<org.junit.runners.model.FrameworkMethod> methods = super.computeTestMethods();
        Collections.shuffle(methods);
        return methods;
    }

}

然后

@RunWith(com.stackoverflow.mlk.RandomBlockJUnit4ClassRunner.class)
public class RandomOrder {
    @Test
    public void one() {
    }

    @Test
    public void two() {
    }

    @Test
    public void three() {
    }
}

Answer 2

https://github.com/KentBeck/junit/pull/386 引入了一些订单，但是不是随机。也许你并不真正想要这个；测试应该确定性地运行。如果您需要验证测试的不同排列是否仍然通过，请测试所有排列；或者，如果这速度慢得不切实际，请引入由环境变量等确定的“随机”种子进行洗牌，以便您可以重现任何故障。 http://hg.netbeans.org /main/file/66d9fb12e98f/nbjunit/src/org/netbeans/junit/MethodOrder.java 给出了针对 JUnit 3 执行此操作的示例。

Answer 3

一般来说，您需要做的是编写自己的测试运行程序，并在测试运行程序类中聚合方法并随机运行每个测试（确保不会运行测试两次）。

在此处阅读有关测试框架以及如何编写自己的测试运行程序的更多信息：
http://www.ddj.com/architect/184415674

Answer 4

在 JUnit 4.13 中，要以随机顺序运行测试类中的测试，请编写一个小帮助器类：

import org.junit.runner.manipulation.Ordering;

import java.util.Random;

public class RandomOrder implements Ordering.Factory {
    @Override
    public Ordering create(Ordering.Context context) {
        long seed = new Random().nextLong();
        System.out.println("RandomOrder: seed = " + seed);
        return Ordering.shuffledBy(new Random(seed));
    }
}

然后，用以下内容注释您的测试类：

@OrderWith(RandomOrder.class)

这样，该类的测试方法就会以随机顺序运行。另外，如果它们意外失败，您知道随机种子会完全重复此顺序。

我不知道如何为整个项目或测试套件配置它。

Answer 5

这是使用 Gradle 和 JUnit 5.8.0 的解决方案

第 1 步：确保您具有最新的 JUnit 版本依赖项。
步骤 2：在 build.gradle 测试部分定义所需的属性

test {  
    useJUnitPlatform()
    systemProperties([
         //Random in method level
        'junit.jupiter.testmethod.order.default': 'org.junit.jupiter.api.MethodOrderer$Random', 
         // Random in class level
        'junit.jupiter.testclass.order.default' : 'org.junit.jupiter.api.ClassOrderer$Random',
        // Log configuration to see the seed
        'java.util.logging.config.file' : file('src/test/resources/logging.properties')
    ])
    //To print the JUnit logs in console
    testLogging {
        events "passed", "skipped", "failed", "standardOut", "standardError"
    }
}

步骤 3：在 src/test/resources 下定义 logging.properties

.level=CONFIG
java.util.logging.ConsoleHandler.level=CONFIG
org.junit.jupiter.api.ClassOrderer$Random.handlers=java.util.logging.ConsoleHandler
org.junit.jupiter.api.MethodOrderer$Random.handlers=java.util.logging.ConsoleHandler

步骤 4：运行测试。 gradlew clean test

您可以在控制台中看到用于随机测试的种子。

CONFIG: ClassOrderer.Random default seed: 65423695211256721
CONFIG: MethodOrderer.Random default seed: 6542369521653287

如果是片状测试，您可以通过配置 JUnit 测试失败的相同种子来重现它

systemProperties([
'junit.jupiter.execution.class.order.random.seed' : '65423695211256721'
'junit.jupiter.execution.order.random.seed'       : '6542369521653287'
])

参考：how-to-randomize-tests-in-junit ，随机

Answer 6

我会确保他们不依赖于
彼此

应该确保情况确实如此，而不依赖于随机执行顺序。是什么让您担心依赖关系可能存在？

Answer 7

这个问题在 JUnit GitHub 上公开已有 2 年了，并指出了 2 个独立的问题问题：
- 根据执行顺序进行测试；
- 不可重复的测试。

考虑从根本上解决问题，而不是事后尝试使用框架来完成工作。使用setUp和tearDown方法保证隔离性，并在最小级别进行测试。