以随机顺序运行 TestNG 测试

Question

类似于 如何运行 JUnit 测试以随机顺序？ ，我希望 TestNG 以随机顺序运行我的测试，这样意外的依赖关系就不会潜入。

TestNG 手册状态：

默认情况下，TestNG 将运行在 testng.xml 文件中找到的测试 随机顺序。

但是，我创建了一个小型测试项目，其中包含一个简单的 testng.xml：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd" >
<suite name="My suite">
    <test name="Simple test">
        <packages>
            <package name="testngtests"></package>
        </packages>
    </test>
</suite>

包 testngtests 包含两个测试类（MyTest1、MyTest2），并且它们包含一些如下所示的空方法：

@Test
public void testOne(){

}

测试方法是都是空的，只是名称不同。

当我运行它们时（使用 Eclipse TestNG 运行程序或在命令行上），测试始终以相同的顺序运行（即按字母顺序排序，首先按类排序，然后按方法名称排序）。

那么文档是错误的吗？

或者“按随机顺序”只是意味着“没有保证的顺序”？那么如何让TestNG主动随机化测试顺序呢？

Answer 1

是的，“随机”确实应该是“不可预测”。

如果您想要真正的随机化，请查找 IMethodInterceptor，其中 TestNG 将为您提供将顺序更改为您喜欢的任何顺序的机会。

Answer 2

为了扩展 Cedric Beust 的答案，这是我执行此操作的代码，并得到了 来自 GitHub 的示例：

import org.testng.IMethodInstance;
import org.testng.IMethodInterceptor;
import org.testng.ITestContext;
import java.util.Collections;
import java.util.List;
import java.util.Random;

public class TestOrderRandomizer implements IMethodInterceptor {
    @Override
    public List<IMethodInstance> intercept(List<IMethodInstance> methods, ITestContext context) {
        long seed = System.nanoTime();
        System.out.println(String.format("Randomizing order of tests with seed: %s", seed));
        Collections.shuffle(methods, new Random(seed));
        return methods;
    }
}

要使用它，请在测试之前添加此示例类：

import org.testng.annotations.Listeners;

@Listeners(TestOrderRandomizer.class)
public class TesterClass {
...

打印种子允许通过再次种植相同的种子来重现运行顺序。