一遍又一遍地运行相同的junit测试的简单方法？

Question

正如标题所示，我正在寻找一些简单的方法来使用 Eclipse 自动连续多次运行 JUnit 4.x 测试。

例如，连续运行相同的测试 10 次并报告结果。

我们已经有了一种复杂的方法来做到这一点，但我正在寻找一种简单的方法来做到这一点，这样我就可以确定我一直试图修复的片状测试保持不变。

一个理想的解决方案是我不知道的 Eclipse 插件/设置/功能。

Answer 1

最简单（需要最少数量的新代码）的方法是将测试作为参数化测试运行（使用 @RunWith(Parameterized.class) 进行注释并添加一个方法来提供 10空参数）。这样框架将运行测试 10 次。

该测试需要是类中唯一的测试，或者最好是所有测试方法都需要在类中运行 10 次。

这是一个示例：

@RunWith(Parameterized.class)
public class RunTenTimes {

    @Parameterized.Parameters
    public static Object[][] data() {
        return new Object[10][0];
    }

    public RunTenTimes() {
    }

    @Test
    public void runsTenTimes() {
        System.out.println("run");
    }
}

通过上面的内容，甚至可以使用无参数构造函数来完成此操作，但我不确定框架作者是否有意这样做，或者将来是否会中断。

如果您正在实现自己的运行程序，那么您可以让运行程序运行测试 10 次。如果您使用第三方运行程序，则在 4.7 中，您可以使用新的 @Rule 注释并实现 MethodRule 接口，以便它接受语句并执行它 10 for 循环中的次数。此方法当前的缺点是 @Before 和 @After 仅运行一次。这可能会在 JUnit 的下一个版本中发生变化（@Before 将在 @Rule 之后运行），但无论如何您都会对对象的同一个实例进行操作（对于参数化运行器来说并非如此）。这假设您运行类的任何运行程序都可以正确识别 @Rule 注释。仅当委托给 JUnit 运行程序时才会出现这种情况。

如果您使用无法识别 @Rule 注释的自定义运行程序运行，那么您实际上必须编写自己的运行程序来适当地委托给该运行程序并运行它 10 次。

请注意，还有其他方法可以潜在地解决此问题（例如理论运行程序），但它们都需要运行程序。不幸的是，JUnit 目前不支持运行器层。那是一个链着其他跑步者的跑步者。

Answer 2

使用 IntelliJ，您可以从测试配置中执行此操作。打开此窗口后，您可以选择运行测试任意次数。

当您运行测试时，intellij 将按照您指定的次数执行您选择的所有测试。

运行 624 个测试 10 次的示例：

Answer 3

使用 JUnit 5，我能够使用 @ 解决这个问题RepeatedTest 注解：

@RepeatedTest(10)
public void testMyCode() {
    //your test code goes here
}

请注意，@Test 注解不应与 @RepeatedTest 一起使用。

Answer 4

我发现 Spring 的重复注释对于此类事情很有用：

@Repeat(value = 10)

最新 (Spring Framework 4.3.11.RELEASE API) doc:

• org.springframework.test.annotation
• Spring 中的单元测试

Answer 5

受到以下资源的启发：

• 博客文章< /a>
• 此解决方案
• 注释版本

示例

创建并使用 @Repeat 注解，如下所示：

public class MyTestClass {

    @Rule
    public RepeatRule repeatRule = new RepeatRule();

    @Test
    @Repeat(10)
    public void testMyCode() {
        //your test code goes here
    }
}

重复.java

import static java.lang.annotation.ElementType.METHOD;
import java.lang.annotation.Retention;
import java.lang.annotation.RetentionPolicy;
import java.lang.annotation.Target;

@Retention(RetentionPolicy.RUNTIME)
@Target(METHOD)
public @interface Repeat {
    int value() default 1;
}

RepeatRule.java

import org.junit.rules.TestRule;
import org.junit.runner.Description;
import org.junit.runners.model.Statement;

public class RepeatRule implements TestRule {

    private static class RepeatStatement extends Statement {
        private final Statement statement;
        private final int repeat;    

        public RepeatStatement(Statement statement, int repeat) {
            this.statement = statement;
            this.repeat = repeat;
        }

        @Override
        public void evaluate() throws Throwable {
            for (int i = 0; i < repeat; i++) {
                statement.evaluate();
            }
        }

    }

    @Override
    public Statement apply(Statement statement, Description description) {
        Statement result = statement;
        Repeat repeat = description.getAnnotation(Repeat.class);
        if (repeat != null) {
            int times = repeat.value();
            result = new RepeatStatement(statement, times);
        }
        return result;
    }
}

PowerMock

将此解决方案与 @RunWith(PowerMockRunner.class) 一起使用，需要更新到 Powermock 1.6.5 （其中包括 补丁）。

Answer 6

任何问题：

@Test
void itWorks() {
    // stuff
}

@Test
void itWorksRepeatably() {
    for (int i = 0; i < 10; i++) {
        itWorks();
    }
}

与测试每个值数组的情况不同，您并不特别关心哪个运行失败。

无需在配置或注释中执行您可以在代码中执行的操作。

Answer 7

这对我来说更容易。

public class RepeatTests extends TestCase {

    public static Test suite() {
        TestSuite suite = new TestSuite(RepeatTests.class.getName());

        for (int i = 0; i < 10; i++) {              
        suite.addTestSuite(YourTest.class);             
        }

        return suite;
    }
}

Answer 8

tempus-fugit 库中有一个间歇性注释，可与 JUnit 4.7 的 @Rule 多次重复测试或使用 @RunWith。

例如，

@RunWith(IntermittentTestRunner.class)
public class IntermittentTestRunnerTest {

   private static int testCounter = 0;

   @Test
   @Intermittent(repition = 99)
   public void annotatedTest() {
      testCounter++;
   }
}

运行测试后（使用 @RunWith 中的 IntermittentTestRunner），testCounter 将等于 99。

Answer 9

这本质上是 Yishai 上面提供的答案，用 Kotlin 重写：

@RunWith(Parameterized::class)
class MyTest {

    companion object {

        private const val numberOfTests = 200

        @JvmStatic
        @Parameterized.Parameters
        fun data(): Array<Array<Any?>> = Array(numberOfTests) { arrayOfNulls<Any?>(0) }
    }

    @Test
    fun testSomething() { }
}

Answer 10

我构建了一个允许进行此类测试的模块。但它不仅仅专注于重复。但要保证某段代码是线程安全的。

https://github.com/anderson-marques/concurrent-testing

Maven 依赖项：

<dependency>
    <groupId>org.lite</groupId>
    <artifactId>concurrent-testing</artifactId>
    <version>1.0.0</version>
</dependency>

使用示例：

package org.lite.concurrent.testing;

import org.junit.Assert;
import org.junit.Rule;
import org.junit.Test;
import ConcurrentTest;
import ConcurrentTestsRule;

/**
 * Concurrent tests examples
 */
public class ExampleTest {

    /**
     * Create a new TestRule that will be applied to all tests
     */
    @Rule
    public ConcurrentTestsRule ct = ConcurrentTestsRule.silentTests();

    /**
     * Tests using 10 threads and make 20 requests. This means until 10 simultaneous requests.
     */
    @Test
    @ConcurrentTest(requests = 20, threads = 10)
    public void testConcurrentExecutionSuccess(){
        Assert.assertTrue(true);
    }

    /**
     * Tests using 10 threads and make 20 requests. This means until 10 simultaneous requests.
     */
    @Test
    @ConcurrentTest(requests = 200, threads = 10, timeoutMillis = 100)
    public void testConcurrentExecutionSuccessWaitOnly100Millissecond(){
    }

    @Test(expected = RuntimeException.class)
    @ConcurrentTest(requests = 3)
    public void testConcurrentExecutionFail(){
        throw new RuntimeException("Fail");
    }
}

这是一个开源项目。请随意改进。

Answer 11

您可以从 main 方法运行 JUnit 测试，并根据需要重复多次：

package tests;

import static org.junit.Assert.*;

import org.junit.Test;
import org.junit.runner.Result;

public class RepeatedTest {

    @Test
    public void test() {
        fail("Not yet implemented");
    }

    public static void main(String args[]) {

        boolean runForever = true;

        while (runForever) {
            Result result = org.junit.runner.JUnitCore.runClasses(RepeatedTest.class);

            if (result.getFailureCount() > 0) {
                runForever = false;
               //Do something with the result object

            }
        }

    }

}