如何运行并发单元测试？

Question

如何使用junit进行并发测试？

假设我有一个类，

public class MessageBoard
{
    public synchronized void postMessage(String message)
    {
        ....
    }

    public void updateMessage(Long id, String message)
    {
        ....
    }
}

我想同时测试对此 postMessage 的多个访问。 对此有什么建议吗？ 我希望对我的所有 setter 函数（或任何涉及创建/更新/删除操作的方法）运行这种并发测试。

Answer 1

这里最好的方法是使用系统测试来用请求来爆破你的代码，看看它是否崩溃。 然后用单元测试来检查逻辑的正确性。 我解决这个问题的方法是为异步调用创建一个代理，并在测试下同步进行它。

但是，如果您想在完整安装和完整环境之外的级别执行此操作，您可以在 junit 中通过在单独的线程中创建对象来执行此操作，然后创建大量线程来向您的对象发出请求并阻止主线程直到完成。 如果你做得不对，这种方法可能会导致测试间歇性失败。

Answer 2

TestNG 支持 Java 并发测试。 这篇文章描述了如何使用它并且有文档在测试网站上。

但不确定是否可以同时进行相同的测试

Answer 3

您可以使用 tempus-fugit 库并行多次运行测试方法，以模拟负载测试类型环境。 尽管之前的评论指出 post 方法是同步的并因此受到保护，但可能涉及本身不受保护的关联成员或方法，因此加载/浸泡类型测试可能 抓住这些。 我建议您设置一个相当粗粒度/端到端的测试，以便为您提供捕获任何漏洞的最佳机会。

请参阅文档的 JUnit 集成部分。

顺便说一句，我是该项目的开发人员:)

Answer 4

测试并发错误是不可能的； 您不仅需要验证输入/输出对，还必须验证测试期间可能发生或不发生的情况下的状态。 不幸的是 JUnit 不具备执行此操作的能力。

Answer 5

您还可以尝试 HavaRunner。 默认情况下它并行运行测试。

Answer 6

您只能证明并发错误的存在，而不能证明它们不存在。

但是，您可以编写一个专门的测试运行程序来生成多个并发线程，然后调用 @Test 注解的方法。

Answer 7

尝试查看 JUnit 附带的 ActiveTestSuite。 它可以同时启动多个 JUnit 测试：

public static Test suite()
{
    TestSuite suite = new ActiveTestSuite();
    suite.addTestSuite(PostMessageTest.class);
    suite.addTestSuite(PostMessageTest.class);
    suite.addTestSuite(PostMessageTest.class);
    suite.addTestSuite(PostMessageTest.class);
    suite.addTestSuite(PostMessageTest.class);
    return suite;
}

上面将并行运行同一个 JUnit 测试类 5 次。 如果您希望并行测试有所变化，只需创建一个不同的类即可。

Answer 8

在您的示例中，postMessage() 方法是同步的，因此您实际上不会看到单个虚拟机内的任何并发效果，但您也许能够评估同步版本的性能。

您将需要在不同的虚拟机中同时运行测试程序的多个副本。 使用

如果您无法让测试框架执行此操作，您可以 自己启动一些虚拟机。
流程构建器的东西对于路径之类的东西来说是一个痛苦，但这里是一般的草图：

Process running[] = new Process[5];
for (int i = 0; i < 5; i++) {
 ProcessBuilder b = new ProcessBuilder("java -cp " + getCP() + " MyTestRunner");
 running[i] = b.start();
}

for(int i = 0; i < 5; i++) {
 running[i].waitFor();
}

我通常为简单的线程测试做这样的事情，就像其他人发布的那样，测试并不是正确性的证明，但它通常会消除愚蠢的错误在实践中。 它有助于在各种不同的条件下进行长时间的测试——有时并发错误需要一段时间才能在测试中显现出来。

public void testMesageBoard() {
 final MessageBoard b = new MessageBoard();

 int n = 5;
 Thread T[] = new Thread[n];
 for (int i = 0; i < n; i++) {
  T[i] = new Thread(new Runnable() {
   public void run() {
    for (int j = 0; j < maxIterations; j++) {
      Thread.sleep( random.nextInt(50) );
      b.postMessage(generateMessage(j));
      verifyContent(j); // put some assertions here
    }
   }
  });

  PerfTimer.start();
  for (Thread t : T) {
   t.start();
  }

  for (Thread t : T) {
   t.join();
  }
  PerfTimer.stop();
  log("took: " + PerfTimer.elapsed());
 }
}**strong text**

Answer 9

同时运行可能会导致意外结果。 例如，我刚刚发现，虽然我的 200 个测试的测试套件在逐个执行时通过，但并发执行时失败，我发现这不是一个线程安全问题，而是一个依赖于另一个测试的测试，是一件坏事，我可以解决这个问题。

Mycila 在 JUnit ConcurrentJunitRunner 和 ConcurrentSuite 上的工作非常有趣。 与最新的 GA 版本相比，这篇文章似乎有点过时，在我的示例中我将展示更新的用法。

像下面这样注释测试类将导致同时执行测试方法，并发级别为 6：

import com.mycila.junit.concurrent.ConcurrentJunitRunner;
import com.mycila.junit.concurrent.Concurrency;

@RunWith(ConcurrentJunitRunner.class)
@Concurrency(6)
public final class ATest {
...

您还可以同时运行所有测试类

import com.mycila.junit.concurrent.ConcurrentSuiteRunner;

@RunWith(ConcurrentSuiteRunner.class)
@Suite.SuiteClasses({ATest.class, ATest2.class, ATest3.class})
public class MySuite {
}

： mycila/mycila-junit" rel="noreferrer">Maven 依赖项 是：

<dependency>
    <groupId>com.mycila</groupId>
    <artifactId>mycila-junit</artifactId>
    <version>1.4.ga</version>
</dependency> 

我目前正在研究如何与此包同时多次运行方法。 如果有人有一个例子让我知道，在我自制的解决方案下面，这可能已经是可能的。

@Test
public final void runConcurrentMethod() throws InterruptedException {
    ExecutorService exec = Executors.newFixedThreadPool(16);
    for (int i = 0; i < 10000; i++) {
        exec.execute(new Runnable() {
             @Override
             public void run() {
                 concurrentMethod();
             }
        });
    }
    exec.shutdown();
    exec.awaitTermination(50, TimeUnit.SECONDS);
}

private void concurrentMethod() {
    //do and assert something
}

正如其他人指出的那样，确实，您永远无法确定是否会出现并发错误，但如果执行数万或数十万次并发，例如 16，统计数据就在您这边。

Answer 10

在 .NET 中，有一些工具，例如 TypeMock Racer 或 Microsoft CHESS 专为单元测试并发性而设计。 这些工具不仅可以发现死锁等多线程错误，还可以为您提供重现错误的线程交错集。

我想 Java 世界也有类似的东西。

Answer 11

不幸的是，我不相信您可以通过使用运行时测试来明确证明您的代码是线程安全的。 您可以根据需要抛出任意数量的线程来反对它，并且它可能/可能不会通过，具体取决于调度。

也许您应该查看一些静态分析工具，例如 PMD，它可以确定您如何使用同步和识别使用问题。

Answer 12

我建议使用 MultithreadedTC - 由并发大师本人编写 比尔·普格（和 纳特·阿耶瓦）。 引用他们的概述：

MultithreadedTC 是一个框架
测试并发应用程序。 它
具有一个节拍器，用于
提供对序列的精细控制
多线程中的活动。

该框架允许您在单独的测试中确定性地测试每个线程交错