Red Hat Linux 中 Java 单进程线程限制较低

Question

我在使用 Java 1.6（1.6.0_02 或 1.6.0_04）运行 Red Hat Linux（内核版本为 2.4.21-37.ELsmp）的测试机器上遇到问题。 问题是，一旦在单个线程组中创建了一定数量的线程，操作系统就不愿意或无法再创建更多的线程。

这似乎是 Java 创建线程所特有的，因为 C 线程限制程序能够创建大约 1.5k 个线程。 此外，Java 1.4 JVM 不会发生这种情况……它可以创建超过 1.4k 个线程，尽管它们的处理方式显然与操作系统不同。

在本例中，它切断的线程数仅为 29 个线程。 这可以用一个简单的 Java 程序进行测试，该程序只创建线程，直到出现错误，然后打印它创建的线程数。 错误是一个

java.lang.OutOfMemoryError: unable to create new native thread

这似乎不受其他进程或用户使用的线程数量或系统当时使用的内存总量等因素的影响。 Xms、Xmx 和 Xss 等 JVM 设置似乎也没有改变任何内容（这是预期的，考虑到问题似乎与本机操作系统线程创建有关）。

“ulimit -a”的输出如下：

core file size        (blocks, -c) 0
data seg size         (kbytes, -d) unlimited
file size             (blocks, -f) unlimited
max locked memory     (kbytes, -l) 4
max memory size       (kbytes, -m) unlimited
open files                    (-n) 1024
pipe size          (512 bytes, -p) 8
stack size            (kbytes, -s) 10240
cpu time             (seconds, -t) unlimited
max user processes            (-u) 7168
virtual memory        (kbytes, -v) unlimited

用户进程限制似乎不是问题。 搜索有关可能出现问题的信息并没有发现太多，但是 这篇文章< /a> 似乎表明至少某些 Red Hat 内核将进程限制为分配给堆栈的内存为 300 MB，并且每个线程分配给堆栈的内存为 10 MB，似乎可能存在问题（尽管这看起来很奇怪且不太可能）出色地）。

我尝试使用“ulimit -s”更改堆栈大小来测试这一点，但除 10240 之外的任何值和 JVM 都不会以以下错误启动：

Error occurred during initialization of VM
Cannot create VM thread. Out of system resources.

我通常可以绕过 Linux，但我真的不太了解关于系统配置，我还没有找到任何专门解决这种情况的内容。 任何有关什么系统或 JVM 设置可能导致此问题的想法将不胜感激。

编辑：运行 plinth，直到尝试创建第 1529 个线程才出现故障。

使用 1.4 JVM 也不会出现该问题（1.6.0_02 和 1.6.0_04 JVM 确实会出现该问题，目前无法使用 1.5 JVM 进行测试）。

我正在使用的线程测试代码如下：

public class ThreadTest {

   public static void main(String[] pArgs) throws Exception {

      try {
         // keep spawning new threads forever
         while (true) {
            new TestThread().start();
         }
      }
      // when out of memory error is reached, print out the number of
      // successful threads spawned and exit
      catch ( OutOfMemoryError e ) {
         System.out.println(TestThread.CREATE_COUNT);
         System.exit(-1);
      }
   }

   static class TestThread extends Thread {
      private static int CREATE_COUNT = 0;
      public TestThread() {
         CREATE_COUNT++;
      }
      // make the thread wait for eternity after being spawned
      public void run() {
         try {
            sleep(Integer.MAX_VALUE);
         }
         // even if there is an interruption, dont do anything
         catch (InterruptedException e) {
         }
      }
   }
}

如果您使用 1.4 JVM 运行此代码，当它无法创建更多线程并需要kill -9 时，它将挂起（至少对我来说是这样）。

更多编辑：

事实证明，出现问题的系统正在使用 LinuxThreads 线程模型，而另一个工作正常的系统正在使用 NPTL 模型。

Answer 1

使用 NPTL 线程将内核更新到较新的版本 (2.6.something) 修复了此问题。

Answer 2

这是 Ubuntu Linux (1GB RAM)

dsm@localhost:~$ javac ThreadTest.java 
dsm@localhost:~$ java ThreadTest 
8113
dsm@localhost:~$ java -version
java version "1.6.0_07"
Java(TM) SE Runtime Environment (build 1.6.0_07-b06)
Java HotSpot(TM) Client VM (build 10.0-b23, mixed mode, sharing)
dsm@localhost:~$ 

Answer 3

你能用 JRockit JVM 尝试一下吗？ IIRC，它具有与普通 Sun JVM 不同的线程模型。

Answer 4

/etc/security/limits.d/90-nproc.conf 中的设置可能会覆盖您的 /etc/security/limits.conf 设置。 这可能会导致系统以 ulimit -u 中所示的不同方式运行。

https://bugzilla.redhat.com/show_bug.cgi?id=823030

Answer 5

您看过此资源吗？
它指出您应该能够运行 thread-limit 来查找最大线程数，并可以通过编译 glibc 来调整它。