FixThreadPool 和 ExecutorCompletionService 出现 OutOfMemory 错误

Question

我正在开发应用程序，应该从数据库获取用户列表并从目录（ldap 或 AD）更新详细信息。我在多核机器上执行此过程，因此我创建了此应用程序（代码如下）。我正在使用 CompletionService 并在 Future 对象中获取结果。

一段时间后，我出现内存不足错误，并显示“无法创建新的本机线程”消息。在任务管理器中，我看到该应用程序创建了大量线程，但我要求创建固定线程池，其大小等于我的处理器数量。

我的代码有什么问题吗？

class CheckGroupMembership {
public static void main(String[] args) throws Exception {

    final ExecutorService executor = Executors.newFixedThreadPool(**Runtime.getRuntime().availableProcessors()**);

    CompletionService<LdapPerson> completionService =
        new ExecutorCompletionService(executor)<LdapPerson>(executor);

    final int limit = 2000;

    DocumentService service1 = new DocumentService();
    List<String> userNamesList = service1.getUsersListFromDB(limit);

    List<LdapPerson> ldapPersonList = new ArrayList() <LdapPerson> (userNamesList.size());
    LdapPerson person;

    for (String userName : userNamesList) {
        completionService.submit(new GetUsersDLTask(userName));
    }

    try {
        for (int i = 0, n = userNamesList.size(); i < n; i++) {
            Future<LdapPerson> f = completionService.take();
            person = f.get();
            ldapPersonList.add(person);
        }
    } catch (InterruptedException e) {

        System.out.println("InterruptedException error:" + e.getMessage());
    } catch (Exception e) {
        System.out.println(e.getMessage());
    }
    System.exit(0);
}
}

错误 CheckGroupMembership:85 - java.lang.OutOfMemoryError: 无法创建新的本机线程 java.util.concurrent.ExecutionException：java.lang.OutOfMemoryError：无法创建新的本机线程 在 java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:222) 在 java.util.concurrent.FutureTask.get(FutureTask.java:83

GetuserDLs 任务

public class GetUsersDLTask implements Callable<LdapPerson> {
private String userName;

public GetUsersDLTask(String u) {
    this.userName = u;
}

@Override
public LdapPerson call() throws Exception {
    LdapService service = new LdapService();
    return service.getUsersDLs(userName);
}

}

Answer 1

我很难相信您没有在 GetUsersDLTask 中创建线程（或者至少是服务对象）。如果您查看堆栈跟踪，就会发现异常是从 Future 的 get() 方法引发的。设置此异常的唯一方法是在执行器调用 Callabale.call() 后。在 call() 方法中发生的任何 throwable 都将在 Future 的内部 exception 字段中设置

例如：

Thread Pool: 
    Thread-1
      invoke call()
        call() 
          Create Thread
            throw OutOfMemoryError 
         propogate error to Thread pool
      set exception

否则，当您向线程提交请求时，就会发生此异常池，而不是当你从未来获得时。

Answer 2

Executors.newFixedThreadPool 将接受许多任务的提交，但只会执行您允许的线程数。因此，如果您有 2 个线程的固定池，但提交了 50 个任务，则其他 48 个任务将在执行器内部排队，并在执行线程完成任务时运行。似乎您需要限制代码中生成的线程数量。

编辑：查看 http:// /download.oracle.com/javase/6/docs/api/java/util/concurrent/Executors.html#newFixedThreadPool(int)

Answer 3

您是否验证了固定池中创建的线程数。也许可用处理器的数量太大了。