在 servlet 环境中处理批处理作业的线程

Question

我有一个 Spring-MVC、Hibernate、(Postgres 9 db) Web 应用程序。管理员用户可以发送请求来处理近 200,000 条记录（通过联接从各个表收集的每条记录）。每周或每月请求一次此类操作（或者当数据达到大约 200,000/100,000 条记录的限制时）。在数据库端，我正确地实现了批处理。

• 问题：如此长时间运行的请求会占用服务器线程，导致普通用户受到影响。

• 要求：此请求的较长响应时间不是问题。我们所需要的不是让其他用户因为这个耗时的过程而受苦。

• 我的解决方案：

  使用 Spring taskExecutor 抽象实现线程池。所以我可以用 5 或 6 个线程初始化我的线程池，并将 200,000 条记录分成更小的块，比如每个大小 1000。我可以在这些块中排队。为了进一步允许普通用户更快地访问数据库，也许我可以让每个可运行线程休眠 2 或 3 秒。 我认为这种方法的优点是：我们没有一次性执行巨大的数据库交互请求，而是跨越更长的时间进行异步设计。因此，其行为就像多个正常的用户请求。

请有经验的人对此发表一下意见吗？ 我还阅读了有关使用面向消息的中间件（如 JMS/AMQP 或 Quartz Scheduling）实现相同行为的内容。但坦率地说，我认为在内部他们也会做同样的事情，即创建一个线程池并在作业中排队。那么为什么不使用 Spring 任务执行器，而不是仅仅为了这个功能在我的 Web 应用程序中添加一个全新的基础设施呢？

请分享您对此的看法，并让我知道是否还有其他更好的方法可以做到这一点？ 再次强调：完全处理所有记录的时间并不重要，需要的是在此期间访问网络应用程序的普通用户不应该受到任何影响。

Answer 1

您可以并行执行任务并等待所有任务完成后再返回调用。为此，您需要使用 ExecutorCompletionService< /a> 自 5.0 起在 Java 标准中可用

简而言之，您使用容器的服务定位器来创建 ExecutorCompletionService 的实例，

ExecutorCompletionService<List<MyResult>> queue = new ExecutorCompletionService<List<MyResult>>(executor);

// do this in a loop
queue.submit(aCallable);

//after looping 
queue.take().get(); //take will block till all threads finish

如果您不想等待，则可以可以在后台处理作业而不阻塞当前线程，但是您将需要某种机制来通知客户端作业何时完成。这可以通过 JMS 实现，或者如果您有 ajax 客户端，那么它可以轮询更新。

Quartz也有作业调度机制，但是Java提供了标准的方式。

编辑：
我可能误解了这个问题。如果您不想要更快的响应，而是想要限制 CPU，请使用这种方法

您可以创建一个像 PollingThread 这样的内部类，其中每个作业包含 java.util.UUID 的批次以及 PollingThreads 的数量在外部定义班级。这将永远持续下去，并且可以进行调整以使您的 CPU 能够自由地处理其他请求

 class PollingThread implements Runnable {
            @SuppressWarnings("unchecked")
            public void run(){
                Thread.currentThread().setName("MyPollingThread");
                while (!Thread.interrupted()) {
                    try {
                        synchronized (incomingList) {
                            if (incomingList.size() == 0) {
                                // incoming is empty, wait for some time
                            } else {
                                //clear the original
                                list = (LinkedHashSet<UUID>) 
                                        incomingList.clone();
                                incomingList.clear();
                            }
                        }

                        if (list != null && list.size() > 0) {
                            processJobs(list);
                        }
                        // Sleep for some time
                        try {
                            Thread.sleep(seconds * 1000);
                        } catch (InterruptedException e) {
                            //ignore
                        }
                    } catch (Throwable e) {
                        //ignore                    
                    }
                }
           }
    }

Answer 2

大数据库操作通常在凌晨触发，此时用户流量相当少。 （比如凌晨 1 点到凌晨 2 点……）一旦发现这一点，您就可以简单地安排一个作业在那个时间运行。石英在这里可以派上用场，具有基于时间的触发器。 （注意：也可以手动触发作业。）

处理的结果现在可以存储在不同的表中。 （我将其称为结果表）稍后，当用户想要此结果时，数据库操作将针对这些结果表，这些结果表具有最少的记录并且几乎没有任何连接会参与其中。

而不是仅仅为了这个功能在我的网络应用程序中添加全新的基础设施？

Quartz.jar 约为 350 kb，添加此依赖项应该不是问题。另请注意，没有理由需要将其作为网络应用程序。这几个执行 ETL 的类可以放置在独立模块中。网络应用程序只需要从结果表中获取

所有这些，如果您已经有一个主从数据库模型（与您的数据库管理员讨论），那么您可以执行巨大的数据库操作与从属数据库而不是普通用户将指向的主数据库。