java线程等待死进程完成

Question

我编写了一个java类来执行多线程任务，每个任务运行一个外部进程。 该进程负责将“.chp”文件转换为“.txt”文件。它是用 C 编写的。

这个过程在某一时刻中断，因为当我在终端中查看“顶部”时它消失了（可能是由于 chp 文件损坏）。问题是我的java线程中的进程没有返回。 “process.waitFor()”似乎会永远持续下去（至少直到我为 ExecutorService 指定的 12 小时）。

我是否做错了什么（没有捕获异常？）？ 我尝试在 MyThread 中设置一个 String 类型的类变量，并放置一条错误消息来代替抛出新的 RuntimeException，然后在 main 末尾打印 String，但线程代码没有达到这一点。它仍然卡在 waitFor() 处。

一旦C程序失败，进程不应该终止吗？

程序在终端上打印 (cf: MyThread):

A
B
C

main:

String pathToBin = "/path/to/bin";
List<MyThread> threadList = new ArrayList<MyThread>();

for (File f : folderList) {
    File[] chpFilesInFolder = f.listFiles(new FilenameFilter() {

        @Override
        public boolean accept(File dir, String name) {
            if (name.endsWith(".chp")){
                 return true;
            }else{
                 return false;
            }
        }
    });
    File chpFile = writeChpFiles(chpFilesInFolder);
    String[] cmd = {pathToBin, "--arg1", chpFile, "--out-dir", outputFolder};
    MyThread t = new MyThread(cmd, f, chpFilesInFolder);
    threadList.add(t);
}

ExecutorService threadExecutor = Executors.newFixedThreadPool(4);
for(MyThread th : threadList){
    threadExecutor.execute(th);
}
threadExecutor.shutdown();

try {
    threadExecutor.awaitTermination(12, TimeUnit.HOURS);
} catch (InterruptedException e) {
    e.printStackTrace();
}

MyThread:

class MyThread extends Thread{
    private String[] cmd;
    private File chpFolder;
    private File[] chpFilesInFolder;

    public MyThread(String[] cmd, File chpFolder, File[] chpFilesInFolder){
        this.cmd = cmd;
        this.chpFolder = chpFolder;
        this.chpFilesInFolder = chpFilesInFolder;
    }

    @Override
    public void run() {
        Process process = null;
        try{
            System.err.println("A ");
            ProcessBuilder procBuilder = new ProcessBuilder(cmd);
            procBuilder.redirectErrorStream(true);

            System.err.println("B");
            process = procBuilder.start();

            System.err.println("C");
            process.waitFor();

            System.err.println("D");
            if(process.exitValue()!=0) System.err.println("ERROR !"+process.exitValue());

            System.err.println("E");
        }catch(IOException e){
            e.printStackTrace();
        }catch(InterruptedException e){
            e.printStackTrace();
        }catch(Throwable e){
            e.printStackTrace();
        }finally{
            System.err.println("F");
            if(process!=null) {try { process.destroy();} catch(Exception err) {err.printStackTrace();}}
        }

        File[] txtFilesInFolder = chpFolder.listFiles(new FilenameFilter() {

            @Override
            public boolean accept(File dir, String name) {
                if (name.endsWith(".chp.txt")){
                    return true;
                }else{
                    return false;
                }
            }
        });

        if (txtFilesInFolder.length==chpFilesInFolder.length){
            for (File chp : chpFilesInFolder) {
                chp.delete();
            }
            File logFile = new File(chpFolder, "apt-chp-to-txt.log");
               if (logFile.exists()){
                   logFile.delete();
               }
        }else{
            throw new RuntimeException("CHPs have not all been transformed to TXT in "+chpFolder.getAbsolutePath());
        }

Answer 1

您的 C 程序是否有可能在 stdout 上生成输出？如果是这样，您需要在 Process.waitFor() 返回之前读取 Process.getOutputStream() - 请参阅 https://bugs.java.com/bugdatabase/view_bug?bug_id=4254231

或者，将您的 C 程序调用为重定向 stdout 的 shell 脚本。

您可以使用 jstack 命令来确认线程确实被阻塞在 Process.waitFor() 处。

Answer 2

您可以让主线程等待合理的时间，然后调用 MyThread 类上的某些方法来终止已启动的进程，从而导致线程完成。

Answer 3

我经常建议在使用消息传递解决方案使 C 程序与 Java 应用程序交互时使用更健壮和专业的观点，这样可以轻松干净地避免那些非守护线程因崩溃而永远等待您的 C 应用程序...现在所有代理都有一个 STOMP 接口，对于任何类型的应用程序调用来说都非常酷（只需使用任何 Http 库），代理配置将能够重新启动未完成的作业，设置一些超时等等..即使JMS不支持请求并响应它很容易实现这样的范例......

HTH
杰罗姆

Answer 4

如果我理解正确的话，你的 Java 线程在 C 程序崩溃后仍然在等待。

使生成的 C 进程发送心跳。您甚至可以通过将某些内容打印到控制台（或插入表中）并每隔一段时间唤醒 Java 线程并检查心跳来完成此操作。如果不存在，则假设 C 进程已死亡并终止该线程。

Answer 5

在 Java 中启动外部进程可能会有点棘手。我通常会尝试避免它们，因为您将不得不处理不同的错误代码和一些终端疯狂。我建议您使用专门的库，例如 commons-exec (http://commons.apache.org/exec/)