为什么我的声音有延迟？

Question

我正在开发一个用于处理声音数据的应用程序系统。第一个应用程序只是从麦克风插孔读取数据并将数据发送到下一个应用程序。主循环重复执行这段代码：

0 : Globals.mySleep(waitTime); // tells the thread to sleep for the proper amount of time for a given data format  
1 : inputLine.read(buffer, 0, bufferSize); // reads sound data from the microphone jack into buffer
2 : if(connections.get(REGISTER) != null) { // if the next application is connected
3 :     DataSlice slice = new DataSlice(buffer, serialIDCounter++, getDeviceName()); // create a slice of data to send, containing the sound data
4 :     try{
5 :         connections.get(REGISTER).sendDataSlice(slice); // send the data to the next application. supposed to block until next application receives the data
6 :         connections.get(REGISTER).flush(); // make sure data gets sent
7 :     } catch (IOException e) {
8 :         // Stream has been broken. Shut Down
9 :         close();
10:     }
11: }

当我启动系统时，它总是落后几秒钟。如果我暂停系统（GUI 应用程序告诉输入应用程序后面的应用程序停止从输入应用程序接收数据，因此输入应用程序在暂停时应在第 5 行阻塞），等待，然后再次播放，系统会额外滞后多长时间我刚刚停下来。例如，如果一开始有 10 秒的延迟，然后暂停 5 秒，然后再次播放，则会延迟 15 秒。

当我将程序作为可运行的 jar 文件运行时，会发生这种情况。当我从 Eclipse 运行它时，它不会发生。

我在两台计算机上对此进行了测试，两台计算机都运行 Ubuntu Linux 10.04 LTS。它发生在一个人身上，而不是另一个人身上。另一方面，当我尝试从 Eclipse 运行它时，我确实遇到了一个完全不同的问题。不知道该怎么做。如果您想了解计算机的一些规格，我很乐意提供给您。只需告诉我您想要什么规格以及如何获得它们即可。

谁能告诉我什么可能导致延迟？谢谢。

--编辑--

根据安德鲁的建议，我创建了我认为是 SSCCE 的内容：

import java.awt.event.MouseEvent;
import java.awt.event.MouseListener;

import javax.sound.sampled.*;
import javax.swing.JButton;
import javax.swing.JFrame;
import javax.swing.JPanel;

public class Main implements MouseListener{
    // Class that reads a signal from Line-in source and sends that signal
    // to either a recorder module or the signal-viewing pipeline
    public class PlayThread extends Thread {

        byte[] buffer = new byte[bufferSize];
        boolean playing = false;
        boolean connected = false;

        PlayThread() {}

        public void run() {
            while(true) {
                try {
                    sleep(waitTime);
                    inputLine.read(buffer, 0, bufferSize);
                    if(connected) {
                        while(!playing)
                            sleep(100);
                        int max = 0;
                        for(int i = 0; i < buffer.length; i++) {
                            if(Math.abs(buffer[i]) > max)
                                max = Math.abs(buffer[i]);
                        }
                        System.out.println("Max: " + max);
                    }
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        }

        public void setPlaying(boolean playing) {
            this.playing = playing;
        }

        public void setConnected(boolean connected) {
            this.connected = connected;
        }
    }

    TargetDataLine inputLine;
    AudioFormat format;
    float sampleRate;
    int sampleSizeBits;
    int channels;
    int waitTime;
    int bufferSize;
    int slicesPerSecond;
    int windowSize = 512;
    PlayThread pThread;

    JFrame gui = new JFrame("Sound Lag");
    JPanel panel = new JPanel();
    JButton play = new JButton("Play"), pause = new JButton("Pause"),
            connect = new JButton("Connect"), disconnect = new JButton("Disconnect");

    Main() {
        sampleRate = 44100;
        sampleSizeBits = 16;
        channels = 2;
        bufferSize = (sampleSizeBits/8)*channels*windowSize;
        slicesPerSecond = (int) ((sampleRate/(float)channels)/(float)windowSize);
        waitTime = (int)((((1000f/sampleRate)/(float)sampleSizeBits)/2f)*8f*(float)bufferSize);

        play.addMouseListener(this);
        pause.addMouseListener(this);
        connect.addMouseListener(this);
        disconnect.addMouseListener(this);

        panel.add(play);
        panel.add(pause);
        panel.add(connect);
        panel.add(disconnect);
        gui.add(panel);
        gui.setVisible(true);
        gui.pack();
        gui.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
    }

    public void read() {
        // Open line from line-in
        format = new AudioFormat(sampleRate, sampleSizeBits, channels, true, true);

        // Obtain and open the lines.
        inputLine = getTargetDataLine();

        pThread = new PlayThread();
        pThread.start();
    }

    private TargetDataLine getTargetDataLine() {
        try {
            DataLine.Info info = new DataLine.Info(TargetDataLine.class, format);
            for (Mixer.Info mi : AudioSystem.getMixerInfo()) {
                TargetDataLine dataline = null;
                try {
                    Mixer mixer = AudioSystem.getMixer(mi);
                    dataline = (TargetDataLine)mixer.getLine(info);
                    dataline.open(format);
                    dataline.start();
                    return dataline;
                }
                catch (Exception e) {}
                if (dataline != null)
                    try {
                        dataline.close();
                    }
                    catch (Exception e) {}
            }
        }
        catch (Exception e) {}
        return null;
    }

    public static void main(String[] args) {
        Main main = new Main();
        main.read();
    }

    @Override
    public void mouseClicked(MouseEvent arg0) {
        if(arg0.getSource() == play) {
            System.out.println("Playing");
            pThread.setPlaying(true);
        }
        else if(arg0.getSource() == pause) {
            System.out.println("Paused");
            pThread.setPlaying(false);
        }
        else if(arg0.getSource() == connect) {
            System.out.println("Connected");
            pThread.setConnected(true);
        }
        else if(arg0.getSource() == disconnect) {
            System.out.println("Disconnected");
            pThread.setConnected(false);
        }
    }

    @Override public void mouseEntered(MouseEvent arg0) {}
    @Override public void mouseExited(MouseEvent arg0) {}
    @Override public void mousePressed(MouseEvent arg0) {}
    @Override public void mouseReleased(MouseEvent arg0) {}
}

此代码生成窗口中有四个按钮：播放、暂停、连接和断开连接。如果按播放，程序就好像处于“播放”模式。如果单击“连接”，就好像声音输入应用程序已连接到下一个模块。
要进行测试，请执行以下操作：
将声音设备连接到麦克风插孔（但不播放任何内容）。
从此代码创建可运行的 jar 文件。
从终端运行文件。
点击“播放”。
单击“连接”。

此时，您应该会在终端中看到一堆较小的数字。

在您的声音设备上，开始播放声音。

您应该立即开始在终端中看到更大的数字。

停止在声音设备上播放声音（应返回到终端中较小的数字）。
点击“暂停”。
等待 5 秒钟。
单击“播放”。

开始使用音频设备播放声音。

这就是 bug 出现的地方。如果我在 Eclipse 中运行这段代码，我会立即再次得到更大的数字。如果我只是运行 jar 文件，会有 5 秒的延迟，然后我会得到更大的数字。

有什么新想法吗？

Answer 1

它是固定的。每当我想让声音流继续运行时（每当我按下播放键时），我都会关闭当前的流并打开一个新的流。

我没有意识到 TargetDataLine 实际上保存了一个声音数据缓冲区，每当调用 read 方法时就会从中选取该缓冲区。

看起来当我从 Eclipse 运行应用程序时，它使用的 TargetDataLine 类型与我将其作为可运行的 jar 文件运行时不同。缓冲区之间的大小差异证明了这一点。尽管大小差异仅约为 2 倍，所以我认为问题不在于缓冲区的大小，而在于与获取的 TargetDataLines 有关的其他内容。

奇怪的是，删除 Globals.mySleep(waitTime) 可以修复 SSCCE，但不能修复它应该代表的真正程序。

我尝试了排水和冲洗管线，而不是更换它，但这两种方法似乎都不起作用，尽管我可能使用了错误的方法。

所以问题是：数据线的缓冲区被填满，当程序没有播放时，缓冲区没有被清空，所以当它开始播放时，它继续以通常的播放速率从缓冲区获取数据，导致它落后。

解决办法是：当节目开始播放时，更换DataLine。

--编辑--

进一步观察表明，当我从 Eclipse 运行时，它似乎使用了与我作为 jar 文件运行时不同的 JRE。我将默认的 java 程序设置为 java-6-sun 而不是 java-6-openjdk，并且它在 jar 文件中运行良好。

另外，我尝试在另一台计算机上运行更换DataLine的方法。在这台电脑上，我的信号出现了严重的中断。拉出新的数据线似乎需要更长的时间，所以我认为这行不通。现在，我只是随时从 DataLine 中读取数据。如果系统暂停，我只是不会向任何地方发送信号。

Answer 2

我发现在这种情况下最好的办法是使用分析器，http://www.quest.com/jprobe/software_download.aspx 你可以得到这个java分析器的免费试用版，它会逐行告诉你花费了多少时间和多少当它执行时，您应该能够准确地查明是什么导致您的代码速度减慢。

希望这有帮助，
埃蒙

Answer 3

Globals.mySleep(waitTime); // 告诉线程对于给定的数据格式休眠适当的时间

我怀疑这里的“正确”waitTime是“0”。

如果您想要的不仅仅是怀疑，我建议您发布 SSCCE （不带行号）。