使用卷积在连续的声音流中查找参考音频样本

Question

在我之前关于查找参考音频样本的问题在更大的音频样本中，有人建议我应该使用卷积。
使用 DSPUtil，我能够做到这一点。我玩了一下它并尝试了音频样本的不同组合，看看结果是什么。为了可视化数据，我只是将原始音频作为数字转储到 Excel 中，并使用这些数字创建了一个图表。峰值是可见，但我真的不知道这对我有什么帮助。我有这些问题：

• 我不知道如何从峰值的位置推断原始音频样本中匹配的起始位置。
• 我不知道，我应该如何将其应用于连续的音频流，以便我可以在参考音频样本出现时立即做出反应。
• 我不明白为什么图 2 和图 4（见下文）差异如此之大，尽管它们都代表了与自身卷积的音频样本......

非常感谢任何帮助。

下图是使用Excel分析的结果：

1. 较长的音频样本，接近尾声时有参考音频（嘟嘟声）：
2. 嘟嘟声与自身纠缠在一起：
3. 没有蜂鸣声与蜂鸣声的较长音频样本：
4. 第 3 点的较长音频样本与其自身卷积：

更新和解决方案：
感谢韩老师的大力帮助，我才得以实现我的目标。
在我在没有 FFT 的情况下推出了自己的缓慢实现之后，我发现 alglib 它提供了快速实现。 我的问题有一个基本假设：其中一个音频样本完全包含在另一个音频样本中。
因此，以下代码返回两个音频样本中较大者的样本偏移量以及该偏移量处的归一化互相关值。 1 表示完全相关，0 表示完全不相关，-1 表示完全负相关：

private void CalcCrossCorrelation(IEnumerable<double> data1, 
                                  IEnumerable<double> data2, 
                                  out int offset, 
                                  out double maximumNormalizedCrossCorrelation)
{
    var data1Array = data1.ToArray();
    var data2Array = data2.ToArray();
    double[] result;
    alglib.corrr1d(data1Array, data1Array.Length, 
                   data2Array, data2Array.Length, out result);

    var max = double.MinValue;
    var index = 0;
    var i = 0;
    // Find the maximum cross correlation value and its index
    foreach (var d in result)
    {
        if (d > max)
        {
            index = i;
            max = d;
        }
        ++i;
    }
    // if the index is bigger than the length of the first array, it has to be
    // interpreted as a negative index
    if (index >= data1Array.Length)
    {
        index *= -1;
    }

    var matchingData1 = data1;
    var matchingData2 = data2;
    var biggerSequenceCount = Math.Max(data1Array.Length, data2Array.Length);
    var smallerSequenceCount = Math.Min(data1Array.Length, data2Array.Length);
    offset = index;
    if (index > 0)
        matchingData1 = data1.Skip(offset).Take(smallerSequenceCount).ToList();
    else if (index < 0)
    {
        offset = biggerSequenceCount + smallerSequenceCount + index;
        matchingData2 = data2.Skip(offset).Take(smallerSequenceCount).ToList();
        matchingData1 = data1.Take(smallerSequenceCount).ToList();
    }
    var mx = matchingData1.Average();
    var my = matchingData2.Average();
    var denom1 = Math.Sqrt(matchingData1.Sum(x => (x - mx) * (x - mx)));
    var denom2 = Math.Sqrt(matchingData2.Sum(y => (y - my) * (y - my)));
    maximumNormalizedCrossCorrelation = max / (denom1 * denom2);
}

BOUNTY：
不需要新的答案！我开始悬赏给 Han，以表彰他在这个问题上的持续努力！

Answer 1

您应该使用相关性而不是卷积。相关峰值的大小告诉您两个信号的相似程度、峰值的位置、它们在时间上的相对位置，或者两个信号之间的延迟。

Answer 2

我们在这里寻求赏金:)

要在较大的音频片段中找到特定的参考信号，您需要使用互相关算法。基本公式可以在这篇维基百科文章中找到。

互相关是比较两个信号的过程。这是通过将两个信号相乘并对所有样本的结果求和来完成的。然后将其中一个信号移动（通常移动 1 个样本），并重复计算。如果您尝试将其可视化为非常简单的信号，例如单个脉冲（例如，1 个样本具有特定值，而其余样本为零）或纯正弦波，您将看到互相关的结果确实是衡量两个信号的相似程度以及它们之间的延迟的指标。另一篇可能提供更多见解的文章可以在此处找到。

这篇 Paul Bourke 撰写的文章还包含简单时域实现的源代码。请注意，本文是针对一般信号而写的。音频具有特殊的属性，即长期平均值通常为 0。这意味着 Paul Bourkes 公式（mx 和 my）中使用的平均值可以省略。
还有基于 FFT 的互相关的快速实现（请参阅 ALGLIB）。

相关性的（最大）值取决于音频信号中的样本值。然而，在 Paul Bourke 的算法中，最大值缩放为 1.0。在其中一个信号完全包含在另一个信号内的情况下，最大值将达到 1。在更一般的情况下，最大值将更低，并且必须确定阈值来决定信号是否足够相似。