乐谱音频分析

Question

我目前正在开发一个程序，该程序可以分析独奏音乐家演奏乐器的 wav 文件并检测其中的音符。为此，它执行 FFT，然后查看生成的数据。目标是（在某些时候）通过编写 MIDI 文件来生成乐谱。

我只是想就它可能困难的地方获得一些意见，是否有人尝试过，也许有一些值得研究的事情。目前我最大的困难是，并非所有音符都纯粹是一种频率，而且我还无法检测到和弦；只是单个音符。此外，我检测到的音符之间必须有一个暂停，这样我就可以确定一个已经结束，另一个开始了。对此的任何评论也将非常受欢迎！

这是当信号传入新帧时我使用的代码。它寻找样本中最主要的频率：

    //Get frequency vector for power match
        double[] frequencyVectorDoubleArray = Accord.Audio.Tools.GetFrequencyVector(waveSignal.Length, waveSignal.SampleRate);

        powerSpectrumDoubleArray[0] = 0; // zero DC

        double[,] frequencyPowerDoubleArray = new double[powerSpectrumDoubleArray.Length, 2];

        for (int i = 0; i < powerSpectrumDoubleArray.Length; i++)
        {
            if (frequencyVectorDoubleArray[i] > 15.00)
            {
                frequencyPowerDoubleArray[i, 0] = frequencyVectorDoubleArray[i];
                frequencyPowerDoubleArray[i, 1] = powerSpectrumDoubleArray[i];
            }
        }

    //Method for finding the highest frequency in a sample of frequency domain data
        //But I want to filter out stuff
        pulsePowerDouble = lowestPowerAcceptedDouble;//0;//lowestPowerAccepted;
        int frequencyIndexAtPulseInt = 0;
        int oldFrequencyIndexAtPulse = 0;
        for (int j = 0; j < frequencyPowerDoubleArray.Length / 2; j++)
        {
            if (frequencyPowerDoubleArray[j, 1] > pulsePowerDouble)
            {
                oldPulsePowerDouble = pulsePowerDouble;
                pulsePowerDouble = frequencyPowerDoubleArray[j, 1];

                oldFrequencyIndexAtPulse = frequencyIndexAtPulseInt;
                frequencyIndexAtPulseInt = j;
            }
        }
        foundFreq = frequencyPowerDoubleArray[frequencyIndexAtPulseInt, 0];

Answer 1

1）关于频率估计和音调估计（这是两个不同的主题）有很多（几十年的）研究文献。

2）峰值FFT频率与音高不同。一些独奏乐器仅一个音符就可以产生十多个频率峰值，更不用说一个和弦了，而且在音高附近没有一个最大的峰值。对于一些常见的仪器，峰值甚至可能不是数学上精确的谐波。

3) 使用短的无窗 FFT 的峰值箱并不是一个很好的频率估计器。

4) 注意开始检测可能需要一些复杂的模式匹配，具体取决于仪器。

Answer 2

您不想关注最高频率，而是关注最低频率。任何乐器的每个音符都充满和声。期待听到基音及其以上的每个八度音阶。加上所有二次和三次谐波。

当小号和长号演奏相同的音符时，谐波使它们听起来不同。

Answer 3

不幸的是，这是一个极其困难的问题，一些原因已经给出了。我会从“音符识别”的文献搜索（例如谷歌学术）开始。

如果这不是一个业余时间项目，请注意 - 我见过在这个特定的浅滩上创建硕士论文但没有得到任何有用的结果。