从音频输入捕获原始音频以在 Mac 上进行实时处理的最简单方法

Question

从内置音频输入捕获音频并能够在请求时实时读取原始采样值（如 .wav 中）的最简单方法是什么，就像从套接字读取一样。

希望代码使用 Apple 的框架之一（音频队列）。文档不是很清楚，我需要的是非常基础的。

Answer 1

为此尝试使用 AudioQueue 框架。您主要需要执行 3 个步骤：

1. 设置音频格式 如何对传入的模拟音频进行采样
2. 开始新的录音 AudioQueue 使用 AudioQueueNewInput()
3. 注册一个处理传入音频数据包的回调例程

在步骤 3 中，您有机会分析传入的音频数据包音频数据与 AudioQueueGetProperty()

大致是这样的：

static void HandleAudioCallback (void                               *aqData,
                                 AudioQueueRef                      inAQ,
                                 AudioQueueBufferRef                inBuffer, 
                                 const AudioTimeStamp               *inStartTime, 
                                 UInt32                             inNumPackets, 
                                 const AudioStreamPacketDescription *inPacketDesc) {
    // Here you examine your audio data
}

static void StartRecording() {
    // now let's start the recording
    AudioQueueNewInput (&aqData.mDataFormat,  // The sampling format how to record
                        HandleAudioCallback,  // Your callback routine
                        &aqData,              // e.g. AudioStreamBasicDescription
                        NULL,
                        kCFRunLoopCommonModes, 
                        0, 
                        &aqData.mQueue);      // Your fresh created AudioQueue
    AudioQueueStart(aqData.mQueue,
                    NULL);
}

我建议 Apple AudioQueue 服务编程指南，了解有关如何启动和停止 AudioQueue 以及如何正确设置所有所需对象的详细信息。

您还可以仔细查看 Apple 的演示程序 SpeakHere。但恕我直言，一开始就有点令人困惑。

Answer 2

这取决于您需要的“实时”程度，

如果您需要非常清晰的声音，请直接到底层并使用音频单元。这意味着设置一个 INPUT 回调。请记住，当此事件触发时，您需要分配自己的缓冲区，然后从麦克风请求音频。

即不要被参数中存在的缓冲区指针所迷惑...它之所以存在只是因为 Apple 对输入和渲染回调使用相同的函数声明。

这是我的一个项目的粘贴：

OSStatus dataArrivedFromMic(
                    void                        * inRefCon, 
                    AudioUnitRenderActionFlags  * ioActionFlags, 
                    const AudioTimeStamp        * inTimeStamp, 
                    UInt32                      inBusNumber, 
                    UInt32                      inNumberFrames, 
                    AudioBufferList             * dummy_notused )
{    
    OSStatus status;

    RemoteIOAudioUnit* unitClass = (RemoteIOAudioUnit *)inRefCon;

    AudioComponentInstance myUnit = unitClass.myAudioUnit;

    AudioBufferList ioData;
    {
        int kNumChannels = 1; // one channel...

        enum {
            kMono = 1,
            kStereo = 2
        };

        ioData.mNumberBuffers = kNumChannels;

        for (int i = 0; i < kNumChannels; i++) 
        {
            int bytesNeeded = inNumberFrames * sizeof( Float32 );

            ioData.mBuffers[i].mNumberChannels = kMono;
            ioData.mBuffers[i].mDataByteSize = bytesNeeded;
            ioData.mBuffers[i].mData = malloc( bytesNeeded );
        }
    }

    // actually GET the data that arrived
    status = AudioUnitRender( (void *)myUnit, 
                             ioActionFlags, 
                             inTimeStamp, 
                             inBusNumber, 
                             inNumberFrames, 
                             & ioData );


    // take MONO from mic
    const int channel = 0;
    Float32 * outBuffer = (Float32 *) ioData.mBuffers[channel].mData;

    // get a handle to our game object
    static KPRing* kpRing = nil;
    if ( ! kpRing )
    {
        //AppDelegate *  appDelegate = [UIApplication sharedApplication].delegate;

        kpRing = [Game singleton].kpRing;

        assert( kpRing );
    }

    // ... and send it the data we just got from the mic
    [ kpRing floatsArrivedFromMic: outBuffer
                            count: inNumberFrames ];

    return status;
}