如何在 iPhone 上编写实时准确的音频音序器？

Question

我想在 iPhone 上编写一个简单的音频音序器，但我无法获得准确的计时。 最近几天，我在 iPhone 上尝试了所有可能的音频技术，从 AudioServicesPlaySystemSound、AVAudioPlayer 和 OpenAL 到 AudioQueues。

在我的最后一次尝试中，我尝试了 CocosDenshion 声音引擎，它使用 openAL 并允许将声音加载到多个缓冲区中，然后在需要时播放它们。 这是基本代码：

init：

int channelGroups[1];
channelGroups[0] = 8;
soundEngine = [[CDSoundEngine alloc] init:channelGroups channelGroupTotal:1];

int i=0;
for(NSString *soundName in [NSArray arrayWithObjects:@"base1", @"snare1", @"hihat1", @"dit", @"snare", nil])
{
    [soundEngine loadBuffer:i fileName:soundName fileType:@"wav"];
    i++;
}

[NSTimer scheduledTimerWithTimeInterval:0.14 target:self selector:@selector(drumLoop:) userInfo:nil repeats:YES];

在初始化中，我创建声音引擎，将一些声音加载到不同的缓冲区，然后使用 NSTimer 建立音序器循环。

音频循环：

- (void)drumLoop:(NSTimer *)timer
{
for(int track=0; track<4; track++)
{
    unsigned char note=pattern[track][step];
    if(note)
        [soundEngine playSound:note-1 channelGroupId:0 pitch:1.0f pan:.5 gain:1.0 loop:NO];
}

if(++step>=16)
    step=0;

}

就是这样，它按应有的方式工作，但时间不稳定且不稳定。 一旦发生其他事情（例如在视图中绘制），它就会失去同步。

据我了解声音引擎和 openAL，缓冲区已加载（在初始化代码中），然后准备立即使用 alSourcePlay(source); 启动 - 所以问题可能出在 NSTimer 上？

现在应用商店里有几十个声音音序器应用程序，它们都有准确的计时。 当缩放和绘图完成时，IG“idrum”即使在 180 bpm 的情况下也具有完美稳定的节拍。 所以必须有一个解决方案。

有人有什么想法吗？

感谢您提前提供任何帮助！

最好的问候，

Walchy

---

感谢您的回答。 它使我更进一步，但不幸的是没有达到目标。 这就是我所做的：

nextBeat=[[NSDate alloc] initWithTimeIntervalSinceNow:0.1];
[NSThread detachNewThreadSelector:@selector(drumLoop:) toTarget:self withObject:nil];

在初始化中，我存储下一个节拍的时间并创建一个新线程。

- (void)drumLoop:(id)info
{
    [NSThread setThreadPriority:1.0];

    while(1)
    {
        for(int track=0; track<4; track++)
        {
            unsigned char note=pattern[track][step];
            if(note)
                [soundEngine playSound:note-1 channelGroupId:0 pitch:1.0f pan:.5 gain:1.0 loop:NO];
        }

        if(++step>=16)
            step=0;     

        NSDate *newNextBeat=[[NSDate alloc] initWithTimeInterval:0.1 sinceDate:nextBeat];
        [nextBeat release];
        nextBeat=newNextBeat;
        [NSThread sleepUntilDate:nextBeat];
    }
}

在序列循环中，我将线程优先级设置为尽可能高，并进入无限循环。 播放声音后，我计算下一个节拍的下一个绝对时间，并将线程发送到睡眠状态，直到此时。

这再次有效，并且比我在没有 NSThread 的情况下的尝试更稳定，但如果发生其他情况，尤其是 GUI 的东西，它仍然不稳定。

有没有办法在 iPhone 上使用 NSThread 获得实时响应？

最好的问候，

瓦尔奇

Answer 1

NSTimer 绝对不能保证它何时触发。 它会在运行循环上自行安排触发时间，并且当运行循环到达计时器时，它会查看是否有任何计时器过期。 如果是这样，它就会运行它们的选择器。 非常适合各种任务； 对这个没用。

第一步是您需要将音频处理移至其自己的线程并脱离 UI 线程。 对于计时，您可以使用普通的 C 方法构建自己的计时引擎，但我会首先查看 CAAnimation，尤其是 CAMediaTiming。

请记住，Cocoa 中有许多东西被设计为仅在主线程上运行。 例如，不要在后台线程上执行任何 UI 工作。 一般来说，请仔细阅读文档，看看他们是如何谈论线程安全的。 但一般来说，如果线程之间没有大量通信（在我看来，大多数情况下不应该有），那么线程在 Cocoa 中非常容易。 看看 NSThread。

Answer 2

我使用remoteIO 输出做类似的事情。 我不依赖 NSTimer。 我使用渲染回调中提供的时间戳来计算我的所有计时。 我不知道 iphone 的赫兹率有多准确，但我确定它非常接近 44100hz，所以我只是根据当前样本数计算何时应该加载下一个节拍。

此处可以找到使用远程 io 的示例项目查看渲染回调 inTimeStamp 参数。

编辑：此方法的工作示例（在应用商店上，可以在此处找到）

Answer 3

我选择使用 RemoteIO AudioUnit 和一个后台线程，该线程使用 AudioFileServices API 填充摆动缓冲区（一个用于读取，一个用于写入，然后进行交换）。 然后，缓冲区在 AudioUnit 线程中进行处理和混合。 AudioUnit 线程向 bgnd 线程发出信号，通知它何时应该开始加载下一个摆动缓冲区。 所有处理都是用 C 语言进行的，并使用 posix 线程 API。 所有 UI 内容都在 ObjC 中。

IMO，AudioUnit/AudioFileServices 方法提供了最大程度的灵活性和控制。

干杯，

本

Answer 4

您在这里有一些很好的答案，但我想我应该提供一些适合我的解决方案的代码。 当我开始研究这个问题时，我实际上寻找了游戏中的运行循环是如何工作的，并找到了一个很好的解决方案，该解决方案对我来说使用 mach_absolute_time 非常高效。

您可以在此处阅读一些有关它的功能的信息不足的是它返回的时间具有纳秒精度。 但是，它返回的数字并不完全是时间，它随您拥有的 CPU 的不同而变化，因此您必须首先创建一个 mach_timebase_info_data_t 结构体，然后使用它来标准化时间。

// Gives a numerator and denominator that you can apply to mach_absolute_time to
// get the actual nanoseconds
mach_timebase_info_data_t info;
mach_timebase_info(&info);

uint64_t currentTime = mach_absolute_time();

currentTime *= info.numer;
currentTime /= info.denom;

如果我们希望它每 16 个音符打勾一次，您可以这样做：

uint64_t interval = (1000 * 1000 * 1000) / 16;
uint64_t nextTime = currentTime + interval;

此时，currentTime 将包含一定数量的纳秒，并且您希望它每次 打勾间隔 纳秒过去了，我们将其存储在nextTime 中。 然后，您可以设置一个 while 循环，如下所示：

while (_running) {
    if (currentTime >= nextTime) {
        // Do some work, play the sound files or whatever you like
        nextTime += interval;
    }

    currentTime = mach_absolute_time();
    currentTime *= info.numer;
    currentTime /= info.denom;
}

mach_timebase_info 内容有点令人困惑，但是一旦您将其放入其中，它就可以很好地工作。 它对我的应用程序来说性能非常好。 还值得注意的是，您不想在主线程上运行它，因此将其分配给自己的线程是明​​智的。 您可以将上述所有代码放入其自己的名为 run 的方法中，并以如下方式启动：

[NSThread detachNewThreadSelector:@selector(run) toTarget:self withObject:nil];

您在此处看到的所有代码都是我开源项目的简化，您可以看到它并如果有任何帮助，请在此处自行运行。 干杯。

Answer 5

实际上，实现计时的最精确方法是对音频样本进行计数，并在经过一定数量的样本后执行您需要执行的操作。 无论如何，输出采样率是与声音相关的所有事物的基础，因此这是主时钟。

您不必检查每个样本，每隔几毫秒执行一次就足够了。

Answer 6

可以提高实时响应能力的另一件事是在激活音频会话之前将音频会话的 kAudioSessionProperty_PreferredHardwareIOBufferDuration 设置为几毫秒（例如 0.005 秒）。 这将导致 RemoteIO 更频繁地请求较短的回调缓冲区（在实时线程上）。 不要在这些实时音频回调中花费太多时间，否则您将杀死应用程序的音频线程和所有音频。

仅计算较短的 RemoteIO 回调缓冲区就比使用 NSTimer 准确 10 倍且延迟更低。 对音频回调缓冲区中的样本进行计数以定位混音的开始位置将为您提供亚毫秒级的相对计时。

Answer 7

通过测量循环中“做一些工作”部分所花费的时间并从 nextTime 中减去该持续时间，可以大大提高准确性：

while (loop == YES)
{
    timerInterval = adjustedTimerInterval ;

    startTime = CFAbsoluteTimeGetCurrent() ;

    if (delegate != nil)
    {
        [delegate timerFired] ; // do some work
    }

    endTime = CFAbsoluteTimeGetCurrent() ;

    diffTime = endTime - startTime ; // measure how long the call took. This result has to be subtracted from the interval!

    endTime = CFAbsoluteTimeGetCurrent() + timerInterval-diffTime ;

    while (CFAbsoluteTimeGetCurrent() < endTime)
    {
        // wait until the waiting interval has elapsed
    }
}

Answer 8

如果提前构建序列不是限制，您可以使用 AVMutableComposition 获得精确的计时。 这将在 1 秒内均匀地播放 4 个声音：

// setup your composition

AVMutableComposition *composition = [[AVMutableComposition alloc] init];
NSDictionary *options = @{AVURLAssetPreferPreciseDurationAndTimingKey : @YES};

for (NSInteger i = 0; i < 4; i++)
{
  AVMutableCompositionTrack* track = [composition addMutableTrackWithMediaType:AVMediaTypeAudio preferredTrackID:kCMPersistentTrackID_Invalid];
  NSURL *url = [[NSBundle mainBundle] URLForResource:[NSString stringWithFormat:@"sound_file_%i", i] withExtension:@"caf"];
  AVURLAsset *asset = [AVURLAsset URLAssetWithURL:url options:options];
  AVAssetTrack *assetTrack = [asset tracksWithMediaType:AVMediaTypeAudio].firstObject;
  CMTimeRange timeRange = [assetTrack timeRange];

  Float64 t = i * 1.0;
  NSError *error;
  BOOL success = [track insertTimeRange:timeRange ofTrack:assetTrack atTime:CMTimeMake(t, 4) error:&error];
  NSAssert(success && !error, @"error creating composition");
}

AVPlayerItem* playerItem = [AVPlayerItem playerItemWithAsset:composition];
self.avPlayer = [[AVPlayer alloc] initWithPlayerItem:playerItem];

// later when you want to play 

[self.avPlayer seekToTime:kCMTimeZero];
[self.avPlayer play];

此解决方案的原始来源：http://forum .theamazingaudioengine.com/discussion/638#Item_5

以及更多详细信息：使用 AVMutableComposition 进行精确计时

Answer 9

我认为更好的时间管理方法是设置 bpm（例如 120），然后不再使用它。 在编写/制作音乐/音乐应用程序时，分钟和秒的测量几乎没有用处。

如果你看一下任何排序应用程序，它们都是按节拍而不是时间进行的。 另一方面，如果您查看波形编辑器，它会使用分钟和秒。

我不确定以任何方式实现这种代码方式的最佳方法，但我认为这种方法会为您省去很多麻烦。