如何将动画实时链接/同步到视频录制

Question

应用说明：车速表。有针盘和动画针作为视频上的叠加。我通过后处理将针的动画输出到视频上。我使用 AVAssetExportSession，并构建一个 AVComposition，其中包含我的动画图层以及视频中的视频和音频轨道。这很好用。视频显示，针动画。

目前，为了在后处理过程中重播动画，我已经保存了自视频“录制”开始以来一段时间的速度变化。在后处理过程中，我然后根据保存的时间/速度数据启动计时器，然后将针动画到下一个速度。

问题：生成的视频/动画对并不完全准确，并且拍摄视频时显示的速度与播放和合成视频时显示的速度通常不匹配。 （通常针在视频之前），因为导出期间的合成/压缩不一定是实时的。

问题：有没有办法可以将速度信息嵌入到录制视频流中，然后在导出时访问它，以便视频和速度计在时间上匹配？

如果在导出过程中的特定时间获得包含我的速度数据的回调，那就太好了。

一如既往...谢谢！

Answer 1

不使用计时器来为针设置动画，而是根据您记录的速度数据创建关键帧动画。

定时器和 CA 通常不能很好地混合，至少不是我从你的描述中推断出的。

Answer 2

如果您需要在应用程序在 iPhone 上运行时嵌入元数据，我不知道该怎么做。如果您之前可以进行嵌入，请使用 HTTP Live Streaming 和 HTTP Live Streaming 工具。

元数据由 id3taggenerator 在文件上生成，并使用 mediafilesegmenter 嵌入到视频中。示例：

id3taggenerator -o camera1.id3 -text "Dolly camera"
id3taggenerator -o camera2.id3 -text "Tracking camera"

您可以嵌入多种元数据，包括二进制对象。有关详细信息，请参阅手册页。现在我们需要从“元宏文件”引用生成的文件。这是一个纯文本文件，具有以下格式：

60 id3 camera1.id3
120 id3 camera2.id3

第一个数字是自您要插入通知的视频开始以来经过的秒数。我不太记得 mediafilesegmenter 命令了，抱歉，你至少必须传递宏文件、索引和视频文件。

生成的视频包含由 MPMoviePlayerController 作为通知发布的元数据。有关详细信息，请参阅此页面：http ://jmacmullin.wordpress.com/2010/11/03/adding-meta-data-to-video-in-ios/

Answer 3

您应该使用 CAAnimations 和 beginTime 属性提前设置动画，然后使用 AVVideoComposition + AVVideoCompositionCoreAnimationTool 将它们添加到视频中出口。请注意其文档说明：

任何动画都将在视频时间轴上解释，而不是实时...

因此您的动画将与您指定的最终影片完全对齐。

Answer 4

自从这个问题被问起已经有一段时间了，但在到处查看之后，我设法通过在录制过程中实时采样数据（以 1/30 秒的速度，使用以 30fps 录制的视频的计时器）并存储来想出类似的东西它在一个数组中。然后在后处理中，我在循环中为数组中的每个数据元素创建多个 CALayer，并在每个层上绘制该数据的可视化效果。

每个图层都有一个 CAAnimation，它会在正确的媒体时间轴上使用 beginTime 属性（即 1/30 秒）淡出不透明度。乘以数组索引。由于时间太短，该层立即出现在前一层之上。如果图层背景不透明，它会遮挡上一层中渲染的针，因此看起来与原始视频捕获非常同步地对针进行动画处理。你可能需要稍微调整一下时间，但我只落后一帧。

/******** this has not been compiled but you should get the idea ************

// Before starting the AVAssetExportSession session and after the AVMutableComposition routine

CALayer* speedoBackground = [[CALayer alloc] init]; // background layer for needle layers
[speedoBackground setFrame:CGRectMake(x,y,width,height)]; // size and location
[speedoBackground setBackgroundColor:[[UIColor grayColor] CGColor]];
[speedoBackground setOpacity:0.5] // partially see through on video

// loop through the data
for (int index = 0; index < [dataArray count]; index++) {

  CALayer* speedoNeedle = [[CALayer alloc] init]; // layer for needle drawing
  [speedoNeedle setFrame:CGRectMake(x,y,width,height)]; // size and location
  [speedoNeedle setBackgroundColor:[[UIColor redColor] CGColor]];
  [speedoNeedle setOpacity:1.0]; // probably not needed

  // your needle drawing routine for each data point ... e.g.
  [self drawNeedleOnLayer:speedoNeedle angle:[self calculateNeedleAngle[dataArray objectAtIndex:index]]];

  CABasicAnimation *needleAnimation = [CABasicAnimation animationWithKeyPath:@"opacity"];
  needleAnimation.fromValue = [NSNumber numberWithFloat:(float)0.0];
  needleAnimation.toValue = [NSNumber numberWithFloat:(float)1.0]; // fade in
  needleAnimation.additive = NO;
  needleAnimation.removedOnCompletion = NO; // it obscures previous layers
  needleAnimation.beginTime = index*animationDuration;
  needleAnimation.duration = animationDuration -.03; // it will not animate at this speed but layer will appear immediately over the previous layer at the correct media time
  needleAnimation.fillMode = kCAFillModeBoth;
  [speedoNeedle addAnimation:needleAnimation forKey:nil];
  [speedoBackground addSublayer:needleOverlay];
}

[parentLayer addSublayer:speedoBackground];

.
.
.
// when the AVAssetExportSession has finished, make sure you clear all the layers
parentLayer.sublayers = nil;

它是处理器和内存密集型的，因此不适合长视频或复杂的绘图。我确信还有更优雅的方法，但这很有效，我希望这会有所帮助。

Answer 5

今年 WWDC 上的一场会议可能会为您正在做的事情提供不同的方法。您可以在此处观看视频：http://developer.apple.com/videos/wwdc/2011 / 。查找名为“在 AVFoundation 中使用媒体”的内容。有趣的部分发生在第 26 分钟左右。我不完全确定我理解了这个问题，但是当我读到它时，我想起了那个会话。

此致。