使用 ffmpeg 从 .mov 逐帧解析

Question

我正在尝试从 .mov 文件解析 H.264 帧。我想我已经得出结论，来自 FFMPEG AVFormat 部分的 mov.c 是可行的方法。但 mov.c 大约有 2600 行未注释的代码。我正在寻找 FFMPEG 的使用示例，尤其是解析任何文件类型的结构。无论是 MPEG4 还是 Quicktime Movie 都没有关系，因为它们在结构上非常相似。

如果没有现有的示例（我找不到任何示例），也许有人已经使用过它并且可以给我几行代码，或者解释如何开始？

我正在尝试做的事情： 我使用 AVCaptureSession 从摄像机捕获样本，然后将这些样本编码为 H264 并在 AVAssetsWriter、AVAssetsWriterInput 和 AVAssetsWriterInputPixelBufferAdaptor 的帮助下写入文件。原因是我无法直接访问硬件 H264 编码，因为苹果不允许这样做。我现在需要做的（我认为不确定）是解析出：

来自的“mdat”原子（电影数据，我认为可能不止一个） .mov 文件。 然后是“vide”原子，然后是视频原子内（视频数据样本，可能有多个）。我认为会有几个原子，我相信它们是框架。它们的类型为“avc1”（这是 H264 的类型）。 请纠正我，因为我很确定我还没有正确理解所有这些。

我的问题是，我将如何解析单帧。我一直在阅读 文档 并查看了iFrameExtractor （这不是很有帮助，因为它解码帧）。我想当我应该使用 mov.c 来自 FFMPEG-AVFormat 但我不确定。

编辑： 我现在正在尝试这样的操作：

1. 我运行稍微简化的 init 函数 iFrameExtractor，它在 .mov 文件中查找视频流。

2. 我得到这样的框架数据：

   AVPacket数据包；
   av_read_frame(pFormatCtx, &数据包);
   NSData *框架；
   if(packet.stream_index == videoStream){
       frame = [NSData dataWithBytes:packet.data length:packet.size];
   }
   视频流++；
   av_free_packet(&数据包);
   返回帧；
   

然后我将它传递给 NSOperation 的子类，在那里它被保留以等待上传。 但我收到 EXC_BAD_ACC，从帧复制数据时我是否做错了什么？任何想法。当我尝试使用其（非原子，保留）属性设置类变量 NSData*frame 时，我得到了 EXC_...。 （合成行上显示 EXC_BAD_ACC）

Answer 1

我使用以下内容来解析 mov 文件中的每一帧。

-(NSData *)nextFrame {
    AVPacket packet;
    NSData *frame = nil;

    while(!frame && av_read_frame(pFormatCtx, &packet)>=0) {

        if(packet.stream_index == streamNo) {
            frame = [[[NSData alloc] initWithBytes:packet.data length:packet.size] autorelease];
        }
        av_free_packet(&packet);
    }
    return frame;
}

尽管请注意，因为 av_read_frame 不会验证帧，但这是在解码步骤中完成的。这意味着返回的“帧”可能包含不属于实际帧的额外信息。

初始化 AVFormatContext *pFormatCtx 和 AVCodecContext *pCodecCtx 我使用这段代码（我相信它源自 Martin Böhme 的示例代码）：

    AVCodec *pCodec;

    // Register all formats and codecs
    av_register_all();

    // Open video file
    if(avformat_open_input(&pFormatCtx, [moviePath cStringUsingEncoding:NSASCIIStringEncoding], NULL, NULL)!=0)
        goto initError; // Couldn't open file

    // Retrieve stream information
    if(avformat_find_stream_info(pFormatCtx,NULL)<0)
        goto initError; // Couldn't find stream information

    // Find the video stream
    streamNo = -1;
    for(int i=0; i<pFormatCtx->nb_streams; i++){
        if(pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
        {
            streamNo = i;
            break;
        }
    }
    if(streamNo == -1)
        goto initError; // Didn't find a video stream

    // Get a pointer to the codec context for the video stream
    pCodecCtx=pFormatCtx->streams[streamNo]->codec;

    // Find the decoder for the video stream
    pCodec=avcodec_find_decoder(pCodecCtx->codec_id);
    if(pCodec==NULL)
        goto initError; // Codec not found

    // Open codec
    if(avcodec_open2(pCodecCtx, pCodec, NULL)<0)
        goto initError; // Could not open codec

    return self;

initError:
    NSLog(@"initError in VideoFrameExtractor");
    [self release];
    return nil;

希望这对将来的人有帮助。

Answer 2

这里有一个关于使用 libavcodec/libavformat 的非常好的教程。听起来您感兴趣的是他们尚未实现的 DoSomethingWithTheImage() 函数。

Answer 3

如果您将 H264 流式传输到 iOS，则需要分段流式传输（又名苹果直播）。

这是一个开源项目：http://code.google.com/p/httpsegmenter/