使用FFmpeg，如何解码H264数据包

Question

我是 FFmpeg 的新手，正在努力解码 H264 数据包，这些数据包可以作为 uint8_t 数组获得。

经过多次调查，我认为应该能够将数组放入如下所示的 AVPacket 中

AVPacket *avpkt = (AVPacket *)malloc(sizeof(AVPacket) * 1);
av_init_packet(avpkt);  
avpkt->data = ct;   // ct is the array
avpkt->length =....

，并通过 avcodec_decode_video2() 进行解码。

代码的一部分如下：

...
codec = avcodec_find_decoder(CODEC_ID_H264);
gVideoCodecCtx = avcodec_alloc_context();
gFrame = avcodec_alloc_frame();
avcodec_decode_video2(gVideoCodecCtx, gFrame, &frameFinished, packet);
...

我想我正确设置了所有必需的属性，但此函数仅返回 -1

我刚刚发现 -1 来自

ret = avctx->codec->decode(avctx, picture, got_picture_ptr, avpkt);

avcodec_decode_video2();

实际上，我想知道如何通过 avcodec_decode_video2() 解码 H264 数据包（没有 RTP 标头）？

---

更新：

好的，我仍在尝试寻找解决方案。我现在正在做的是下面

** 这个RTP流中的H264流是由FU-A编码

1. 接收一个RTP数据包

2. 看看RTP的第二个字节是否标题是> 0 表示它是第一个数据包（并且可能会跟随）

3. 查看下一个 RTP 数据包是否有 >0第二个字节也为 0，则表示前一帧是完整的 NAL，或者如果它 < 0，该数据包应该追加到前一个数据包的后面。

4. 删除数据包的所有 RTP 标头，使其仅具有类似 FU 指示符 | FU 标头 | NAL

5. 尝试使用 avcodec_decode_video2()

但它只返回 -1。 ....
我是否也应该删除 FU 指示器和标头？

任何建议将不胜感激

Answer 1

实际上，我想知道是否可以通过 avcodec_decode_video2() 解码 H264 数据包（没有 RTP 标头）。

如果您使用除单个 NAL 单元模式之外的打包模式，则在将 NAL 单元传递给解码器之前，您可能需要预处理 RTP 有效负载（重新组装分段 NALU、拆分聚合 NALU）。流中允许的 NAL 单元类型（STAP、MTAP、FU）取决于打包模式。有关打包模式的更多信息，请阅读 RFC 6184。

其次，虽然我对 FFMPEG 不太熟悉，但它可能更多的是一般的 H.264 解码问题：您必须始终使用 H.264 序列 (SPS) 和图片参数集 (PPS) 初始化解码器，然后才能能够解码其他帧。你做到了吗？

Answer 2

我认为您无法在没有 RTP 标头的情况下解码 H264 数据包，因为 RTP 标头中嵌入了相当多的视频流信息。同时，我猜测所有视频流信息可能会在RTP视频数据包中重复。所以这也取决于流是如何生成的。

维布杰尔

Answer 3

这是我的工作代码

bool VideoDecoder::decode(const QByteArray &encoded)
{
    AVPacket packet;
   av_new_packet(&packet, encoded.size());
   memcpy(packet.data, encoded.data(), encoded.size());
   //TODO: use AVPacket directly instead of Packet?
   //TODO: some decoders might in addition need other fields like flags&AV_PKT_FLAG_KEY

   int ret = avcodec_decode_video2(d->codec_ctx, d->frame, &d->got_frame_ptr, &packet);
   av_free_packet(&packet);

   if ((ret < 0) || (!d->got_frame_ptr))
       return false;

    d->sws_ctx = sws_getCachedContext(d->sws_ctx
        , d->codec_ctx->width, d->codec_ctx->height, d->codec_ctx->pix_fmt
        , d->width, d->height, d->pix_fmt
        , (d->width == d->codec_ctx->width && d->height == d->codec_ctx->height) ? SWS_POINT : SWS_BICUBIC
        , NULL, NULL, NULL
        );

    int v_scale_result = sws_scale(
        d->sws_ctx,
        d->frame->data,
        d->frame->linesize,
        0,
        d->codec_ctx->height,
        d->picture.data,
        d->picture.linesize
        );
    Q_UNUSED(v_scale_result);

    if (d->frame->interlaced_frame)
        avpicture_deinterlace(&d->picture, &d->picture, d->pix_fmt, d->width, d->height);
    return true;
}