像素格式、CVPixelBufferRefs 和 glReadPixels

Question

我正在使用 glReadPixels 将数据读入 CVPixelBufferRef。我使用 CVPixelBufferRef 作为 AVAssetWriter 的输入。不幸的是，像素格式似乎不匹配。

我认为 glReadPixels 返回 RGBA 格式的像素数据，而 AVAssetWriter 想要 ARGB 格式的像素数据。将 RGBA 转换为 ARGB 的最佳方法是什么？

这是我到目前为止所尝试过的：

• 按照 argb = (rgba >> 8) | 行进行位操作(rgba << 24)
• 使用 CGImageRef 作为中间步骤

位操作不起作用，因为 CVPixelBufferRef 似乎不支持下标。 CGImageRef 中间步骤确实有效...但我不希望有 50 行额外的代码，因为这可能会影响性能。

Answer 1

比使用 CPU 交换组件更好的方法是编写一个简单的片段着色器，以便在渲染图像时在 GPU 上高效地完成此操作。

最好的方法是使用 iOS5 CoreVideo CVOpenGLESTextureCache 完全消除复制阶段，它允许您直接渲染到 CVPixelBufferRef，从而消除对 glReadPixels 的调用。

ps 我很确定 AVAssetWriter 想要 BGRA 格式的数据（实际上它可能想要 yuv 格式的数据，但那是另一个故事了）。

更新：至于链接，doco似乎仍处于NDA之下，但有两段可免费下载的示例代码：

GLCameraRipple 和 RosyWriter

头文件本身包含很好的文档，并且 mac等效项非常相似（CVOpenGLTextureCache），因此您应该有足够的知识来帮助您入门。

Answer 2

关于位操作，您可以获得指向像素缓冲区原始数据的指针：

CVPixelBufferLockBaseAddress(buffer, 0);
size_t stride = CVPixelBufferGetBytesPerRow(buffer);
char *data = (char *)CVPixelBufferGetBaseAddress(buffer);
for (size_t y = 0; y < CVPixelBufferGetHeight(buffer); ++y) {
    uint32_t *pixels = (uint32_t *)(data + stride * y);
    for (size_t x = 0; x < CVPixelBufferGetWidth(buffer); ++x)
        pixels[x] = (pixels[x] >> 8) | (pixels[x] << 24);
}
CVPixelBufferUnlockBaseAddress(buffer, 0);

Answer 3

这有点盲目，但您是否尝试过将 GL_BGRA 用于 glReadPixels 并使用 kCVPixelFormatType_32BGRA 用于 CVPixelBufferCreate ？

我建议这样做是因为 技术问答 QA1501 没有列出支持的所有 RGBA 格式。

Answer 4

glReadPixels(0, 0, w*s, h*s, GL_BGRA, GL_UNSIGNED_BYTE, 缓冲区);

在 glReadPixels 中使用 GL_BGRA。
确实有效，刚刚亲自尝试过。

Answer 5

    glReadPixels(0, 0, width, height, GL_BGRA, GL_UNSIGNED_BYTE, _buffer);
    CVPixelBufferRef buffer = NULL;
    CVReturn ret = CVPixelBufferCreateWithBytes(kCFAllocatorDefault,_size.width,_size.height,kCVPixelFormatType_32BGRA,glubyte,_size.width*4,NULL,NULL,NULL,&buffer);