iPhone 上的 OpenGL 到视频

Question

我目前正在开展一个项目，将物理模拟转换为 iPhone 上的视频。

为此，我目前使用两个不同的循环。第一个循环在 AVAssetWriterInput 对象轮询 EAGLView 以获取更多图像的块中运行。 EAGLView 从存储图像的数组中提供图像。

另一个循环是实际模拟。我已经关闭了模拟计时器，并且每次都以预先指定的时间差自己调用滴答声。每次调用刻度时，我都会在交换缓冲区后在 EAGLView 的交换缓冲区方法中创建一个新图像。然后将该图像放置在 AVAssetWriter 轮询的数组中。

还有一些杂项代码来确保数组不会变得太大

所有这些都可以正常工作，但速度非常非常慢。

从概念上讲，我正在做的事情是否会导致整个过程比实际速度慢？另外，有谁知道从 OpenGL 中获取图像比 glReadPixels 更快的方法吗？

Answer 1

视频内存的设计使得写入速度快，读取速度慢。这就是我执行纹理渲染的原因。这是我创建的用于将场景渲染为纹理的完整方法（有一些自定义容器，但我认为用您自己的容器替换它们非常简单）：

-(TextureInf*) makeSceneSnapshot {
    // create texture frame buffer
    GLuint textureFrameBuffer, sceneRenderTexture;

    glGenFramebuffersOES(1, &textureFrameBuffer);
    glBindFramebufferOES(GL_FRAMEBUFFER_OES, textureFrameBuffer);

    // create texture to render scene to
    glGenTextures(1, &sceneRenderTexture);
    glBindTexture(GL_TEXTURE_2D, sceneRenderTexture);

    // create TextureInf object
    TextureInf* new_texture = new TextureInf();
    new_texture->setTextureID(sceneRenderTexture);
    new_texture->real_width = [self viewportWidth];
    new_texture->real_height = [self viewportHeight];

    //make sure the texture dimensions are power of 2
    new_texture->width = cast_to_power(new_texture->real_width, 2);
    new_texture->height = cast_to_power(new_texture->real_height, 2);

    //AABB2 = axis aligned bounding box (2D)
    AABB2 tex_box;

    tex_box.p1.x = 1 - (GLfloat)new_texture->real_width / (GLfloat)new_texture->width;
    tex_box.p1.y = 0;
    tex_box.p2.x = 1;
    tex_box.p2.y = (GLfloat)new_texture->real_height / (GLfloat)new_texture->height;
    new_texture->setTextureBox(tex_box);

    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
    glTexImage2D(GL_TEXTURE_2D, 0, GL_RGBA,  new_texture->width, new_texture->height, 0, GL_RGBA, GL_UNSIGNED_BYTE, NULL);
    glFramebufferTexture2DOES(GL_FRAMEBUFFER_OES, GL_COLOR_ATTACHMENT0_OES, GL_TEXTURE_2D, sceneRenderTexture, 0);

    // check for completness
    if(glCheckFramebufferStatusOES(GL_FRAMEBUFFER_OES) != GL_FRAMEBUFFER_COMPLETE_OES) {
        new_texture->release();
        @throw [NSException exceptionWithName: EXCEPTION_NAME
                                       reason: [NSString stringWithFormat: @"failed to make complete framebuffer object %x", glCheckFramebufferStatusOES(GL_FRAMEBUFFER_OES)]
                                     userInfo: nil];
        new_texture = nil;
    } else {
        // render to texture
        [self renderOneFrame];
    }

    glDeleteFramebuffersOES(1, &textureFrameBuffer);

    //restore default frame and render buffers
    glBindFramebufferOES(GL_FRAMEBUFFER_OES, _defaultFramebuffer);
    glBindRenderbufferOES(GL_RENDERBUFFER_OES, _colorRenderbuffer);
    glEnable(GL_BLEND);         
    [self updateViewport];      
    glMatrixMode(GL_MODELVIEW);


    return new_texture;
}

当然，如果您一直在做快照，那么你最好只创建一次纹理帧和渲染缓冲区（并为它们分配内存）。

Answer 2

要记住的一件事是 GPU 与 CPU 异步运行，因此如果您尝试在完成渲染后立即执行 glReadPixels，则必须等待命令刷新到 GPU 并渲染，然后才能读回它们。

不是同步等待，而是将快照渲染到纹理队列中（使用像 Max 提到的 FBO）。等到渲染完更多帧后，再将之前的帧之一出队。我不知道 iPhone 是否支持栅栏或同步对象，但如果支持，您可以在读取像素之前检查这些内容以查看渲染是否已完成。

Answer 3

您可以尝试使用 CADisplayLink 对象来确保您的绘图速率和捕获速率与设备的屏幕刷新率相对应。您可能会因为每次设备屏幕刷新刷新和捕获太多次而减慢运行循环的执行时间。

根据您的应用程序的目标，您可能不需要捕获所呈现的每一帧，因此在选择器中，您可以选择是否捕获当前帧。

Answer 4

虽然这个问题不是新问题，但还没有得到解答，所以我想我应该介入。glReadPixels

确实非常慢，因此不能用于从 OpenGL 应用程序录制视频而不会对性能产生不利影响。

我们确实找到了解决方法，并创建了一个名为 Everyplay 的免费 SDK，它可以将基于 OpenGL 的图形记录到视频文件中，而不会造成性能损失。您可以在 https://developers.everyplay.com/ 查看