在 iPhone 上绘制屏幕缓冲区的最快方法

Question

我有一个“软件渲染器”，正在从 PC 移植到 iPhone。在 iPhone 上使用像素缓冲区手动更新屏幕的最快方法是什么？例如，在 Windows 中，我发现最快的函数是 SetDIBitsToDevice。

我对 iPhone 或库了解不多，而且似乎有很多层和不同类型的 UI 元素，所以我可能需要很多解释......

现在我只是不断更新opengl 中的纹理并将其渲染到屏幕上，我非常怀疑这将是最好的方法。

更新：

我尝试过 openGL 屏幕大小的纹理方法：

我得到了 17fps...

我使用了 512x512 纹理（因为它需要是 2 的幂）

，只是调用

glTexSubImage2D(GL_TEXTURE_2D,0,0,0,512,512,GL_RGBA,GL_UNSIGNED_BYTE, baseWindowGUI->GetBuffer());

似乎几乎是所有速度减慢的原因。

注释掉它，并保留我所有的软件渲染 GUI 代码，以及现在未更新纹理的渲染，导致 60fps、30% 渲染器使用率，并且 CPU 没有明显的峰值。

请注意，GetBuffer() 只是返回一个指向 GUI 系统的软件后台缓冲区的指针，无论如何都不会重新调整缓冲区或调整缓冲区的大小，它的大小和格式适合纹理，因此我相当确定速度减慢了与软件渲染器无关，这是个好消息，看起来如果我能找到一种方法在 60 处更新屏幕，软件渲染器暂时应该可以工作。

我尝试使用 512,320 而不是 512,512 进行更新纹理调用，这奇怪地甚至更慢......以 10fps 运行，而且它还表示渲染利用率只有 5％，并且所有时间都浪费在 openGLES 内对 Untwiddle32bpp 的调用中。

我可以将我的软件渲染更改为本地渲染为任何像素格式，如果这会导致更直接的位块传输。

仅供参考，在 2.2.1 ipod touch G2 上测试（就像类固醇上的 Iphone 3G）

更新 2：

我刚刚写完 CoreAnimation/Graphics 方法，它看起来不错，但我有点担心它如何更新屏幕每一帧，基本上抛弃了旧的 CGImage，创建一个全新的...在下面的“someRandomFunction”中查看： 这是更新图像的最快方法吗？任何帮助将不胜感激。

//
//  catestAppDelegate.m
//  catest
//
//  Created by User on 3/14/10.
//  Copyright __MyCompanyName__ 2010. All rights reserved.
//




#import "catestAppDelegate.h"
#import "catestViewController.h"
#import "QuartzCore/QuartzCore.h"

const void* GetBytePointer(void* info)
{
    // this is currently only called once
    return info; // info is a pointer to the buffer
}

void ReleaseBytePointer(void*info, const void* pointer)
{
    // don't care, just using the one static buffer at the moment
}


size_t GetBytesAtPosition(void* info, void* buffer, off_t position, size_t count)
{
    // I don't think this ever gets called
    memcpy(buffer, ((char*)info) + position, count);
    return count;
}

CGDataProviderDirectCallbacks providerCallbacks =
{ 0, GetBytePointer, ReleaseBytePointer, GetBytesAtPosition, 0 };


static CGImageRef cgIm;

static CGDataProviderRef dataProvider;
unsigned char* imageData;
 const size_t imageDataSize = 320 * 480 * 4;
NSTimer *animationTimer;
NSTimeInterval animationInterval= 1.0f/60.0f;


@implementation catestAppDelegate

@synthesize window;
@synthesize viewController;


- (void)applicationDidFinishLaunching:(UIApplication *)application {    


    [window makeKeyAndVisible];


    const size_t byteRowSize = 320 * 4;
    imageData = malloc(imageDataSize);

    for(int i=0;i<imageDataSize/4;i++)
            ((unsigned int*)imageData)[i] = 0xFFFF00FF; // just set it to some random init color, currently yellow


    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();
    dataProvider =
    CGDataProviderCreateDirect(imageData, imageDataSize,
                               &providerCallbacks);  // currently global

    cgIm = CGImageCreate
    (320, 480,
     8, 32, 320*4, colorSpace,
     kCGImageAlphaNone | kCGBitmapByteOrder32Little,
     dataProvider, 0, false, kCGRenderingIntentDefault);  // also global, probably doesn't need to be

    self.window.layer.contents = cgIm; // set the UIWindow's CALayer's contents to the image, yay works!

   // CGImageRelease(cgIm);  // we should do this at some stage...
   // CGDataProviderRelease(dataProvider);

    animationTimer = [NSTimer scheduledTimerWithTimeInterval:animationInterval target:self selector:@selector(someRandomFunction) userInfo:nil repeats:YES];
    // set up a timer in the attempt to update the image

}
float col = 0;

-(void)someRandomFunction
{
    // update the original buffer
    for(int i=0;i<imageDataSize;i++)
        imageData[i] = (unsigned char)(int)col;

    col+=256.0f/60.0f;

    // and currently the only way I know how to apply that buffer update to the screen is to
    // create a new image and bind it to the layer...???
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB();

    cgIm = CGImageCreate
    (320, 480,
     8, 32, 320*4, colorSpace,
     kCGImageAlphaNone | kCGBitmapByteOrder32Little,
     dataProvider, 0, false, kCGRenderingIntentDefault);

    CGColorSpaceRelease(colorSpace);

    self.window.layer.contents = cgIm;

    // and that currently works, updating the screen, but i don't know how well it runs...
}


- (void)dealloc {
    [viewController release];
    [window release];
    [super dealloc];
}


@end

Answer 1

App Store 认可的仅使用 CPU 进行 2D 图形处理的最快方法是使用 CGDataProviderCreateDirect 创建由缓冲区支持的 CGImage，并将其分配给 CALayer > 的 contents 属性。

为了获得最佳结果，请使用 kCGImageAlphaPremultipliedFirst | kCGBitmapByteOrder32Little 或 kCGImageAlphaNone | kCGBitmapByteOrder32Little kCGBitmapByteOrder32Little 位图类型和双缓冲区，以便显示永远不会处于不一致状态。

编辑：理论上这应该比绘制到 OpenGL 纹理更快，但一如既往，配置文件是确定的。

edit2：无论您使用哪种合成方法，CADisplayLink都是一个有用的类。

Answer 2

最快的方法是使用 IOFrameBuffer/IOSurface，它们是私有框架。

所以OpenGL似乎是AppStore应用程序唯一可能的方式。

Answer 3

只是为了以答案的形式发表我对 @rpetrich 答案的评论，我会说在我的测试中我发现 OpenGL 是最快的方法。我已经实现了一个名为 EEPixelViewer 的简单对象（UIView 子类），它的功能足够通用，足以适用于我认为大多数人。

它使用 OpenGL 将各种格式（24bpp RGB、32 位 RGBA 和多种 YpCbCr 格式）的像素尽可能高效地推送到屏幕。该解决方案在几乎所有 iOS 设备（包括较旧的设备）上实现了大多数像素格式的 60fps。用法非常简单，不需要 OpenGL 知识：

pixelViewer.pixelFormat = kCVPixelFormatType_32RGBA;
pixelViewer.sourceImageSize = CGSizeMake(1024, 768);
EEPixelViewerPlane plane;
plane.width = 1024;
plane.height = 768;
plane.data = pixelBuffer;
plane.rowBytes = plane.width * 4;
[pixelViewer displayPixelBufferPlanes: &plane count: 1 withCompletion:nil];

对每个帧重复调用 displayPixelBufferPlanes（使用 glTexImage2D 将像素缓冲区加载到 GPU），这就是它的全部内容。该代码很聪明，因为它尝试使用 GPU 进行所需的任何类型的简单处理，例如排列颜色通道、将 YpCbCr 转换为 RGB 等。

还有相当多的逻辑用于使用 UIView 的 来实现缩放contentMode 属性，因此 UIViewContentModeScaleToFit/Fill 等都按预期工作。

Answer 4

也许您可以将软件渲染器中使用的方法抽象为 GPU 着色器...可能会获得更好的性能。您需要将编码的“视频”数据作为纹理发送。

Answer 5

比 CGDataProvider 和 glTexSubImage 更快的方法是使用 CVOpenGLESTextureCache。 CVOpenGLESTextureCache 允许您直接修改显存中的 OpenGL 纹理，而无需重新上传。

我用它来实现快速动画视图，您可以在这里看到：

https://github.com/justinmeiners /image-sequence-streaming

使用起来有点棘手，我在问了自己关于这个主题的问题后遇到了它：如何直接更新像素 - 使用 CGImage 和直接 CGDataProvider