分析 NSAffineTransform 和 CILineOverlay 过滤器生成的位图

Question

我正在尝试使用 CIFilter 链来操作图像，然后检查生成的图像（位图）的每个字节。从长远来看，我不需要显示结果图像（位图）——我只需要在内存中“分析”它。但近期我会将其显示在屏幕上，以帮助调试。

我有一些“位图检查”代码，在检查我用作输入的 NSImage（位图表示）（从 JPG 文件加载到 NSImage 中）时，它们可以按预期工作。当我在下面的代码生成的outputBitmap上使用它时，它有时会按预期工作。更具体地说，当我使用 NSAffineTransform 过滤器创建 outputBitmap 时，outputBitmap 包含我期望的数据。但是，如果我使用 CILineOverlay 过滤器创建 outputBitmap，则位图中的所有字节都没有任何数据。我相信这两个过滤器都按预期工作，因为当我在屏幕上显示它们的结果（通过outputImageView）时，它们看起来“正确”。然而，当我检查 outputBitmaps 时，从 CILineOverlay 过滤器创建的输出位图是“空”，而从 NSAffineTransfer 创建的输出位图包含数据。此外，如果我将两个过滤器链接在一起，则最终生成的位图似乎仅在我最后运行 AffineTransform 时才包含数据。对我来说似乎很奇怪？？？

我的理解（通过阅读 CI 编程指南）是 CIImage 应该被视为“图像配方”而不是实际图像，因为在“绘制”图像之前，图像实际上并未创建。鉴于此，CIimage 位图没有数据是有道理的——但我不明白为什么在运行 NSAffineTransform 后它有数据，但在运行 CILineOverlay 转换后没有数据？基本上，我试图确定从 CIImage (myResult) 创建 NSCIImageRep （下面的代码中的 ir）是否相当于“绘制”CIImage——换句话说，这是否应该强制填充位图？如果有人知道这个问题的答案，请告诉我——这将节省我几个小时的反复试验！

最后，如果答案是“你必须绘制到图形上下文”......那么我还有另一个问题：我是否需要按照 Quartz 2D 编程指南：图形上下文，清单 2 中描述的内容做一些事情 - 7 和 2-8：绘制位图图形上下文？这就是我即将走的路……但似乎有很多代码只是为了强制将位图数据转储到我可以获取它的数组中。因此，如果有更简单或更好的方法，请告诉我。我只想获取 myResult 中的数据（应该是）并将其放入位图数组中，我可以在字节级别访问它。由于我已经有了与 NSBitmapImageRep 一起使用的代码，除非由于某种对我来说不太明显的原因这样做是一个坏主意，那么我宁愿将 myResult“转换”为 NSBitmapImageRep。

CIImage * myResult = [transform valueForKey:@"outputImage"]; 
NSImage *outputImage;
NSCIImageRep *ir = [NSCIImageRep alloc];
ir = [NSCIImageRep imageRepWithCIImage:myResult];
outputImage = [[[NSImage alloc] initWithSize:
                              NSMakeSize(inputImage.size.width, inputImage.size.height)]
                             autorelease];
                    [outputImage addRepresentation:ir];
[outputImageView setImage: outputImage];
NSBitmapImageRep *outputBitmap = [[NSBitmapImageRep alloc] initWithCIImage: myResult];

谢谢， Adam

编辑 #1——Peter H. 评论： 访问位图数据的示例代码...

for (row = 0; row < heightInPixels; row++)
  for (column = 0; column < widthInPixels; column++) {
    if (row == 1340) {  //just check this one row, that I know what to expect
        NSLog(@"Row 1340 column %d pixel redByte of pixel is %d",column,thisPixel->redByte);
    }
}

上面的结果（所有列都包含相同的零/空值，这就是我所说的“空”）...

2010-06-13 10:39:07.765 ImageTransform[5582:a0f] Row 1340 column 1664 pixel redByte of pixel is 0
2010-06-13 10:39:07.765 ImageTransform[5582:a0f] Row 1340 column 1665 pixel redByte of pixel is 0
2010-06-13 10:39:07.766 ImageTransform[5582:a0f] Row 1340 column 1666 pixel redByte of pixel is 0

如果我将 %d 更改为 %h 则根本不会打印任何内容（空白而不是比“0”）。如果我将其更改为 %@，我会在每一行上得到“(null)”，而不是上面显示的“0”。另一方面......当我只运行 NSAffineTransform 过滤器，然后执行此代码时，打印的字节包含我期望的数据（无论我如何格式化 NSLog 输出，都会打印一些内容）。

在 6/14 添加更多代码...

// prior code retrieves JPG image from disk and loads into NSImage
CIImage * inputCIimage = [[CIImage alloc] initWithBitmapImageRep:inputBitmap];
if (inputCIimage == nil) {
  NSLog(@"Bailing out.  Could not create CI Image");
  return;
}
NSLog (@"CI Image created.  working on transforms...");

旋转图像的过滤器...这以前是在一个方法中，但我后来将其移至“内联”，因为我一直试图找出问题所在..过滤

// rotate imageIn by degreesToRotate, using an AffineTransform      
CIFilter *transform = [CIFilter filterWithName:@"CIAffineTransform"];
[transform setDefaults];
[transform setValue:inputCIimage forKey:@"inputImage"];
NSAffineTransform *affineTransform = [NSAffineTransform transform];
[affineTransform transformPoint: NSMakePoint(inputImage.size.width/2, inputImage.size.height / 2)]; 
//inputImage.size.width /2.0,inputImage.size.height /2.0)];
[affineTransform rotateByDegrees:3.75];
[transform setValue:affineTransform forKey:@"inputTransform"];
CIImage * myResult2 = [transform valueForKey:@"outputImage"]; 

以应用 CILineOverlay 过滤器...（之前也在方法中）

CIFilter *lineOverlay = [CIFilter filterWithName:@"CILineOverlay"];
[lineOverlay setDefaults];
[lineOverlay setValue: inputCIimage forKey:@"inputImage"];
// start off with default values, then tweak the ones needed to achieve desired results
[lineOverlay setValue: [NSNumber numberWithFloat: .07] forKey:@"inputNRNoiseLevel"]; //.07 (0-1)
[lineOverlay setValue: [NSNumber numberWithFloat: .71] forKey:@"inputNRSharpness"]; //.71 (0-2)
[lineOverlay setValue: [NSNumber numberWithFloat: 1] forKey:@"inputEdgeIntensity"]; //1 (0-200)
[lineOverlay setValue: [NSNumber numberWithFloat: .1] forKey:@"inputThreshold"]; //.1 (0-1)
[lineOverlay setValue: [NSNumber numberWithFloat: 50] forKey:@"inputContrast"]; //50 (.25-200)
CIImage *myResult2 = [lineOverlay valueForKey:@"outputImage"];  //apply the filter to the CIImage object and return it

最后...使用结果的代码...

if (myResult2 == Nil)
    NSLog(@"Transformations failed");
else {
NSLog(@"Finished transformations successfully ... now render final image");
// make an NSImage from the CIImage (to display it, during initial development)
NSImage *outputImage;
NSCIImageRep *ir = [NSCIImageRep alloc];
// show the tranformed output on screen...
ir = [NSCIImageRep imageRepWithCIImage:myResult2];
outputImage = [[[NSImage alloc] initWithSize:
              NSMakeSize(inputImage.size.width, inputImage.size.height)]
             autorelease];
[outputImage addRepresentation:ir];
[outputImageView setImage: outputImage];  //rotatedImage

此时，无论我应用哪种变换以及哪种变换，变换后的图像都可以很好地显示在屏幕上我留下的一个注释掉了。如果我将转换“链接”在一起，以便 #1 的输出进入 #2，它甚至可以正常工作。所以，对我来说，这似乎表明过滤器正在发挥作用。

然而......我真正需要使用的代码是“位图分析”代码，它正在检查 Results2 中（或“应该”）中的位图。该代码仅适用于 CIAffineTransform 过滤器生成的位图。当我用它来检查 CILineOverlay 生成的位图时，整个位图似乎只包含零。

这是用于该分析的代码...

// this is the next line after the [outputImageView ...] shown above
[self findLeftEdge :myResult2];

然后这是 findLeftEdge 方法的代码...

- (void) findLeftEdge :(CIImage*)imageInCI {
    // find the left edge of the input image, assuming it will be the first non-white pixel
    // because we have already applied the Threshold filter

    NSBitmapImageRep *outputBitmap = [[NSBitmapImageRep alloc] initWithCIImage: imageInCI];
    if (outputBitmap == nil)
        NSLog(@"unable to create outputBitmap");
    else 
        NSLog(@"ouputBitmap image rep created -- samples per pixel = %d", [outputBitmap samplesPerPixel]);

    RGBAPixel 
        *thisPixel, 
        *bitmapPixels = (RGBAPixel *)[outputBitmap bitmapData];  

    int 
    row, 
    column,
    widthInPixels = [outputBitmap pixelsWide], 
    heightInPixels = [outputBitmap pixelsHigh];

    //RGBAPixel *leftEdge [heightInPixels];
    struct { 
        int pixelNumber;
        unsigned char pixelValue;
    } leftEdge[heightInPixels];

    // Is this necessary, or does objective-c always intialize it to zero, for me?
    for (row = 0; row < heightInPixels; row++) {
        leftEdge[row].pixelNumber = 0;
        leftEdge[row].pixelValue = 0;
    }

    for (row = 0; row < heightInPixels; row++)
        for (column = 0; column < widthInPixels; column++)  {
            thisPixel = (&bitmapPixels[((widthInPixels * row) + column)]);

            //red is as good as any channel, for this test (assume threshold filter already applied)
            //this should "save" the column number of the first non-white pixel encountered
            if (leftEdge[row].pixelValue < thisPixel->redByte) {
                leftEdge[row].pixelValue = thisPixel->redByte;  
                leftEdge[row].pixelNumber = column;
            }
            // For debugging, display contents of each pixel
            //NSLog(@"Row %d column %d pixel redByte of pixel is %@",row,column,thisPixel->redByte);
            // For debugging, display contents of each pixel on one row
            //if (row == 1340) {
            //  NSLog(@"Row 1340 column %d pixel redByte of pixel is %@",column,thisPixel->redByte);
            //}

        }

    // For debugging, display the left edge that we discovered
    for (row = 0; row < heightInPixels; row++) {
        NSLog(@"Left edge on row %d was at pixel #%d", row, leftEdge[row].pixelNumber);
    }

    [outputBitmap release];  
}

这是另一个过滤器。当我使用它时，我确实在“输出位图”中获取数据（就像旋转过滤器一样）。因此，只是 AffineTransform 不会在生成的位图中为我提供其数据......

- (CIImage*) applyCropToCI:(CIImage*) imageIn {
rectToCrop { 
    // crop the rectangle specified from the input image
    CIFilter *crop = [CIFilter filterWithName:@"CICrop"];
    [crop setDefaults];  
    [crop setValue:imageIn forKey:@"inputImage"];
//  [crop setValue:rectToCrop forKey:@"inputRectangle"];  //vector defaults to 0,0,300,300
    //CIImage * myResult = [transform valueForKey:@"outputImage"]; //this is the way it was "in-line", before putting this code into a method
    return [crop valueForKey:@"outputImage"];   //does this need to be retained?
}

Answer 1

您声称位图数据包含“全零”，但您只查看每个像素一个字节。您假设第一个组件是红色组件，并且您假设数据每个组件一个字节；如果数据是 alpha 优先或浮点型，则这些假设中的一个或两个都将是错误的。

使用您分配的缓冲区以您想要的任何格式创建位图上下文，并将图像渲染到该上下文中。然后，您的缓冲区将包含您期望的格式的图像。

您可能还想从基于结构的访问切换到基于字节的访问，即 pixels[(row*bytesPerRow)+col]，将 col 增加每个像素的分量。当您使用结构来访问组件时，字节顺序很容易成为一个令人头痛的问题。

Answer 2

for (row = 0; row < heightInPixels; row++)
  for (列 = 0; 列 < widthInPixels; 列++) {
    if (row == 1340) { //只需检查这一行，我就知道会发生什么
        NSLog(@"第1340行第%d个像素的redByte为%d",column,thisPixel->redByte);
  }
}

除了语法错误之外，此代码不起作用，因为您从未分配给 thisPixel。您毫无意义地循环索引，因为您实际上从未在这些索引处查找像素值并将其分配给 thisPixel 以便检查它。

在 NSLog 语句之前添加这样的赋值。

此外，如果您唯一关心的行是 1340，则无需循环遍历行。使用 if 语句检查 1340 是否小于高度，如果是，则仅执行列循环。 （另外，不要在代码中嵌入这样的幻数文字。为该常量指定一个能够解释数字 1340 重要性的名称，即为什么它是您唯一关心的行。）