cvShowImage 和 Kinect SDK 的内存问题：骨架查看器

Question

我正在使用 cvSetData 将 rgb 帧转换为可用于 openCV 的帧。 我稍微修改了 SkeletalViewer 以生成 RGB 流。

void CSkeletalViewerApp::Nui_GotVideoAlert( )
{
    const NUI_IMAGE_FRAME * pImageFrame = NULL;

    IplImage* kinectColorImage = cvCreateImage(cvSize(640,480),IPL_DEPTH_8U, 4);

    HRESULT hr = NuiImageStreamGetNextFrame(
        m_pVideoStreamHandle,
        0,
        &pImageFrame );
    if( FAILED( hr ) )
    {
        return;
    }

    NuiImageBuffer * pTexture = pImageFrame->pFrameTexture;
    KINECT_LOCKED_RECT LockedRect;
    pTexture->LockRect( 0, &LockedRect, NULL, 0 );
    if( LockedRect.Pitch != 0 )
    {
        BYTE * pBuffer = (BYTE*) LockedRect.pBits;

        m_DrawVideo.DrawFrame( (BYTE*) pBuffer );

        cvSetData(kinectColorImage, (BYTE*) pBuffer,kinectColorImage->widthStep);

        cvShowImage("Color Image", kinectColorImage);
        //cvReleaseImage( &kinectColorImage );
        cvWaitKey(10);

    }
    else
    {
        OutputDebugString( L"Buffer length of received texture is bogus\r\n" );
    }

    cvReleaseImage(&kinectColorImage);
    NuiImageStreamReleaseFrame( m_pVideoStreamHandle, pImageFrame );

}

使用 cvReleaseImage，我会收到 cvException 错误。不完全确定是哪一个，因为它没有指定。如果没有 cvReleaseImage，我可以在 openCV 窗口中运行 rgb 视频，但最终会崩溃，因为它耗尽了内存。

我应该如何正确发布图像？

Answer 1

刚刚解决了这个问题。

经过一系列使用断点和调试的调查后，问题似乎与 cvSetData 中使用的指针有关。我最好的猜测是 Nui_GotVideoAlert() 在调用 cvReleaseImage 之前更新 pBuffer 指向的地址。此外，cvSetData 似乎从未从该地址复制字节。

然后发生的情况是在不再存在的地址上调用 cvReleaseImage。

我通过在 NuiImpl.cpp 顶部声明 kinectColorImage、在 ::Nui_GotVideoAlert() 中调用 cvSetData 以及仅在 Nui_Uninit() 方法中调用 cvReleaseImage 来修复此问题。这样，kinectColorImage 将仅更新，而不是在每次调用 Nui_GotVideoAlert() 时创建新的 IplImage。

Answer 2

这很奇怪。据我所知，cvReleaseImage同时发布了图像头和图像数据。我执行了下面的代码，在这个特定示例中，cvReleaseImage 不会释放包含数据的缓冲区。在那里我没有使用 cvSetData，但我只是更新了指向图像数据的指针。如果取消注释行并注释每一行下面的行，程序仍然可以运行，但会出现一些内存泄漏。我使用 OpenCV 2.2（这是旧版接口）。

#include <opencv/cv.h>
#include <stdlib.h>
#define NLOOPS 1000
int main(void){
  int i,j

  char *buff = (char *) malloc( sizeof(char) * 3 * 640 * 480 );
  for( i = 0; i < 640 * 480 * 3; i++ ) buff[i] = 128;
  j = 0;
  while( j++< NLOOPS ){

      IplImage *im = cvCreateImage(cvSize(640,480),IPL_DEPTH_8U, 3); 
      //cvSetData(im, buff, im->widthStep);  ---> If you use that version you'll get memory  leaks. Comment line below.
      im->imageData = buff;
      cvWaitKey(4);
      cvShowImage("kk", im);
      //cvReleaseImageHeader(&im);           ---> If you use that version you'll get memory leaks. Comment line below.
      cvReleaseImage(&im);

      free(im);
  }

  free(buff);
  return 0; 
}