使用原始相机 byte[] 数组实现增强现实

Question

我正在开发一个增强现实应用程序，因此我需要捕获相机预览，为其添加视觉效果，并将其显示在屏幕上。我想使用 PreviewCallback 的 onPreviewFrame 方法来执行此操作。这为我提供了一个包含原始图像数据（YUV420 编码）的 byte[] 变量以供使用。

尽管我搜索了多个小时的解决方案，但我找不到一种方法将此 byte[] 变量转换为我可以使用甚至在屏幕上绘制的任何图像格式。

我最好将 byte[] 数据转换为某种可用于计算和绘图的 RGB 格式。

有没有正确的方法来做到这一点？

Answer 1

几个月前，当我不得不做一些事情时，我偶然发现了同样的问题
相机帧上的边缘检测。这对我来说非常有效。
尝试一下。

public void surfaceChanged(SurfaceHolder holder,int format, int width,int height) 
        {
            camera.setPreviewCallback(new PreviewCallback() {

                public void onPreviewFrame(byte[] data, Camera camera) {

                    Camera.Parameters parameters = camera.getParameters();

                    int width = parameters.getPreviewSize().width;
                    int height = parameters.getPreviewSize().height;

                    ByteArrayOutputStream outstr = new ByteArrayOutputStream();
                    Rect rect = new Rect(0, 0, width, height); 
                    YuvImage yuvimage=new YuvImage(data,ImageFormat.NV21,width,height,null);
                    yuvimage.compressToJpeg(rect, 100, outstr);
                    Bitmap bmp = BitmapFactory.decodeByteArray(outstr.toByteArray(), 0, outstr.size());
                }
}
}

您现在可以将位图用于所有处理目的。
获取感兴趣的像素，您就可以轻松地进行 RGB
或者上面有HSV的东西。

Answer 2

Imran Nazar 编写了有关增强现实的两部分教程，您可能会发现它很有用。尽管他最终使用了 NDK，第一部分大部分第二部分详细介绍了您需要的内容仅使用爪哇。

我相信 Bitmap.createBitmap 是您需要的方法。