EmguCV/OpenCV QueryFrame 慢/缓冲区

Question

我们有一个应用程序，我们从外部系统获取消息，然后拍照，进行一些处理并将某些内容返回到外部系统。做了一些性能测试，我发现了两个问题（它们有些相关）。我希望有人能够向我解释这一点。

1) _capture.QueryFrame() 是否缓冲帧？ 我们看到的是，如果对来自网络摄像头的两帧的查询之间存在间隙，则第二帧通常是较旧的图片，而不是调用 queryFrame 时的图片。

我们能够通过丢弃一些帧来在一定程度上缓解这个问题，即调用 _capture.QueryFrame() 2-3 次并丢弃结果。

2) 第二个问题是当我们对应用程序的不同部分进行计时时，我们发现清除缓冲区（调用 QueryFrame() 2-3 次并且不使用结果）大约需要 65ms，然后这一行: 图像source = _capture.QueryFrame() 大约需要 80 毫秒。这两个部分占用了最大的处理时间，我们的实际处理只多花费了大约 20-30 毫秒。

是否有更快的方法（a）清除缓冲区（b）以捕获帧？

如果您有 OpenCV 经验并了解相关知识，请告诉我。

Answer 1

这也可能是由于您所使用的网络摄像头的刷新率造成的。我的相机工作频率为 60Hz，因此我有一个计时器，每 15 毫秒捕获一帧。

Answer 2

你可以调用 _capture.Grab();在怠速期间。或者在计时器的代码中。保持计时器间隔与相机帧捕获率相匹配。

然后当你需要调用 _capture.QueryFrame();

Grab() 所做的就是在调用 _capture.QueryFrame() 时刷新缓冲区并获取最新的帧；

Answer 3

我回答了类似的问题 System.TypeInitializationException using Emgu.CV in C#并测试了获取最新框架的各种可能性后，我找到了以下最佳方法。

1) 是的，当您从网络摄像头设置捕获时，会创建一个环形缓冲区来存储图像，这样可以有效分配内存。

2）是的，有一种更快的方法，全局设置您的捕获设备，并将其设置为记录和调用 ProcessFrame 以尽可能从缓冲区获取图像。现在只需更改您的 QueryFrame 即可复制刚刚获取的任何帧。这有望解决您获取前一帧的问题，并且您现在将从缓冲区中获得最新的帧。

private Capture cap;
Image<Bgr, Byte> frame;

public CameraCapture()
{
    InitializeComponent();
    cap= new Capture();
    cap.SetCaptureProperty(Emgu.CV.CvEnum.CAP_PROP.CV_CAP_PROP_FRAME_HEIGHT, height);
    cap.SetCaptureProperty(Emgu.CV.CvEnum.CAP_PROP.CV_CAP_PROP_FRAME_WIDTH, width);

    Application.Idle += ProcessFrame;
}

private void ProcessFrame(object sender, EventArgs arg)
{
    frame = _capture.QueryFrame();
    grayFrame = frame.Convert<Gray, Byte>();
}

public Image<Bgr,byte> QueryFrame()
{
    return frame.Copy();
}

我希望这会有所帮助，如果不让我知道的话，我会尝试根据您的要求定制解决方案。不要忘记您始终可以让采集在不同的线程上运行并调用新的 QueryFrame 方法。

干杯

克里斯