提高图像处理速度

Question

我正在使用 C++ 和 OpenCV 实时处理从网络摄像头拍摄的一些图像，我希望从我的系统中获得最佳速度。

除了更改处理算法（假设目前您无法更改它）。我应该做些什么来最大限度地提高处理速度？

我想也许多线程可以在这里有所帮助，但我很羞愧地说我真的不知道来龙去脉（尽管显然我以前使用过多线程但没有在 C++ 中使用过）。

假设我有一个 x 核处理器，将处理拆分为 x 个线程实际上会加快速度吗？...或者假设我正在寻找 20fps 的吞吐量，这些线程的管理开销是否会否定它（我认为这会影响你给出的答案，因为它应该告诉你每个线程将完成多少处理）

多线程在这里有帮助吗？

是否有任何专门提高 OpenCV 速度的技巧，或者我可能会陷入降低速度的任何陷阱。

谢谢。

Answer 1

我认为更简单的方法可能是管道化框架操作。

您可以使用线程池，按顺序将帧内存缓冲区分配给第一个可用线程，当关联帧上的算法步骤完成时将其释放到池中。

这可能会使您当前的（已调试的:）算法几乎保持不变，但需要更多的内存来缓冲中间结果。

当然，如果没有关于您的任务的详细信息，很难说这是否合适......

Answer 2

在 OpenCV 中提高速度有一件重要的事情与处理器或算法无关，那就是在处理矩阵时避免额外的复制。我会给你一个从文档中摘取的例子：

“...通过为另一个矩阵的一部分构造标头。它可以是
单行、单列、多行、多列、矩形
矩阵中的区域（代数中称为小数）或对角线。这样的
操作也是 O(1)，因为新标头将引用
相同的数据。您实际上可以使用此修改矩阵的一部分
功能，例如“

// add 5-th row, multiplied by 3 to the 3rd row
M.row(3) = M.row(3) + M.row(5)*3;

// now copy 7-th column to the 1-st column
// M.col(1) = M.col(7); // this will not work
Mat M1 = M.col(1);
M.col(7).copyTo(M1);

也许您已经知道这个问题，但我认为强调 openCV 中的 headers 作为重要且高效的编码工具非常重要。

Answer 3

假设我有一个 x 核处理器，将处理拆分为 x 个线程实际上会加快速度吗？

是的，尽管这在很大程度上取决于所使用的特定算法，以及您编写线程代码来处理同步等事务的技能。您确实没有提供足够的详细信息来做出更好的评估。

有些算法非常容易并行化，例如具有以下形式的算法：

for (i=0; i < DATA_SIZE; i++)
{
   output[i] = f(input[i]);
}

对于某些函数 f。这些被称为“令人尴尬的并行化”；您可以简单地将数据分成 N 个块，并让 N 个线程单独处理每个块。像 OpenMP 这样的库使这种线程变得非常简单。

Answer 4

除非您使用的特定算法已经针对多线程/并行平台进行了优化，否则将其扔到 x 核处理器上对您没有任何作用。该算法本质上必须是可线程化的，才能从多线程中受益。但如果设计时没有考虑到这一点，就必须进行更改。另一方面，许多图像处理算法至少在概念上是“令人尴尬的并行”。您能否分享有关您想到的算法的更多详细信息？

Answer 5

如果您的线程可以操作不同的数据，那么将其线程化似乎是合理的，也许将每个帧对象排队到线程池中。您可能必须向帧对象添加序列号，以确保从池中出现的已处理帧按照它们进入的顺序传递。

Answer 6

作为使用 OpenCV 进行多线程图像处理的示例代码，您可能想查看我的代码：

https:// github.com/vmlaker/sherlock-cpp

这是我想利用 x 核 CPU 来提高对象检测性能的想法。检测程序基本上是一种并行算法，它在多个线程之间分配任务，每个任务都有一个单独的流水线线程：

1. 分配帧内存和视频捕获。
2. 对象检测（每个 Haar 分类器一个线程。）
3. 使用检测结果增强输出并显示帧。
4. 内存释放。

通过在所有线程之间共享每个捕获帧的内存，我获得了出色的性能和 CPU 利用率。