使用单个 python 脚本利用 100% GPU 资源进行 YOLO v3 检测

Question

我的系统配置：我正在开发 Yolov3 模型，配备 GeForce RTX 2080 Ti GPU（11 GB GPU 内存）和 Intel(R) Core™ i9-9900KF CPU（6 核和 64GB RAM）。

当我对图像进行推理时，我的平均 FPS 介于 35 FPS 之间，GPU 利用率为 1128MiB（11GB 中~1GB）。我使用 opencv 并在 GPU 上加载 yolo

我能够通过在 6 个实例中运行相同的设置来增加图像推理量，并且我能够实现 210 FPS，GPU 利用率为 6760MiB（11GB 中的~6GB）。然而，此方法要求我分离图像并将非重复条目提供给 6 个实例中的每一个。

如何运行利用完整 GPU 的单个实例，以便我可以从所有 11 GB GPU 中提取最佳 FPS。

这将帮助我将图像从多个源提供给单个实例，从而减少我拆分和分配给不同实例的需要。